案例介绍
内容:
北汽新能源数据迁移项目本项目为大数据基础平台优化升级，其核心是将现有LeapHD 系统版本升级到R412后,必须保证旧版本下所有业务在新版本下正常运行。为了降低在迁移工作中的技术风险,需要在新、旧环境下做POC 技术验证,包括数据库建表（如何批量获得建表的DDL 语句）、ETL 任务与调度、HDFS 历史文件导入与权限验证、数据表对数策略等；最终,基于POC 技术验证方案,按项目优先级、分阶段、重复选代完成数据迁移工作。
工作内容：
1、编写shel 脚本在leapHD4上建表、建库、建分区
2、将leapHD3的数据迁移到leapHD4下使用两种方案：
1）数据将数据下载到leapHD3本地,然后拷贝到leapHD4上面,再put 到对应的表下
2）使用distcp 跨集群拷贝,直接从leapHD3的数据迁移到leapHD4下
3、配置对应调度流程
核对新老集群的数据量整理数据迁移相关文档
6、项目交接
业绩:
完成数据迁移,项目顺利交付
案例图片
相似案例推荐
其他人才的相似案例推荐
-
新国e招标
项目背景： 原有国e招标项目是用jsp+java实现的老
-
疫情人员展示区域展示H5
疫情人员展示区域展示H5，通过采集的数据使用echarts绘
-
控制计划
该项目保留了所有数据的是所有历史版本并列有历史版本和当前版本
-
MES系统
项目包括排产到生产到质检到完工到出库的一套流程所有数据都可做
-
中国烟草机械集团协发效能数字化项目
我在该项目独立负责大屏开发，从0到1，该项目主要是反应中烟各
-
小米超级工厂数字孪生系统
负责前端项目搭建，页面开发，对接 ue像素流，对接后台数据等
-
运营管理平台
1、基于某聊聊天工具，二次开发关联功能，简化办公 掌上办公
-
某聊-掌上办公
掌上办公的开发，实现以下功能 ● 值班表：实现一线、二线及
-
SQL数据库管理
针对数据库复杂的业务逻辑，向客户提供准确的数据，实现增删改查
-
数据同步平台
数据同步平台包含数据源维护、同步任务管理、快速库表映射选择、
-
合同解析系统
集团要求对ICT收入合同、电路、互联网专线、物联网合同内容进
-
海马斯
hamers.fun是自建的非营利平台，用于为业余无线电爱好
微信接收人才推送
关注猿急送微信平台，接收实时人才推送
