ID：314900
仆风尘
数据开发
- 公司信息：
- 天创
- 工作经验：
- 4年
- 兼职日薪：
- 500元/8小时
- 兼职时间：
- 下班后
- 所在区域：
- 其他
- 全区
技术能力
kettle
hadoop
hive sql
python基础
linux常用命令操作
关系型数据库如mysql, postgresql, openGaussDB等
了解基本数据开发流程, 有大数据项目经验
项目经验
1. 使用kettle进行人员主题, 房屋主题, 场所主题, 人员轨迹主题, 标准地址主题, 就业主题
等全量数据从汇聚层业务数据库到高斯数据库的迁移；
2. 编写`SQL`对汇聚层全量数据进行处理, 从业务数据宽表示相关主题数据的转换, 使用
高斯内置函数对数据进行初步清洗, 如特殊字符, 符号字母, 乱码数据的处理, 将处理后的
数据存储在业务层；
3. 通过`Kettle`工具配置ktr文件, 调用部级接口, 对无法确定及未核实境内人员数据进行人
员相关信息的获取, 对获取数据进行提取, 维护到业务层人员主题表中；
4. 对于业务层增量数据, 通过`Kettle`工具配置相应的`ktr`文件及`kjb`文件, 根据时间线索
过滤出增量数据, 通过查询接口新增接口维护接口将正确的数据维护到业务层相关主题表
中;在`kjb`文件运行过程中进行日志收集, 对于日志数据进行分析判断, 并根据日志数据进
行日常的维护工作, 如通过日志数据查找接口调用失败数据进行重调维护；
5. 针对人员主题, 对姓名 证件号码 联系电话 等数据进行脱敏, 并将脱敏数据输出到共享层；
相似人才推荐
-
1000元/天高级系统工程师OPPO概要：1.嵌入式软硬件开发，嵌入式平台stm32,esp32等 2.linux系统工程师，内核驱动、系统
-
500元/天大数据开发工程师烽火通信概要：• 熟悉Java、Scala开发语言、Shell脚本 • 熟悉Hadoop、Yarn、Spark、
-
500元/天后端开发暂无概要：熟练掌握Java语言；掌握Spring、Mybatis、SpringMvc框架； 熟悉使用Spri
-
1200元/天研发负责人北京数起科技有限公司概要：精通Java编程，uniapp微信小程序,整个系统的架构设计独立完成，独立带30人团队进行大型项目2 -
600元/天算法工程师AI四小龙/华子概要：【极速开发部署反馈】擅长多个领域的技术，涵盖机器学习主要框架tensorflow和pytorch，以
-
800元/天大数据开发工程师NTT DATA概要：1.精通各种关系型数据库脚本开发，熟练掌握hive大数据离线开发、数据中台 2.熟悉cognos、
-
500元/天卫生统计数据分析山东大学概要：熟练应用SPSS软件，基本的R语言操作，擅长医学统计数据的分析，包括T检验、卡方检验、秩和检验、方差
-
500元/天开发工程师中国概要：python爬虫,xesl,pdf,docx,csv,txt,图片之间的各种转换, matlab数据
