ID：323456
三人行
大数据开发工程师
- 公司信息：
- 韵达公司
- 工作经验：
- 5年
- 兼职日薪：
- 500元/8小时
- 兼职时间：
- 下班后
- 周六
- 周日
- 所在区域：
- 上海
- 闵行
技术能力
1.擅长基于Hive与Hadoop，进行数据建模、数据ETL任务开发；
2.熟悉Hadoop（HDFS、Mapreduce、Hbase）/Spark/Kylin/Kettle/Sqoop/Flume/等技术；
3.具有linux下的开发经验，熟悉shell等脚本开发能力，有面向对象的设计能力；
4.熟悉传统关系数据库、数据仓库技术，熟悉数据预处理技术等；
5.有日志、运维数据分析基础；
6.熟悉Hadoop生态环境，熟练使用MapReduce、Spark提供的API编程；
7.熟悉SpringMVC, SpringBoot、 Ibatis等开源框架；
项目经验
士兵画像分析系统
硬件环境：Windows+linux 软件环境：spark+hive+flink+zookeeper+flume+kafka
责任描述
数据清洗：士兵感应器和机械数据采集器会传输重复数据，需要将重复垃圾数据剔除
标签建立：通过对数据的归纳总结，对士兵进行画像描述
项目描述： 系统通过士兵传感器和机械数据采集器将演戏数据推送到指定数据库，然后通过清洗将数据导入到数仓中，通过士兵模拟考核数据和射击完成考核数据，给士兵贴上标签，供首长参考使用
实现技术
数据采集：由士兵传感器和机械数据采集器推送数据获取
数据分析：通过前台hive模型进行数据清洗，使用hiveSQL进行数据分析，将分析结果返回到指定数据库中
相似人才推荐
-
500元/天后台开发主管纤联电子商务有限公司概要：1.Java基础扎实 2.熟练掌握Spring、SpringMVC、MyBatis、Spring
-
500元/天学生在校概要：本人为大学生，登录只为赚点外快，掌握的技术有。Python爬虫，掌握基本的电商（拼多多，淘宝等）网站 -
1000元/天架构师蓝光发展概要：全栈工程师， 应用开发类： 后端 .NET，.NET.Core，C#，Python 关系型数据
-
500元/天Salesforce工程师IMS概要：1. 熟悉CRM的架构，对CRM的需求、产品设计、产品实施都有丰富的经验。 2. 有多个大型项目的 -
800元/天资深软件工程师咪咕视讯有限股份公司（中国移动股份有限公司全资子公司）概要：⚫职业背景：12年多软件行业从业经验，前5年多从事车联网领域软件研发工作，中间2年多从事互联网电视研
-
1000元/天软件工程师北京生命科学研究所概要：领域涉及全栈、AI、神经网络、图像识别、OCR、人脸识别、Chatgpt、图像处理、Cell sor
-
500元/天研发工程师新讯数字科技（杭州）有限公司概要：4年java前后端web项目开发经验 1、具备扎实的编程基础，熟练掌握Java语言，熟悉JVM内存
-
500元/天软件工程师湖南亿特力科技有限公司概要：1.熟练使用C语言/C++进行开发，熟练掌握KEIL、QT等开发工具； 2.熟悉STM8S、STM
