ID：252058
---
大数据开发工程师
- 公司信息：
- 上海朋数信息科技有限公司
- 工作经验：
- 5年
- 兼职日薪：
- 500元/8小时
- 兼职时间：
- 下班后
- 周六
- 周日
- 所在区域：
- 上海
- 浦东
技术能力
熟练使用Java Python 等编程语言，了解 scala。
熟悉Spring SpringBoot Mybatis等开源项目，能够合理进行技术选型，善于解决问题。
熟悉HDFS和MapReduce的实现原理，具有一定的Hadoop集群维护能力。
熟练使用Spark内存计算框架。
熟练使用MongoDB，Hbase等NoSql数据库以及Solr搜索引擎。
熟练使用Kafka Zookeeper等大数据框架。
熟练掌握Mysql关系型数据库，具有一定的Sql优化能力。
熟练使用kettle工具用于数据同步，并对job进行维护。
熟练使用ansible tower进行自动化部署任务。
熟练使用Linux系统及常用命令。
熟悉docker容器化技术。
项目经验
项目：大数据基础服务设施建设
项目描述：该项目主要为公司搭建大数据基础服务平台，把数据存储到Hadoop分布式文件系统上，使用Saprk或Java程序对数据进行清洗工作，并提供对数据的实时同步，备份等服务。为风控以及报告业务提供API接口。
责任描述：
使用Java对MongoDB中数据进行ETL。
实时同步MongoDB上的数据到Mysql关系型数据库。
实时同步Mysql上的数据到Mysql。
提供操作Solr以及Hbase的各种API。
使用ansible进行自动化部署。
使用docker进行一系列测试工作。
相似人才推荐
-
500元/天项目经理江苏长江汇科技有限公司概要：主要做 Java，简单的前端也可以写，Python 写过简单的爬虫。 目前任职项目经理，依旧做
-
800元/天软件工程师（15级）华为上海研究所概要：1. JAVA 的基础知识，多线程编程； 2. Eclipse、IDEA 等开发工具以及 T
-
800元/天软件开发工程师普天东信软件概要：掌握Java+Idea+WebStorm+PostMan+Vue+Element-Ui+JS+JSP
-
1000元/天高级开发工程师搜房网概要：掌Java开发语言框架与php开发语言框架(Thinkphp、Yii框架等），熟悉Spring
-
600元/天高级研发工程师百度概要：拥有丰富的后端经验以及自运维经验，精通php python等主流后端编程语言，善于搭建架构，熟悉数据
-
800元/天后端开发工程师万得信息概要：C++精通 JAVA（springboot框架开发)精通 c#、python熟练 K8s熟练
-
500元/天后端工程师歌华智能概要：1.掌握PHP开发技术、并熟悉使用thinkPHP框架开发； 2.掌握NodeJS开发技术，并熟悉
-
500元/天爬虫无概要：爬虫，字体反爬，JS逆向，数据可视化网页，fiddler抓包aap，pypqt5界面。。。。。。。。
