猿急送>

北京后端兼职程序员

ID：150237

andiy

资深大数据开发工程师，大数据架构

公司信息：
白虹软件

工作经验：
7年

兼职日薪：
600元/8小时

兼职时间：
下班后
周六
周日
可工作日远程

所在区域：
北京
西城
中关村

技术能力

0.有丰富的大数据处理经验和大数据技术架构经验
1.熟练使用java,scala,python
2.熟悉常用关系型数据库（oracle，mysql），nosql（hbase,elasticsearch,redis等）数据库，熟悉HIVE数据仓库
3.熟练使用springboot,springcloud
4.熟练使用eclipse,intellij idea,maven,svn.git.熟悉Linux系统及环境。
5.熟练搭建大数据生态系统环境（hadoop原生集群和cloudera CDH 商业集群），熟悉ambari
6.熟练掌握 Hadoop，hdfs,zookeeper,hbase,hive和redis集群安装部署开发
7.熟练掌握flume,kafka,spark,flink，elasticsearch
8.熟悉spark mllib, 常用的分类,推荐，聚类，神经网络算法及原理
9.熟悉python ,熟悉常用特征工程，熟悉常用机器学习算法及神经网络，深度学习及tensflow深度框架

项目经验

1 .上海大客流分析:此项目主要为预防类似上海踩踏事件。通过电信传回的4G数据实时动态展现人口的热力图。以达到人口集中预警的目的。大数据技术架构为数据采集集群+kafka+sparkstreaming
2.4G综合大数据平台：产品通过对用户的网络数据采集，合并关联用户的所有网络行为数据，关联获取到用户的IMSI和手机号，并通过时间序列数据和基站坐标可以实时定位目标的坐标地址，可以重现目标对象的移动轨迹，帮助公安部门智能定位抓捕目标对象。此产品上线之后多次为公安部门破解抓获犯罪分子，获得公安部门的一致好评。并受到CCTV电视的专访
数据架构 flume + kafka + sparkstreaming + hbase + hive+ milib + springcloud
3.大数据反窃密平台：保密项目
1、负责大数据架构的技术选型；
2、负责ES集群的存储及查询优化；
3、负责离线和spark streaming实时任务的开发；
4、负责用户画像的标签设计及开发存储；
5、图像识别；
6、离线数据存储。