猿急送>

成都后端兼职程序员

ID：169841

7天

大数据研发工程师

公司信息：
区融未来

工作经验：
2年

兼职日薪：
500元/8小时

兼职时间：
下班后
周六
周日

所在区域：
成都
高新

技术能力

1. 能搭建原生 Hadoop 生态圈相关组件集群（HDFS、MR、Hbase、Hive、Spark、Zookeeper、Flume、
Kafka、Sqoop）和 CDH 集群。
2.能建设数据管道做离线、实时数据分析相关工作。
2. 熟练使用 Hive 进行相关数据管理，分析。
3. 熟练使用 Java、Python、Scala 进行 MR、Spark（streaming）、Flume、Kafka、Hive、Hbase、Storm等相关大数据开发。
4. 熟悉 Hadoop、HBase、Hive、Spark、Zookeeper、Flume、Kafka、ElasticSearch 架构和运行机制。
5. 熟练使用 Springboot、MyBatis等主流框架进行 j2ee 开发。
6. 熟练使用 SVN、GIT、Maven
7. 熟练使用 Mysql、有一定优化能力。
8. 熟悉 MongoDB
9. 熟悉 linux 常用命令和 shell 编程。

项目经验

开发时间： 2018.10-2018.03
开发环境： SpringBoot+SpringCloud+Mybatis+MySQL+RocketMq+MongoDB+Redis+ElasticSearch+Logstash+
Hadooop+Hive+Sqoop
项目名称：币和交易所+承兑(法币交易)平台
项目描述：
交易所：币和作为全球数字资产交易平台，面向全球提供比特币、以太坊、莱特币等多种优质稳定的数字资产交易
服务。该平台由认证中心、用户中心、委托、撮合、订单、资产、钱包、活动、核对中心、网关、服务注册中、市场中
心等微服务模块组成。（eureka+gateway+微服务，消息中间件使用阿里的 RocketMq,缓存 redis，实时日志采集
filebeat+分析 ELK+业务数据存储 Mysql+K 线数据持久化 MongoDB+离线数据分析（BI）Hive）。
承兑平台：币和法币交易平台是 OTC 交易平台（OTC：场外交易市场），是用 CNY 与 BTC、ETH、USDT 进行
交易。交易对象是在币和网缴纳一定保证金的认证商家。法币交易平台独立于币和交易所（公用用户中心，提供虚拟币
划转服务）该平台由广告、订单、资产、用户等模块构成，为普通用户、认证商家提供自由交易市场，进行法币和虚拟
币交易。
交易主站和承兑平台共用配套后台管理系统(renren-fast),提供用户管理、币种管理、审核管理、资产核查、活动
管理等服务，为平台生产运营提供保障。
责任描述：
根据产品需求负责相应后端开发;活动、钱包、日志分析独立开发完善，在任务完成的基础上，参与资产、订单、核
对设计开发，后期接手资产模块的设计和开发；参与项目设计，实现、优化；完成 ELFK、RocketMq 环境构建，从零构
建日志分析、分布式存储分析（HDFS+Hive+Sqoop）板块；协助定位和解决开发和生产环境问题。

开发时间： 2018.05-2018.09
开发环境： Kafka+ELK(ElasticSearch+Logstash+Kibana)+SpringBoot+Mabaits+DataV
项目名称：广运融合平台
项目描述：
该项目为广元市广运集团下面的站务票务系统/一卡通系统/GPS 系统/等系统数据做整合，计算相应的实时/离线指
标（如:区域子公司销售排名、近七日班线运量分析、实时乘车人数、实时销售额、旅客空间流向趋势、实时实载率
等），以及里有机器学习进行预测和评估，包括车辆预计到达时间、车辆状态（阻塞、故障）、预测销售额、客流走向
等。
责任描述：
对接对方转发数据入库 ES，修改索引 mapping，分析对方现有关系型数据模型，评估业务流程可行性；消费
kafka 对应的 topic 做现有数据分析。编写 Datav 相应接口。

开发时间： 2017.10-2018.02
软件架构： Flume + Kafka + Hbase + HDFS + Hive + Spark
开发环境： IDEA+Maven+Jdk+Scala
项目名称：旅游大数据分析平台
项目描述：
该平台为用户提供景区景点人流量实时监控、景区内浏览线路、游客特性等大屏和 PC 展示。提供一个平台，在
地图上查看所属景区的地图和实时人流热力图；提供景区关心的分析内容，如景点人流量分析、用户属性分析；在人
流量高峰期提供游客疏导，自动发出预警信息给游客和工作人员，避免由于人流量过大影响游客体验，甚至引发踩踏
事件。
责任描述：
游客来源地分析、游客属性分析、游客行为分析