猿急送>

北京后端兼职程序员

ID：154449

徐浩

大数据开发工程师

公司信息：
诺远科技发展有限公司

工作经验：
2年

兼职日薪：
600元/8小时

兼职时间：
下班后
周六
周日
可工作日远程
可工作日驻场（离职原因）

所在区域：
北京
朝阳

技术能力

1、Hadoop平台的运用与搭建，如hdfs、yarn等等
2、spark平台的运用与搭建
3、Kafka运用与搭建
4、flume运用与搭建
5、hbase、mysql运用与搭建
6、hive离线开发
7、Java的SpringMVC
8、ElasticSarch运用与搭建

项目经验

该项目诺远科技发展有限公司旗下一款互联网金融产品诺秒贷，主要用于个人中小额放贷。我属于大数据风控项目组，大数据风控分为三块，一块是网关，主要是Javaweb开发，接收市场推广人员和手机app发送过来的借贷人员基本信息（包括身份证号、手机通讯录，短信通信录），然后从三方调取个人征信数据，比如芝麻信用、鹏元反欺诈、融360、银联、同盾、长亮等个人征信数据，然后发送给大数据组进行解析存储，也就是我这块，然后我这块把需要的解析结果在发送给网关。另一块是风控策略组，接收网关获取的征信数据进行评分，判断能否放贷。我这块是大数据组，主要是做数据解析和存储。
技术应用：SpringCloud、MySQL、Kafka、SparkStreaming、hive、ElasticSearch、Zookeeper、HDFS、Flume、Impala、Hbase
项目职责：
一期小额贷款：1、spark平台、Hadoop平台、Kafka、hive数据仓库、zookeeper、HBase数据库
、Flume 的搭建与维护。
2、Spark Streaming实时处理程序开发。
3、hive数据处理脚本的编写。
4、hbase数据库表格的建立，同时和hive建立映射。
5、Spark处理hbase数据库数据程序开发。
6、发送整理好的个人还款及逾期个人数据给催收部门。
二期中额贷款：职责同上，同时增加。
1、数据处理分析，建立公司自己的数据库。
2、Spark Streaming统计当天实时放贷人数、据贷人数、居住地统计、放款金额。
3、根据其他部门要求，从数据库获取数据形成报表存入MySQl数据库。
三期优化数据处理：
1、增加了ElasticSearch检索，将个人基本检索数据导入ES。
2、Spark Streaming实时写个人基本数据到ES。