◆ 熟悉分布式内存计算框架Spark,熟悉SparkSQL,熟练运用RDD常用算子等常用操作,有较丰富的Spark项目经验,阅读过少量源码。
◆ 熟悉实时计算Flink常用操作,熟悉Flink代码编写。
◆ 熟悉Hadoop生态圈,掌握HDFS,MapReduce,Hive,Zookeeper,Flume,sqoop等组件均有实际应用。
◆ 熟悉Java编程语言,熟悉Scala常用语法。
◆ 熟悉实时、离线数据同步技术。
◆ 熟悉ETL业务和抽取流程,业务数据分层。
◆ 熟悉Linux常用命令,熟悉常用开发环境,熟悉shell脚本编写。
◆ 熟悉关系型数据库MySQL,熟悉常用SQL函数,熟悉NoSql数据库Hbase ,Redis。
◆ 熟悉CDH搭建、操作、基本维护。
厦门国际银行商户贷 大数据开发工程师
项目描述:在银行金融平台,有巨大的客户量分布在农业、房地产、二手车、餐饮、医疗等行业,对于上下游的资金链条需求很大。商户贷以风控、大数据、AI对贷款用户做画像、信用评估、申请额度、可用额度做智能评估,把坏账率降到最低。
主要技术为:ETL + HDFS + Spark + Mysql + Shell + HBASE
主要职责:
◆ 调用银行互金webservice接口获取人行征信数据
◆ 人行征信数据解析、模型入参指标计算,存储
◆ 授信申请用户画像标签聚合,画像数据接口开发
◆ 模型规则配置发布
◆ CDH集群搭建
行圆生态流量用户画像、车型画像 大数据开发工程师
项目描述: 行圆汽车分别为汽车企业及汽车经销商提供汽车车源批发服务,汽车互联网营销服务,经销商互联网运营服务。对接多个第三方合作伙伴。根据URL判断用户来源,去向及用户在官网浏览动作做出流量画像。
主要技术为:SparkStreaming+ HDFS + HBase + Hive + Spark MLlib(ALS)
主要职责:
◆ 分析业务需求,调研车型互联网用户画像指标流程,自定义规范格式;
◆ 代码编写,测试文档编写更新;
◆ 用户画像:用户CookieId,用户初次访问时间,末次访问时间(动态更新),平均停留时长等编写;
◆ 车型画像:用户Cookieid,热门品牌(在规定时间内该用户浏览最多的品牌),热门车型(在规定时间内返回浏览次数车型的车款),平均价格区间等编写;
◆ 基于用户行为做车型推荐编写;
项目描述:在银行金融平台,有巨大的客户量分布在农业、房地产、二手车、餐饮、医疗等行业,对于上下游的资金链条需求很大。商户贷以风控、大数据、AI对贷款用户做画像、信用评估、申请额度、可用额度做智能评估,把坏账率降到最低。 主要技术为:ETL + HDFS + Spark + M
项目描述: 当今汽车消费者需求越发多样化,并分散在更加细化的圈层中,想要准确认知并精准触达目标消费者,需要进行更深入的洞察与更精确的投送渠道。其中为了防止一些不法分子的投机取巧,特别开设此项目。 主要技术为: spark + redis + mysql +HDFS 主要职责
项目描述: 当今汽车消费者需求越发多样化,并分散在更加细化的圈层中,想要准确认知并精准触达目标消费者,需要进行更深入的洞察与更精确的投送渠道。其中为了防止一些不法分子的投机取巧,特别开设此项目。 主要技术为: spark + redis + mysql +HDFS 主要职责