猿急送>

杭州其它兼职程序员

ID：168780

anything

etl开发

公司信息：
咪咕数媒

工作经验：
3年

兼职日薪：
800元/8小时

兼职时间：
下班后
周六
周日
可工作日远程

所在区域：
杭州
西湖

技术能力

熟练掌握Java、Python语言熟练使用正则表达式熟练使用Linux操作系统熟练使用 svn、git、maven、kettle等工具熟悉Oracle、MySQL、MongoDB和 Redis等主流数据库，熟悉mongodb、Redis集群的搭建熟悉大数据的处理流程，熟悉大数据分析的主要算法，回归、决策树、分类、聚类、贝叶斯 熟悉Hadoop生态圈 Hdfs、Mapreduce、Hbase、flume、sqoop、hive、zookeeper、spark 熟悉python爬虫技术、熟练使用urllib、requests、beautifulSoup等支持库，熟悉Scrapy爬虫框架

项目经验

项目一
项目名称：快贷网数据统计分析项目介绍：该项目为快贷网数据统计分介绍：该项目为快贷网数据统计分析项目，快贷网是实名注册可房屋抵押的一个平台。本项目通过对该平台用户海量借贷数据的获取，统计网站日点击量、注册用户数、各年龄层比率、放款次数金额、单笔募集时间等来分析网站运营情况，根据借贷人群、金额和来源情况的分析结果适度调整营销策略。我的职责:1：参与hadoop集群环境搭建2：hive表的结构设计3：分析处理每月贷款金额、每月注册用户数、各年龄层比率、用户地域分布排名、黑名单离线指标、实时统计单笔款项募集时间、实时点击量、实时成交额。4：问题处理以及hive的相关优化
项目三：
咪咕数媒结算系统项目介绍：建设统一结算系统，实现结算业务过程中结算规则确认、结算数据处理、结算计算、生成各项结算报表和结算审核业务流程说明，实现业务结算流程的自动化，减少人工保障存在的风险，增加结算信息透明度。我的职责：1：负责数据采集、数据模型设计和ETL开发。2：参与调查客户需求及数据调研，数据对接方案设计。3：根据客户需求设计数据库模型，并开发报表。4：撰写系统开发各阶段文档。