1.具备5年Java开发经验和1年Python开发经验,参与金融核心交易系统的开发建设、投产上线及运行维护
2.独立负责数据分析相关项目,具有丰富的数据抓取经验,包括但不限于:豆瓣、知乎、雪球等社区类网站,熟悉WebMagic、Scrapy等多种爬虫框架,掌握增量抓取、数据去重、动态数据抓取、模拟浏览器登录等常用爬虫技术,深入理解Lucene开源搜索引擎原理
3.参与大数据平台建设,负责顶层设计及技术选型,具有海量数据处理经验,熟悉Hadoop生态圈,包括但不限于:Hadoop、HBase、Hive、Storm、Spark等主流大数据平台
4.具有实时业务数据抽取经验,熟悉Logstash、Elasticsearch、Kibana等主流工具
1.参与精准营销项目,负责用户行为建模,通过抓取豆瓣、知乎、大众点评等社区类门户网站来获取外部数据,经提取、过滤、清洗、分析得到用户标签,与内部数据相结合,构建用户画像
2.参与大数据分析平台建设项目,负责对Hadoop生态圈的关键技术选型,及实时数据抽取的方案设计、架构规划