大数据开发工程师
有10年的java开发工作经验,有5年javaWEB开发经验和5年的大数据开发工作经验;
熟悉java后端以及前端开发,有大型网站开发经历;
擅长网络爬虫开发;
熟悉Hadoop,spark,Hbase,MongoDB,Elasticsearch等大数据开发技术;
大数据收索引擎项目-基于Elasticsearch进行大数据的检索,统计;
数据采集爬虫项目-基于kafka,redis,多线程等技术开发出数据采集平台,可以对不同类型的网站进行配置采集;
大数据处理-主要使用spark对大量数据进行处理,统计,分析。
数据管理平台主要对数据采集的管理后台。能够对采集任务、解析、验证模块的管理。 数据采集平台能够对各网站进行采集后解析出想要的字段,最后存储。
该项目提供对全球期刊论文检索。里面有论文的元数据; 本人主要负责数据的采集,处理,上线,ES搜索统计分析。