1:对于网络爬虫有一定的经验,并阅读过开源爬虫的源码;
2:熟练使用Elasticsearch,并应用于多个项目;
3:扎实的java编程基础,熟练掌握Spring MVC,Spring Boot框架,并阅读过spring源码
大数据分析平台 2016.04-至今
项目职务: 模块负责人
项目描述: 大数据分析平台是基于动态本体的搜索分析平台,提供了要素检索,全文检索,图谱展示,以及空间地理分析等功能。
项目职责: 负责搜索模块的设计及研发,包括搜索服务提供,索引构建,索引管理等功能模块。
项目业绩: 在集团多个事业部获得应用,取得相关认证和专利
网络爬虫平台 2015.04-2016.11
项目职务: 模块负责人
项目描述: 网络爬虫平台是基于开源爬虫框架基础上构建的支持爬虫任务可视化定制,爬虫任务调度的爬虫平台。可支持动态及静态页面的抓取。
项目职责: 负责爬虫任务定制机调度的后台服务提供;
负责支持事业部爬虫需求;
负责后期平台维护升级;
项目业绩: 在多个项目中取得应用,并抓取大量的网络数据;
取得相关认证及专利;