本人于2008年大学本科毕业,专业是计算机科学与技术,毕业后一直从事软件开发工作,熟悉Linux操作系统,熟悉java,python,C,shell等编程语言,数据计算机网络。做过交换机路由器软件开发,做过物联网开发,做过web开发,做过大数据数据可视化相关工作,最近几年主要从事于大数据爬虫相关工作,熟悉各种反爬技术以及应对策略。
1. 电商爬虫系统。
项目描述:爬取内主要电商网站的公开数据,做好爬虫任务去重和过滤,使用分布式高可用方式部署,只要还有机器没有故障,爬虫系统仍然能工作。把数据进行清洗和整合,最后通过前端各种报表展示数据的变化趋势,为客户提供策略做依据。
我的职责:负责带领团队,设计、优化、开发与维护爬虫系统,不断提升爬虫效率,同时应对各种反爬技术,为数据处理提供数据源。
2. 金融量化交易系统
项目描述:该项目爬取金融产品价格,通过分析历史数据,建立数学模型,把数学模型重新在历史数据运行,验证模型的可行性,便于分析,还开发出一套数据可视化界面。在实盘中当出现无风险套利机会时,系统能抓住机会,自动下单。
我的职责:负责金融产品的历史和实时数据的爬取,负责数据存储和清洗,负责把模型用代码实现出来,并作出可视化前端。