熟练掌握Python语言,能够使用python完成各项工作。熟悉主流的Python Web开发框架Django及部署流程,并用其独立开发过公司内部web系统。现在一直从事于数据收集工作,开发爬虫程序,提取文本、链接、图片、文件等各类信息,研究相关站点的网站特征,发现它们的特点和规律,设计各种爬虫策略和算法。掌握分布式爬虫的开发,熟悉redis、mysql数据库及自动化工具selenium。
1.分布式爬取各类电商网站的商铺及店铺信息,包括店铺商品名称、链接、价格、评论信息、图片等。
2.为公司部门独立开发工单系统,使用django+uwsgi+nginx模式部署,数据库使用mysql,前端显示使用bootstrap和higcharts。实现工单的及图片的录入,excel表单的到处,信息的筛选,及全局的模糊搜索。