本人熟练掌握有python开发经验,熟悉Django,爬虫
熟悉常用开源爬虫框架,如 scrapy /pyspider;
了解基于Cookie的登录原理,熟悉常用的信息抽取技术,如正则表达式、XPath;
成功爬取网站的一些图片,文字,内容写入到数据库中。
1、负责集团内外部数据采集项目的执行及交付工作;
2、完成项目需求评估,制定完善的实施方案及交付计划,进行项目进度跟踪,预知项目潜在风险;
3、适配灵活的数据交付需求,建立正确的工作流程,保证数据交付质量,提升项目运营效率;
4、筛选供应商团队,落实奖惩规则,管控项目成本;
5、分析采集项目运营的核心业务数据,提出运营模式及平台工具的迭代思路,跟进落地和优化。