python语言基础,MysQL、MongoDB和Redis数据库,Git版本与Sourcetree;
1. 负责现有爬虫系统的维护改进,核心技术研究、参与架构设计、系统规划;
2. 团队相关业务系统的系统研发工作;
3. 负责爬虫核心算法的策略优化,提升网页抓取的效率和质量;
4. 研究各种网页、微信、主流网站接口,实现多通道抓取;
5. 反爬策略的设计及优化;
6. 根据需要负责业务需求分析、系统设计、开发计划的制定与跟进
1、scrapy方法对B站数据抓取 ;
2、爬取代理IP,并验证代理可用性;
3、爬取微博数据;
4、政民互动数据爬取;
等