1. Python爬虫技术熟练,项目经验丰富;
2. 能够熟练使用Scrapy 爬虫框架、Scrapy-redis爬虫框架;
3. 熟练使用网络爬虫模块、urllib、urllib2、Requests等;
4. 熟悉基于正则表达式、XPath、CSS等网页信息抽取技术;
5. Python后端方面熟悉Django框架,熟悉Git版本管理工具;
6. 熟练使用Linux操作系统;
7. 数据库方面熟悉MySQL、MongoDB、Redis等数据库的增删查改操作;
8. 熟悉 HTML、 CSS、JavaScript以及 jQuery框架等,了解vue框架以及微信小程序;
9. 熟悉HTPP/HTTPS协议, TCP/IP协议;
2018.07 - 2018.10 小红书app爬虫
项目描述:爬取小红书app中热门笔记标题,作者,点赞数,收藏数,评论数,内容等信息
责任描述:
1.使用Airtest框架的自动化交互操作,实现app数据的爬取
2.为爬取的数据进行去重
3.优化爬取的准确性
4.维护爬虫的运行,解决爬取过程中出现的问题