1.熟练掌握Scrapy框架,以及Scrapy-Redis分布式框架,具备爬取网路技术。
2.熟练掌握requests,re,xpath等网络模块,具备网络爬虫网页信息抽取的能力
3.熟悉python多线程,多进程
4.熟悉django,flask,python后端框架
5.掌握MySQL、Redis数据库的操作,了解MongoDB, es,postsql数据库,具备数据格式化存储
6.大学英语四六级。
1.新闻舆情爬虫(微信公众号,新浪新闻,百度新闻)
2.电商网站爬虫(淘宝,京东,亚马逊,慧聪网等)
3.工商信息爬虫。
4.二手车汽车,房屋信息等网站信息爬虫(房天下,链家等)
5.ip地址解析爬虫,根据url来判定网站ip,用于分析网站信息。