熟悉分布式爬虫,熟悉Scrapy,熟悉xpath,re,多线程。
熟悉django框架,熟悉MVC架构,cookie,session。
熟悉各种数据库,mysql,redis,mongodb
懂html,css,JavaScript和JQ,会ajax,能前后端数据交互。
会linux基本操作和nginx。
爬虫接过很多单,猪八戒网,西雅图网,还有各种网,在咸鱼上接单无数,最高时爬取数据超过10万,精通各种反爬,处数据加密外的数据都能爬
通过各种反爬,爬取猪八戒网数据,名字,创建时间,公司简介,公司id,最高成交金额,评价成交金额等,顾客给予好评
猪八戒网,利用各种反爬技术,爬取各公司详细资料,包括好评率,标签,等级,公司名字,平均交易额,月收入额等等