熟悉HTML、CSS、JS页面结构,正则表达式、
熟悉xpath提取页面元素、
熟悉爬虫库requests、框架scrapy、
熟悉数据库msyql的增删改查、mongodb、redis,
能根据需求,处理常见的反爬,抓取数据
本人目前做过多个电商网站的信息爬取,如京东商品信息爬取、评论爬取,豆瓣电影评论及视频爬取,天猫商品的爬取并加以数据分析。
本作品做的是京东商品的好评、差评以及好评率、好评数、商品图片的爬取,并对所爬取的商品信息做了数据分析。
爬取京东商城“手机”类商品按销量排行的前60个手机的详情信息,并对所爬取的数据进行价格与销量关系分析和品牌与销量关系。
爬取京东商城“手机”类商品按销量排行的前60个手机的详情信息,并对所爬取的数据进行价格与销量关系分析和品牌与销量关系。