熟练掌握python爬虫、多线程、多进程、异步协程,python数据采集分析,对于数据采集分析、模拟人工鼠标键盘操作,有多年工作经验;
可以通过selenium来模拟网页、app、pc端等人工操作采集、点击、移动等,也可以通过webapi,用requests以及json来通过发包获取数据;
熟练Python+Selenium自动化脚本编写,熟练Jmeter性能自动化脚本编写;
淘宝平台任意商家所有商品信息,包括图片、价格、销量、评价、介绍等。
同花顺所有股票数据。
中国福利彩票网所有彩票数据。自动化登录**能源平台,爬取数据,自动分析数据。
抓取京东商城商品信息 https://www.jd.com/allSort.aspx(20分) 使用scrapy_redis 抓取首页大标题,中标题,小标题;详情页图书名称,价格
猫眼专业版实时票房信息抓取 https://piaofang.maoyan.com/dashboard 要求:抓取最新影片,综合票房,票房占比,排片场次