在公司承担数据爬取任务,熟悉网站反爬,熟练使用数据库,能抓取网站数据也可抓取APP数据。
熟练使用抓包工具,分析数据接口获取数据
熟练使用python,可以编写脚本,使用django编写后端逻辑
熟悉多线程爬虫,了解携程,使用scrapy框架抓取数据实现去重,定时
了解分布式爬虫
采集抖音数据
利用python+uiautomator2+PIL+cv2抓取抖音商品信息
京东大药房数据
破解京东大药房登录界面滑动验证码,利用ip代理池实现多线程爬取数据
微信公众号数据
采集已关注的公众号数据
微信公众号爬虫 微信公众号有关医药公众号的数据采集,采集的数据用于医学新闻模块的数据展示和做数据统计 在作品中担任python爬虫工程师
京东大药房多线程爬虫 在此任务中担任爬虫工程师 破解京东登录界面,获取cookies,模拟登录 将京东大药房全部药物数据抓取,用于公司药物价格等信息的补缺,以及数据的统计