3.熟练掌握requests,xpath,puppeteer,selenium,scrapy,scrapy-redis等爬虫相关知识
4.熟练掌握app端appium和mitmproxy,fiddler,charles以及web端一些自动化工具的使用
7.掌握几种主流的破解图片验证码机制,参与设计爬虫框架并独立开发模块
8.熟练掌握python基础开发知识,对JS,TS语言有一定了解对js逆向代码混淆有一定的破解能力
9.掌握安卓app端反编译工具使用以及逆向知识。比如:adb,Frida,hook等
1.淘宝京东美团脉脉等项目采集
2.快手直播,网易直播弹幕礼物的抓取
3.新闻游戏视频app微博用户数据爬取
4.招聘简历抓取与微博信息采集
京东商品详情信息抓取是自主研发,数据已达亿级。 直播平台属于与团队协同开发,我负责快手直播礼物这一块
1.负责快手直播网页端弹幕礼物抓取 2.随着网页端问题不断,转向H5端进行抓取 3.使用ts进行开发。
美团,飞猪,携程酒店价格信息,评论,酒店详情信息 大众点评酒店详情信息,评论等信息 同程艺龙房价房型房态信息等采集