python:爬虫:异步scrapy,aiohttp,多线程多进程爬虫解析:pyquery,xpath,re自动化:seleniumjs逆向:webpack,jsvmp,ast还原,补环境MOC,A去OK活族注能够应对大部分请求响应加密以及指纹验证,有大量应对反爬的经验以及风控应对经验。安卓逆向:jdx反编译,hook工具:frida,lsposed;调试工具:ida 反编译S0ob双向认证
抖音 用户详情页面数据采集
抖音 评论信息数据采集
根据数据接口分析需要逆向的参数
使用补环境或者扣方法的方式生成正确的参数
带上参数请求数据接口
使用xpath和JSON进行数据提取
数据清洗 去重 入库