我主要在于分析技术,有包含(数据逆向、请求参数逆向、js混淆、js二次加密、Js逆向调试在内的,反页面debug,websocket,抓包技术等),代码倒是容易实现,反应在实际情况就是:
1.目标检测出是爬虫封了IP
2.目标返回了加密过的数据
3.目标返回了脏数据,无法辨认
4.目标网站必须登录才能访问
5.Javascript动态渲染,爬虫无法读取
6.目标网站有验证码无法访问
7.ajax异步传输,爬虫抓取到空信息
等等
加密货币交易所实时数据有超过15个交易所,包括三大(binance,huobi,okex),coinbase,抹茶,满币,还有去年跑路的A网等,实时采集,实时计算出各种k线
youtube,facebook,instagram等国外主流音乐视频的采集