编辑 scrapy 爬虫框架,爬取公司提供的 MySQL 数据库里面的数
据爬取,处理上百万数据条,其中包括爬取后的清洗、重新入库
编辑 selenium 自动化爬取一些国外内等电商平台
编辑 Appium 自动化爬取 app 小红书、app 抖音等搜索公司相关
资料,对博主的后台数据采集
破解一些网站加密,APP数据解密,APP逆向破解
技术方面的讨论、包括和项目负责人讨论增量同步、编辑 python
自动脚本上传 Linux 按天自动运行
数据爬取主要运用 xpath、re、selenium、appium、mitmproxy
接口监控等其主要处理 js 加密(常见加密方式)、Ajax 等反爬虫、
代理服务数据爬取(反爬虫)
参与前后端接口 post 数据上传
参与 Django 基本框架项目学习(post、get)请求、分页
参与接口监控数据稳定、爬取速度的稳定
破解一些网站加密,APP数据解密,APP逆向破解
fiddler数据抓包数据分析微博APP数据,爬取博主发布的一些数据。
抖音APP的博主店铺数据等