1. python爬虫(分布式)包含学术、电力、商务、经济等各方面内容
2. web开发框架,包括不限于Django、Flask等
3. 数据清洗及数据分析
4. 机器学习 + opencv
5. html5前端技术
6. 智能办公程序
1. 电子商务,根据用户指定商品,从多个平台获取该商品或同类商品价格、销量、评价等,分析商品销售曲线和前景、制定销售策略。
2. 反爬,获取用户指纹、请求路径、请求频率等,判断用户是否是爬虫或恶意请求,及时更新反爬策略。
3. 办公智能程序,为用户批量处理文件。
4. 制定化爬虫。
从不同spa gui中获取相关数据(excel或pdf),根据用户需求,将不同数据文件整合成一张数据表。
根据客户要求,制定爬虫管理平台,用户在前端界面生成任务,经api请求后,由python执行爬虫,返回数据,可终止,可继续,可查看任务进度。整个爬虫流程可视化。