1.会搭建python的网络框架
2.数据库操作
3.常见的网页信息爬取
4.数据处理
5.数据可视化操作
6.html的一些前端技术
7.熟悉常见的反爬策略,能够根据反爬策略编写一定的程序
8.能够把抓取的数据清洗,数据可视化
艾帕森的量化策略小程序设计,以及后期维护,修护debug,公司对一些网站的数据爬取,负责公司内部数据库设计、功能开发,对后端数据进行优化,配合公司业务需要迭代开发;
负责项目数据模型设计和分布式网络爬虫中心以及相关各种爬虫体系开发,对多平台信息进行抓取和分析工作;
负责分析静态、动态的网页结构,解析网页数据,对结构化和非结构化数据进行信息提取、清洗、去重、入库。