Web开发:Python / Java(熟练掌握Python,熟悉基本的Java开发流程)
Web框架:Flask/ Django/ (熟练使用Flask,熟悉Django)
数据分析:SQL / Numpy / Pandas
爬虫相关:Requests / Scrapy / 反爬策略 / 分布式 / XPath / re / lxml
深度学习:Caffe / Tensorflow / Pytorch / TTS / GAN / Openpose
数据库相关:MySQL/ Redis/ Mongodb
版本管理:SVN/ Git (熟悉SVN版本控制,熟练使用Git)
开放平台:微信公众号开发/ 微信小程序开发 (熟悉微信开发者平台)
操作系统:基于linux/ Windows
其他:Docker (熟练使用Docker快速部署)
项目简介:爬取境外网站有关“人工智能”的资讯类数据,为公司官网资讯中心提供数据支持。
主要职责:
利用爬虫框架Scrapy实现分布式爬虫
处理反爬措施和运行维护
数据处理和数据存储
启动定时任务爬取网站资源