1.Python 基础扎实, 有良好的编码习惯;
2.熟练基于 Requests, Scrapy, Selenium 各模块的数据抓取,利用Xpath, BeautifulSoup,Re 的数据清洗, 验证码,登录,js异步加密,等各种反爬措施的应对;
3.熟练Python Web技术
4.熟悉数据库MySQ
Linux:熟悉Linux/类Unix开发环境,了解其常用命令行的使用。掌握WEB前端技术内容,掌握WEB后端框架,熟练使用Flask、Tornado、Django。掌握爬虫、数据采集、数据机构与算法,掌握人工智能技术
引物自动化设计软件
我的职责
1,软件基础功能设计,完成相关函数如自连互连验证,温度验证等功能
2,分析NCBI网页格式,设计API调用接口
3,编写测试脚本对软件进行测试
这个项目是通过scrapy-redis搭建分布式爬虫爬取企业信用信息网公布栏,爬取列表页每一项下的子页获取数据