1、掌握python的基本语法、具备良好的编程能力、了解并掌握多种数据库的使用
2、掌握数据爬虫、数据处理、建立模型、设计动态网页
3、掌握web前端技术内容、掌握web后端框架、熟练使用Flask、Django等框架
4、熟悉Linux环境、了解其常用命令
5、有良好的编程能力,对待项目负责认真,能够迅速学习并掌握相关知识,能够独立思考并解决问题
1、引物自动化设计软件:通过软件自动验证减少人力成本。
我的责任:软件基础功能设计,完成相关函数、分析NCBI网页格式,设计API调用接口、进行软件测试
2、分布式爬虫爬取某网站
我的责任:首先爬取首页后通过xpath匹配每个的信息块的span后构建请求,并通过scrapy.Request发送请求,用xpath匹配需要的信息。同时循环创建下一页请求的form表单,通过scrapy.FormRequest发送POST请求。所有爬取的信息缓存到redis数据库中,最后通过编写python脚本将redis数据库中数据读取出来加入mysql数据库