曾负责华为业务项目版本的构建与发布、保障产品质量版本过TR6后提供商业使用(包括中国电信、中国移动、中国联通、对外测试(提供其它国家商用))。我主要负责python开发和维护CIE平台和华为其它的项目。1、使用的版本管理工具有git、git mm 、svn等的使用。2、环境使用到是开源的mano、openstack、linux系统等,正则表达式使用、DOS系统的基本命令(会修改与维护bat文件与使用)、python、java、计算机网络的基本知识例如常使用的是FTP/SFTP/SSH/TENLENT/TCP/VPN等等,熟悉SSH的常用配置文件,sokcet等等。有处理主流数据库的使用,拥有数据库设计和存储的经验。精通 Python ,熟悉JAVA开发语言和web前端,拥有Java 和Python 接口开发的经验,熟悉基础爬虫,拥有爬虫项目经验和开发经验和熟悉反爬的基本手段。熟悉tornado、django框架和Pyspider、Scrapy爬虫框架的使用,了解Scrapy通用爬虫和分布式爬虫,熟悉Ajax/Seleium/验证码识别/代理使用/常用解析库/常用基本库等
项目描述:通过scrapy-redis搭建分布式爬虫,爬取列表页每一项下的子页获取数据。
职责首先爬取首页后通过xpath匹配构建请求,并通过scrapy.Request发送请求,用xpath匹配需要的信息。同时循环创建下一页请求的form表单,通过scrapy.FormRequest发送POST请求。所有爬取的信息缓存到redis数据库中,最后通过将数据存入redis数据库中。自己还爬取过其他网站:知乎网、淘宝、豆瓣、360、领英网、印度最大的电商网站爬取等等。
使用python开发过很多的接口,例如车辆识别、选举网站认证、驾照识别、pan认证、中国电信网、印度TDS网站等等,升级公司的验证码识别率从30%到98%,取得良好的服务请求效果,精通人工智能的基本算法,有人脸识别的开发经历