熟练掌握Python编程语言
熟练掌握常见反爬虫策略以及应对措施
熟练掌握Python爬虫框架Scrapy、Scrapy-Redis及常用模块requests、selenium
熟练掌握网页抓取原理及技术,熟练掌握正则表达式、xpath、css等网页信息抽取技术
熟练掌握Mysql、Redis数据库的使用
熟悉Linux常用指令
熟悉常用的SQL语句
熟悉HTML、CSS、JS前端技术
了解部署 Linux 服务器
了解JS加密解密
全国公共资源交易网、采购网(运用scrapy-redis分布式框架对数据的采集以及清洗入库操作)
水利建设市场监督平台(对数据进行实时更新、保证数据准确性及时性、解析相应字段进行入库操作)
全国水利建设市场信用信息平台(采集网站数据解析公司需要字段入库保证后台数据准确性)
四川政府采购网(运用scrapy-redis分布式框架写爬虫脚本对数据进行清洗入库保证项目能在服务器上正常运行以及后期对项目的维护工作)
四川公共资源交易网(运用scrapy-redis分布式框架写爬虫脚本对数据进行清洗入库保证项目能在服务器上正常运行以及后期对项目的维护工作)