Python开发
爬虫开发 ,用过scrapy框架进行项目开发
前后端分离
后端服务器运维支持
数据库熟悉mysql
web后端主要使用的框架为Django以及Flask,配合MySQL/Redis/等,构件网站后台.
主要职责:
1. 网页结构分析,采用scrapy框架搭建爬虫程序的架构
2. 编写程序完成网页的爬取,根据客户需求,负责网页信息抽取、数据清洗工作
3. 对抓取的数据进行抽取、清洗、去重,并做持久化存储
4. 爬虫程序的性能优化,及时处理网站升级后反爬问题
类似项目:旅游网站,博彩网站