Python开发
爬虫开发 ,用过scrapy框架进行项目开发
前后端分离
后端服务器运维支持
数据库熟悉mysql
web后端主要使用的框架为Django以及Flask,配合MySQL/Redis/等,构件网站后台.
主要职责:
1.使用django框架开发网站
2. 网页结构分析,采用scrapy框架搭建爬虫程序的架构
3. 编写程序完成网页的爬取,根据客户需求,负责网页信息抽取、数据清洗工作
4. 对抓取的数据进行抽取、清洗、去重,并做持久化存储
5. 爬虫程序的性能优化,及时处理网站升级后反爬问题 如:唯品会网站,贝壳网站