熟练运用 Python 及常用的第三方库,有良好的编码习惯
能够使用正则、XPath等⽅式提取相关内容
了解常用的反爬虫段,能够分析常用的 JS 反爬,并对参数进行解密
了解 MySQL、Redis 等数据库,了解常⽤的数据库优化,存储过程等
能够基于 Redis、RabbitMQ 以及 Python 常⽤库搭建基本的分布式爬虫框架
熟练使用 Fiddler,能够抓包分析手机 App 数据
能够使用 Selenium 实现流程自动化,了解 RPA 机器人开发流程
了解常用的第三方接⼝,如百度 API,验证码打码平台的使用
熟悉 xlwings、xlrd、xlwt、openpyxl 、numpy、pandas等库实现 Excel 相关操作
基于 Django 框架python的 Requests、RabbitMQ、Redis 实现分布
集群, 实现数据可视化。
角色 | 职位 |
负责人 | python开发 |
队员 | 前端工程师 |
队员 | 后端工程师 |
基于 Django 框架,python的 Requests、RabbitMQ、Redis 的分布 式爬虫, 实现数据的可视化
取美团美食移动端 深圳地区店铺的信息,包括:店铺名称、分类、地址、电话、人均消费、营业时间、评分、评价人数、经纬度。