熟练使用python标准库以及第三方库
熟练使用django开发后台接口
熟练使用linux命令
熟练使用爬虫爬取数据
熟练使用pandas处理数据
熟练使用python编写自动化测试脚本
具备良好的编码习惯,熟悉常用算法和数据结构,熟悉基础的网络知识,精通网络编程和多线程
具有良好的自学能力,能通过研究来解决开发中遇到的难题
项目描述:定时爬取了汽车之家的 所有汽车参数
爬取相关信息,然后对数据进行处理,存入数据库,增量开发
主要技术:
selenium 自动化
Requests 请求 url
xpath 解析
apscheduler 定时器
Pymysql 连接数据库 进行一系列操作