熟悉python进程,线程,协程,(scrapy框架),(selenium自动化控制)爬虫,熟悉js逆向,ip限制,验证码 等等
熟悉mysql,redis 数据库
熟悉python django,flask web框架
了解html,css,javascript,jquery,vue 前端
(宝马,上海大众,斯柯达,volvo 等等):
EPC和vin数据:EPC(获取整个网站上的数据,按照网站结构进行数据库关联,最后进行数据分析,创建自己的数据结构展示在自己的web中),VIN数据(每个汽车都有一个vin码,根据这个vin码在EPC中展示对应的车辆信息)
汽车之家:
获取每个地区下的4S店铺信息 等等
vin数据单点数据获取:
使用flask框架做接口,当用户发送一个vin时首先会在web中查询是否有数据,没有数据就会通过接口去下载并且返回
百度,谷歌,360等等浏览器的vin号获取:
通过获取每一页的html,通过正则匹配对应的17位vin码,获取下来的vin进行数据清洗,vin效验,最终满足所有条件就将vin保存到数据库
等等
宝马EPC: 获取整个网站的所有数据,并且在自己的网站中进行复原,将获取下来的数据创建合理的数据结构并且展示,等等
通过多线程批量获取vin数据,将获取下来的数据和pr按照对应的字段进行存储,程序部署在linux当中,设置开启运行的时间段