案例介绍
项目描述：
爬取中国汽配网（企业大全、汽配城），爬取顺企网（汽配商），爬取法兰克福（参展商数据），爬取全国汽车交易会数据，汽配百度，汽配365，帮手汽配网
岗位职责：
根据领导要求，克服反爬苦难，抓取网站上所需数据，爬取完成后存成json文件，然后进行数据清洗，最后保存到MySQL数据库中，负责数据爬取和清洗
应用技术：
1、xpath定位网页元素进行爬取数据
2、正则匹配想要的数据，进行爬取数据
3、用Python字典、列表处理数据
4、遇到反爬机制访问过快，定时随机爬取数据
5、将清洗好的数据入库并进行查重、去重
6、编写json文件和Excel导入数据库脚本
7、selenium抓取数据
案例图片
相似案例推荐
其他人才的相似案例推荐
-
远程服务管理平台
图片仅是服务器信息监测/统计以及服务启动功能，其余功能没有一
-
蓝税系统
蓝税是针对于2019年新税法而设计的专业解决企业员工个人所得
-
Lenovo售后维修系统（CSD）
项目描述： ● Lenovo售后维修系统（畅思得shopf
-
cgpsync
项目介绍：为解决为gp集群备份过程中单个分区表数据量过大而效
-
上位机软件
开发基础：Windiws+C++ 项目描述：接收卫星接收机
-
泳池防溺水产品
产品描述： 该产品是国内首创的泳池防溺水安全辅助系统，革命
-
商事主体刻章平台
“互联网+刻章”平台提供线上线下全方位、 分层次、一站式的创
-
工作管理网站
提供日常工作的登陆，任务单的查询，接收，审核，管理，日志提交
-
数据配组软件
该软件主要实现Excel模板数据的上传，然后根据表中的数据，
-
我的麦田APP
主要功能是用户进行知识产权质押融资的申请、查询融资进度；获取
-
党建系统
党建系统，前后分离，前台移动端系统，后台为web管理系统。包
-
我的麦田网站
使用vue+element-ui+vuex+axios开发产
微信接收人才推送
关注猿急送微信平台，接收实时人才推送
