案例介绍
负责根据需要爬取的数据进行需求分析，分析目标网站的网站结构和一些反爬手段；
负责通过requests、scrapy、scrapy-redis、xpath等技术手段编写爬虫程序进行内容抓取，对抓取到的数据进行清洗过滤，分表存储，以供其他部门使用；
负责定期维护ip代理池，清除失效代理ip，根据爬取过程中遇到的一些反爬手段，优化自己的程序；
负责使用web的Django框架参与其他公司内部软件的开发；
负责数据的去重，清洗，对于亚马逊ip反爬，检测验证码，制定具体应对措施。
案例图片
相似案例推荐
其他人才的相似案例推荐
-
AI 助手
通过三方AI 框架，调用本地向量数据库（法律法规相关PDF
-
GLM-6b模型部署
在GPT的出现后，掀起了ai热潮⽽我也被其深深吸引，在经过⾃
-
哈罗智能业务指标监控系统
随着公司日益壮大，全能车薅羊毛情况出现，迫切需要一套能监控各
-
某车机多媒体功能系统
！保密项目，无法公示。 针对国内某主机车厂的热门车型的HU
-
数据挖掘与可视化的市场调研项目
项目描述： 该项目从各种数据源如社交媒体、论坛和新闻网站中
-
电商产品信息采集
责任描述： 1.我负责开发一个爬虫系统，针对每个电商网站编
-
网络安全与数字运维智慧管理平台
网络安全与数字运维智慧管理平台对接多种类型的 IT 基础设
-
配网人工调度指挥系统
本项目主要是融合配网各业务信息系统及多源数据，构建统一业务处
-
深圳市大疆创新科技有限公司软件开发
技术栈：FFmpeg + OpenCV + Python
-
esl移动版
该系统为电子价签移动版。主要功能与web端相结合，产生连通关
-
esl移动版
该系统为电子价签移动版。主要功能与web端相结合，产生连通关
-
基于AI及Hash计算的图片搜索
该功能是为公司数据标注团队研发的人工智能工具，目的是通过2D
微信接收人才推送
关注猿急送微信平台，接收实时人才推送
接收人才推送
联系需求方端客服