案例介绍
对人人网、百合网、世纪佳缘、微博等社交类网站的用户数据进行采集，主要使用的是requests并结合多线程进行爬取，数据量累计约6000万。
技术描述：1.通过一个用户的数据，获取与之相关联的其他用户的数据；
2.通过UA池，模拟成不同的浏览器，获取用户数据，通过封装IP代理池并维护，在出现IP封禁的情况下使用可用IP进行爬取；
3.在出现强制输入验证码的反爬时，常通过打码平台（超级鹰）进行破解；
4.爬取到的数据存储在MySQL中。
案例图片
相似案例推荐
其他人才的相似案例推荐
-
圆圈
该项目主要针对智慧园区，独立完成该项目开发，撰写技术文档，和
-
区块链商城
此项目为webapp，含有商城功能，数字货币购买，以及该货币
-
掌厨后台
功能：对商城订单和平台客户的管理 角色：负责完成商城订单部
-
掌厨
功能：在线食材商城，可以通过线上下单，线下完成配送。 负责
-
纳米系统
纳米系统分为客户端和业主端，系统又分为移动端和web端 主
-
电子商务平台(dx)
该项目是电商模式处于井喷时代时而研发的，主要功能类似于的淘宝
-
U.S. Trading Company
项目描述： 当前应用是针对客户仓储系统，商品浏览，大客户下单
-
玛氏智能补货平台
目描述：该项目是玛氏中国为其下游经销商开发的一款具有人工智能
-
不可上传
无
-
不可上传的
无
-
某游戏公司BW网站
游戏门户网站，对接多家平台，对门户网站后台数据逻辑展示。以及
-
汇电商
负责整个浏览器插件的开发上架，已经接口数据抓取分析，以及服务
微信接收人才推送
关注猿急送微信平台，接收实时人才推送
接收人才推送
联系需求方端客服