案例介绍
简介：分布式爬虫系统，根据客户授权，通过⽹网络爬虫，收集客户在相关电商、票务、社交⽹网站的⽤用户信息，以便便综合评定客户信⽤。
技术：Python + MySQL + Mongo + Redis + Kafka + ELK + Relic + Prometheus
职责：带领团队，从零到一，设计和实现整个分布式爬⾍虫系统。
1) 抽象并实现爬虫整体框架，包括 Verify 授权模块，Crawl 爬取模块，Retry 重试模块
2) 爬虫服务支撑子系统，包括 Dashboard，代理池 Proxy Pool
3) 基于 Mongo 和 MySQL 的数据清洗和存储子系统
案例图片
相似案例推荐
其他人才的相似案例推荐
-
晨阳信贷
晨阳信贷 • 晨阳信贷webApp项目UI设计采用poto
-
aix、linux系统运维
1.负责行内系统运维管理工作。 2.编写python、sh
-
事件搜索系统
1.负责行内系统运维管理工作。 2.编写python、sh
-
我做的项目
天下熙熙皆为利来，天下攘攘皆为利往”，钱财在哪里，人们就会往
-
信贷系统平台
金融信贷平台需求功能列表 模块 名称 描述 产品管理 费
-
信贷决策引擎
决策引擎系统由前端和后端系统组成，前端使用Vue + ele
-
乐居分期
作品中负责前端页面，以及微信登录注册，手机号登录，客户实名认
-
百度闪付卡
一张有信用额度的银行卡，有额度申请，额度消费（包括手机充值等
-
趣找车APP
趣找车APP是一款线上扫描车牌号的软件。通过线上结算佣金的方
-
花贷钱包
基于移动互联网的全流程线上网络借款APP，主要解决都市年轻白
-
向心贷
向心贷app是一款便捷的手机贷款服务应用，通过该款智能的ap
-
印尼借贷
基于移动互联网的全流程线上网络借款APP，定位于“年轻人的信
微信接收人才推送
关注猿急送微信平台，接收实时人才推送
