案例介绍
项目介绍
解决爬虫日益增加带来的管理和调度等问题，从而搭建起爬虫系统。前端采用vue-element-admin做管理
后台，数据落地采用mongodb存储。功能包括数据低丢失率，任务失败重跑，数据去重，监控等。
我的职责
1. 实现redis分布式锁中间件，防止资源竞争
2. 实现后端采用FastAPI框架提供API接收抓取任务，异步形式执行
3. 实现多线程模式进行数据抓取
4. 搭建ip代理池服务
案例图片
相似案例推荐
其他人才的相似案例推荐
-
物资运送
综合任务基于集团总部新年战略规划的要求，构建的高效、简洁的任
-
明智优点
物资运送管理可以解决实际项目中实际的标本运送、药品运送、血制
-
TIT智慧园区
传承城市记忆，助力企业发展 T.I.T智慧园区数字化管理平
-
接口开发
，主要提供U9接口与第三方系统的对接，单据开发、功能逻辑开发
-
uipath自动录入机器人
多开虚拟机模拟人工对网页进行操作，录入数据，节省公司人力成本
-
threejs工厂流水线监控
基于threejs的工厂流水线监控，主要包括各类小车、钢卷、
-
b端产品组件展示
由于商业性质，不展示完整界面，图片为组件库的搭建。基于组件库
-
b端产品组件库展示
由于商业原因，不展示主要界面，主要展示的是组件库。组件库有利
-
设备控制展示
部分设备实现：通过UDP控制设备的操作和设备的状态展示，RT
-
智慧服务云平台
此项目是气象局提供气象资料，我们将数据可视化，为企业提供气象
-
智慧服务小程序
此项目为智慧服务小程序端，后端功能由我独立开发，主要功能由微
-
中国体育彩票管理系统
中国体育彩票管理系统
微信接收人才推送
关注猿急送微信平台，接收实时人才推送
接收人才推送
联系需求方端客服