案例介绍
该项目是公司智能搜索业务部子项目之一，主要负责海量数据的采集、清洗、抽取、存储等业务。数据来源主要通过爬虫获取。采集的数据网址涵盖全球，有中、英、法、德、意、日、韩、阿、俄等多国语言。数据领域涉及音乐、视频、体育、美食、旅游、酒店、地图、图片、票房、股票、证券、天气等等。系统部署在香港、新加坡、印度等多个国家。通过压力控制中心合理分配各个站点的爬取压力，实现了链接选取，子链递归爬取，新链发现，死链判断，定时爬取、动态渲染、动态代理等功能。数据通过kafka传递，topic流量峰值达到600万+，爬虫qps达到15万，成功率87%左右，每日有效爬取量110亿。
案例图片
相似案例推荐
其他人才的相似案例推荐
-
中小型MIS信息管理系统
具备企业基本信息系统运作、有销售模块、财务应收应付、冲账、凭
-
某机构信息系统管理
基础数据模块:具有增加、修改、删除、导入和导出功能，导入导出
-
大数据可视化平台
作品： 大数据可视化平台 所属行业： 计算机数据服
-
刻契业务
微信小程序。主要用来宣传公司的业务。有海报功能，已经上线。上
-
骑士邦
这个小程序有完整的APP版本。APP版本可以上传图片。用于用
-
私有化网盘
项目是一款安全高效的企业网盘(企业云盘),强大的在线文档编辑
-
基于调控云的监控业务事件化应用改造
以调控云与大数据分析系统数据为基础，融入其他系统的数据，为后
-
上海设备监控地调推广项目
该项目是对基于监控数据的变电站设备运行大数据分析系统的扩展改
-
管理系统
本项目服务学校系统，包含多模块，学籍模块，课程模块，课件模块
-
爬取500网威廉希尔数据
采集500网（www.500.com）威廉希尔欧洲赔率数据，
-
公司信息系统建设
负责搭建公司信息平台，包括设计开发、测试、运维等所有工作。使
-
大数据平台
根据公司需求进行大数据展示平台开发工作，盒模型使用的是dat
微信接收人才推送
关注猿急送微信平台，接收实时人才推送
