案例介绍
项目主要工作内容如下：
1、 kakfa 代码开发，接入爬虫数据. 2、 elasticsearch 搜索引擎平台构建、优化. 3、 基于 motan rpc 为上层提供接口. 4、 kafka 、elasticsearch 相关开发文档编写和整理. 5、Spark 关键词提取,智能解析,人工推荐.(1)数据缓存层:针对爬虫的数据(微博、微信等)通过 kafka 进行缓存,缓存生命周期 7day.(2)实时计算层:对 kakfa 数据,采用stormtopology 实时消费、分析.(3)数据应用层:对 storm 和 spark Streaming 实时分析的数据，实时 elasticsearch 搜索引擎,提供最终客户数据.用 hadoop/spark,hbase,mysql 做离线分析.Spark 做关键词提取,智能解析,人工推荐.具体实现:本项目采用 kakfa 对爬虫的数据进行缓存,storm/saprk 实时的对 kafka 数据进行消费,最终将 storm/saprk 实时处理的数据写入到 elasticsearch 搜索引擎,为客户提供精准、实时的数据.项目主要用到的组件: storm, kafka, elasticsearch ,hbase, kibana, shell, spark,hadoop
案例图片
相似案例推荐
其他人才的相似案例推荐
-
XXX公司防控疫情系统
功能：来访登记、出行登记、出差登记、风险地区登记、身体异常登
-
XXX经贸数据平台
功能：进出口贸易、企业备案、运输工具备案、部门备案、进出商品
-
LENSCRAFTERS企业服务
1、功能： 企业综合服务网站，包括当不限于：线上预约，门店
-
智能辅助系统
负责对第三方接口联调测试、线上部署，对接文档编写，方便其他系
-
视频平台
视频分析平台是一种基于人工智能算法，为图像或者视频提供内容分
-
人脸识别后台
AI云开放平台是一种基于人工智能算法，为图像或者视频提供关键
-
数据采集工具
用于，供货商企业或者生产企业对下属经销商的数据采集，采集进货
-
制片项目管理系统
大部分公司通过传统原始的Excel来管理项目，拆分成不同的表
-
知识库
公司每年每月都会产生大量的文档资料，不管是公司日常行政，人事
-
智慧监测云平台
软硬件结合，采集传感器数据。 功能： 1.传感器管理、权
-
企业内部信息化建设框架
企业内部框架，使用django自主开发，其中包括基础数据查询
-
居家数据爬虫
全网爬去二手房数据 获取二手房源信息，相关的价格，位置，成
微信接收人才推送
关注猿急送微信平台，接收实时人才推送
