案例介绍
此项目是一个实时统计计算某电影网站相关数据点击量的spark项目， 采用flume实时监听log文件， 发送到kafka消息队列进行消费， kafka集群使用zookeeper进行管理， spark进行拉去kafka消息， 进行数据处理， 将处理后的结果保存在redis非关系型数据库中。
此项目我主要负责数据的计算， 如何使计算更快， 有很多优化的地方， 比如将处理后的数据保存在数据库， 需要跟数据库建立一个连接， 发送完成关闭连接， 再发送再打开连接， 非常耗资源， 可以采用一个分区一个连接， 进行优化
案例图片
相似案例推荐
其他人才的相似案例推荐
-
ITEvent
全栈，所有的设计、框架选取、代码实现都个人开发，大约用时3个
-
信义房屋代书管理系统
项目简介： 一个基于Vue开发的房屋中介管理系统。 相关
-
信义房屋代书管理系统
项目简介： 一个基于Vue开发的房屋中介管理系统。 相关
-
产线追溯MES系统
产线追溯MES系统为测试产线提供数据服务与控制，主要包括工艺
-
电缆线束测试系统
电缆线束测试系统为测试电缆的导通情况，包括导通测试、短路测试
-
地温能智控系统
把后台获取的数据可视化，图表、文字信息等，localStor
-
某行社客服系统
客服系统（某农信联合社客服系统、某农商银行客服系统、某市银联
-
建业邦
产品负责人 建业邦构建了完备的集数据采集、数据清洗、数据聚
-
钉钉有成财务
项目名称：钉钉有成财务 项目描述：钉钉平台上的一个自动做账
-
抽纸厂报价系统
一个抽纸的报价系统，方便进行报价。主要功能是用户登录后，可以
-
彼岸桌面高清大图
彼岸桌面高清大图下载分类，各个分类的高清大图都可下载，主要运
-
成都市智慧城市综合系统
因为涉密，所以只放一张无关紧要的图。完成各种数据对接，页面数
微信接收人才推送
关注猿急送微信平台，接收实时人才推送
接收人才推送
联系需求方端客服