案例介绍
项目描述:
1. 原项目平台使用Hubble做在线交易和大规模数据的即席分析的场景,因行方业务数据量迅猛增长,目前该平台已不能支撑业务正常运作及故障率暴增.
2. 现平台更换架构方案 采用 hbase+elasticsearch做二级索引,提供海量历史,实时交易数据查询 ,平台es 索引数据 50w/s, 提供各业务部门并发访问查询每秒1000,平均响应时间0.5s
项目职责：
1. 部署构建cdp平台,主要组件 hdfs,yarn,hive,hbase及kerberos安全认证.节点数20个
2. 部署es集群环境 5master + 10data 冷热分离节点, 以及安全认证
3. 数据量80亿流水表 批量写入hbase,es 优化写入性能
4. es索引分片数据大小规划,索引命名设计, hbase的rowkey 与es的id设计对应关系
案例图片
相似案例推荐
其他人才的相似案例推荐
-
电销App
分为app和后台两个系统 app分为ios和安卓两种客户端
-
诺亚管理
财报系统，输出财报，管理标的，在项目中负责业务的对接和分析，
-
CRM管理系统
给信贷公司做的CRM系统，用于管理客户心思，管理员工账号，统
-
商票交易平台
在项目是高级后台开发工程师，主要工作内容以下： 1、企业实
-
华夏信用卡申请系统
信用卡网申申请系统 技术框架： 老系统：PE 框架+J
-
python接口自动化
项目描述：疫情让线上会议成为主流，项目基于微服务体系（企业微
-
JReport
JReport is a Java reporting so
-
银行取款机
在银行取款机项目设计中，主要负责将银行后端开发以及前端的部分
-
银行取款机
在对银行取款机项目设计中，主要进行银行后端的开发设计和前端部
-
移动小微贷系统
内容: 为了支持信贷业务线上办理的趋势，神州数码融信云为村
-
小觅金融管家系统
内容： 融信云“小觅金融管家”围绕零售信贷条线进行设计，以
-
十二金服
十二金服——云南专业的互联网金融咨询服务平台。十二金服网站平
微信接收人才推送
关注猿急送微信平台，接收实时人才推送
