案例介绍
--项目名称：杭州银行账单随心查
--相关技术: spring-cloud,hbase, elasticsearch,zookeeper
--项目背景：
由于账单数据的增大，原有的查询系统不符合现在的实时查询要求，要求对5年内近20亿的账单数据达到实时毫秒级的查询，对日汇总数据达到T-1的实时查询
--职 责：
1.架构设计文档编写
2. elasticsearch、springcloud注册中心，网关等脚手架搭建
3.快速海量数据初始化以及后续增量数据导入ES模块编写
4.高并发查询模块编写
5.生产环境项目部署
--项目收获：
1.合理的ES分片和索引字段建立
由于第一次接触ES搜索引擎，通过相关资料结合业务数据量建立最优的ES配置和索引
2.高效并发的数据导入
初期初始化数据量巨大，采用集群模式+分布式日期锁+导入日志表实现快速将HBASE的20亿数据在2天内自动化可断点导入ES
3.ES+HBASE对海量数据高并发下毫秒级的查询
根据条件对ES查询得到rowkey再查询HBASE得到完整数据，通过压力测试，能达到300左右的TPS
案例图片
相似案例推荐
其他人才的相似案例推荐
-
任务调度系统
1. 该项目主要用于财务根据支付宝收出账记录，以及对应订单
-
公道云-h5
功道云-h5 功道云是一款积分管理系统，通过奖扣分来提升员
-
公道云-后台管理系统
功道云是一款积分管理系统，通过奖扣分来提升员工执行力、提升工
-
二次电源自动化测试工程
项目名称：二次电源自动化测试工程 项目描述：二次电源自动
-
企业态势
角色：java开发工程师 负责数据的接入、解析和入库，对数
-
订单、结算、OA管理平台
主要模块包括：企业员工信息管理（OA）、商品信息管理、订单管
-
ETC运营支撑平台
项目描述：根据各省（区、市）汇集的ＥＴＣ车道数据（建立省级、
-
XXX管理系统
XXX管理系统： 主要功能：部门管理、用户管理、系统监控、
-
智慧城市运营管理中心
新型智慧城市建设的核心要素之一，城市运营中心是为更好对城市的
-
贵州省大数据共享交互平台
贵州省大数据共享交换平台是贵州省政府响应国家大数据信息共享交
-
某地区天气数据分析系统
基于Hadoop + Spark 集群的大数据服务。部署在基
-
百居易PMS
百居易聚合管理多个短租民宿预定渠道的房客咨询、房态房价库存及
微信接收人才推送
关注猿急送微信平台，接收实时人才推送
