项目描述:
随着公司对数据检索的需求不断增多,对实时响应的需求越来越高,我们组筹备搭建一个即席查询系统提供查询服务,拟在数仓建设的基础上提供实时查询数仓数据的网站。满足客服、事业部、业务系统、各层级领导对会员、交易、部分实时流水的即席查询需求。
涉及的技术栈:
Hive,Impala,HBase,Elasticsearch,Doris,MySQL,Oracle,Redis
Java,Jsp,Python,SpringMVC,MyBatis
DataX,Kettle
ActiveMQ
Spark
Ranger
React
个人职责:
需求管理
1.整合和平衡各方业务需求,归纳成资源查询、交易查询、实时流水查询,提供异步历史库查询。
2.数据基座是数据仓库,并在其基础上提炼出加速查询的数据集市。
3.每天在规定的时间范围内准备好数据开放查询,并提供数据补录及纠错机制。
平台建设方面
1.采用前后端分离的设计模式,后端使用SpringMVC架构,Mybatis完成传统数据源的查询封装,自研HBase、ElasticSearch的查询封装,完成统一的查询入口,实现不同数据源的查询。
2.前段使用动态编码实现查询页面通过配置即可调整,无需变更代码。
3.后台服务通过配置实现动态调整,无需变更代码。
主要成果
1.根据查询条件选择查询方案,实现查询分布在Oracle、DB2、MYSql、Doris、Hive、Impala、HBase、ElasticSearch、Redis上的数据。
2.千万级数据1秒内响应,亿万及数据10秒内响应,历史库数据异步响应。
3.系统维护简单,通过配置即可实现页面和后台查询的调整,不需要重启服务。
成绩:
统一查询平台专利已经获批,我是该软件专利的第一作者。