PB级大数据存贮查询系统

金融-股票 小伦子

业务方后台需要搭建一套日志导入以及查询系统,总数据量在1PB左右,需要支持超过500G日志导出 1. 设计了一整套大数据处理程序,使用Spark,支持PB级数据导入HBase 2. 设计了一套基于Spring Boot的web界面,支持提交任务并导出用户详细日志...

PB级大数据存贮查询系统
PB级大数据存贮查询系统
PB级大数据存贮查询系统

实时计算SQL管理系统

企业服务-数据服务 小伦子

原始计算平台依赖SQL存储过程,吞吐量低、开发维护困难,进过调研各种实时计算平台,最终决定基于Flink搭建一套集开发以及监控的计算平台 1. 在迁移历史项目的时候发现,一个单一的Flink Job开发涉及到代码编写、编译、包上传、查看日志等多个步骤,开发周期以周为单位,针对这个问题,基于Flink SQL Client和terminado开发了一套SQL实时调试系统,支持在web直接编写SQL开发和调试,支持实时返回运行结果,将Flink Job开发调试周期压缩到日,减少了90%的调试时间 2. 随着平台跑的Flink Job越来越多,设计了一套web界面管理并监控Flink J...

实时计算SQL管理系统
实时计算SQL管理系统
实时计算SQL管理系统
------ 加载完毕 ------
联系需求方端客服