描述:
自助分析平台SA是一个完全可视化的基于Web的可视化SQL取数工具,面向ToB企业级产品,你可以通过类似玩乐高玩具的方式用一块块图形对象托拉拽SQL语句块,组合成复杂的SQL语句块,把复杂的SQL可视化图形转换为具体的数据库SQL语句进行预览取数分析。
主要模块:
ELK分布式集群日志搜索核心子项目。
Presto分布式SQL查询引擎数据源核心系统。
DB2 数据库核心系统。
Hadoop 集群核心系统。
后端垂直拆分集群核心系统。
前端水平拆分集群核心系统。
Vue重构前端内容中心核心系统。
后台管理中心核心系统。
负责主要模块:
1、负责实现ELK分布式集群日志搜索核心子项目。
2、负责实现Presto分布式SQL查询引擎数据源核心系统。
3、负责实现自助分析JVM调优。
4、负责实现自助分析日常需求开发、运维、Netty 开源项目 BUG 修复等。
主要技术栈:
采用集群架构开发模式。
后端:Hadoop、HDFS、Hive、Zookeeper、KerberOS、Presto、ELK、SSM、Netty 3.6.5、ActiveMQ、Nginx、JDBC、Servlet、Spring Boot、Spring Data Elasticsearch、Lombok、HikariCP。
数据库:DB2、Hive、MPP。
前端:Bootstrap、JQuery、Vue、element-ui、Echarts。
主要成绩:
1、与华为研发&运维技术沟通,支持KerberOS多租户并发认证解决方案难题。引入两个不同版本的相同JAR依赖包冲突难题。
2、ELK收集日志乱序问题。ES出现难以恢复的错误问题。ELK收集日志赶不上实时生产日志、CPU使用率高问题。生产环境部署Spring Boot 增量更新问题。
3、生产环境命令行Debug问题。JVM调优生产服务器项目宕机问题。
4、自助分析日志无法打印第三方框架日志问题。Netty开源项目Bug修复问题。IE 8低版本跨域问题。