软件环境: SpringBoot+Spring+MyBatis+Kafka+Zookeeper+Kettle+Quartz+SaiKu+Kafka Stream 开发工具: IDEA+Maven+Git+Jenkins+Kubernetes+Docker+Mysql+InfluxDB
项目描述: BI 系统的核心作用是发掘呼叫中心系统的数据价值,并对其运行状态进行监控。主要分为三个模块:话务记录管理模
块(BI-Call)、报表管理模块(BI-Report)和监控管理模块(BI-RTStat)。
责任描述: 完成 BI 系统服务端开发,包含如下模块:
1、BI-Call 从 Kafka 接收到呼叫挂断事件后,把话务记录写入 Mysql 中,并提供查询服务。技术难点是数据量巨大(超
十亿),但查询效率要求高(三秒内)。在写数据时使用了异步写入;在读数据时使用了 Mysql 联合索引,运用了数
据库读写分离、数据库分区和数据库归档技术。
2、BI-Report 使用 Kettle 作为 ETL 工具,使用 Quartz 作为分布式定时任务调度工具,使用 SaiKu 作为多维分析工具,
支持用户自定义报表,支持数据的钻取和维度转换。
3、BI-RTStat 使用 Kafka Stream 流处理技术,以事件驱动来完成实时统计,统计后的数据定时写入 InfluxDB 中,配
合 Grafana 展示为图表。支撑了某银行信用卡中心近 1 万坐席呼叫数据的实时统计与监控。