熟练使用 Redis、Elasticsearch、Kafka 中间件、Spring、SpringBoot、Mybatis 等框架,独立搭建 Spring cloud(包
括 nacos 注册中心、openfeign 远程调用、gateway 网关等)、熟悉定时任务、XxlJob 等。 熟 悉 各 类 中 间 件 多 种 方 式 的 单 体 部 署 或 集 群 部 署 和 使 用(Hadoop/Redis/ClickHouse/Hive/Flink/Zookeeper/Elasticsearch/Mysql)。
2023.07-2023.11 数据存储、数据归档、备份
项目描述:
该项目为业务支撑系统安全数据中心不可或缺的功能。
其中,数据存储执行逻辑为新建数据资产,则在选择的对应的存储进行建表、建索引、建目录等操作,通过
Kafka 中间件监听资产作业、资产数据采集等方式发送至存储 Top 的数据,将该数据(全量、增量)灌入对应的存
储表、索引、文件等(存储模块包括的存储类型有 Mysql、Kafka、Hadoop、Click House、Elasticsearch)。
备份系统则是通过资产信息获取到对应的表,通过数据治理调用 XxlJob、任务调度器再调用备份任务、以所
需的间隔时间进行归档和备份。
使用环境: JDK1.8、Mybatis、
开发工具:IDEA、
应用技术:SpringBoot、Mysql
研发要点:
需研究多种存储的查询方式、建表方式和入库方式
新建资产时,每个存储均需具备建表回滚逻辑。
需兼容各种存储的多种授权方式,例如 Hadoop 可无授权,也可以通过 Kerberos 认证。
其中,Hive 需绑定 hadoop 进行使用,需同时通过 loaddata 的方式和创建临时表的方式共用插入数据。