案例介绍
KyHub是一款ETL数据集成工具。数据同步以Kafka Confluent平台为支撑，提供了常见数据源类型的数据同步服务。KyHub可设置多种同步模式的数据同步任务，并且对同步任务的健康监控和实时告警服务，解决了数据孤岛问题。
责任描述:
1. 项目的前期调研：负责对Airbyte调研，参与和Fivetran、Flink CDC、Kafka Connect等ELT产品进行优缺点的比对。
2.KyHub数据同步任务创建和执行，根据设置的不同的同步方式（标准操作、CDC）和同步模式（增量、全量、覆盖、追加等）对接Kafka Connect的不同的连接器并创建source connector和sink connector；为设置了周期性定时同步的任务设置任务定时器以完成持续的数据同步。
3.对接Kafka和KafkaConnect对数据同步任务的结果收录、健康监控、报错收集。
4.产品的测试环境搭建：Linux上安装Docker、Kafka、Kafka Connect相关组件（Debezium、Kafka-Connect-JDBC等）；使用Docker-compose部署Nginx、KyHub、Airbyte、MySQL、Oracle、PostgreSQL等。
案例图片
相似案例推荐
其他人才的相似案例推荐
-
冰魔方
1. 负责研发中心所有技术方案、部门事务。 2. 研发规范
-
G7车联网平台
1. 优化数据库，对几张数据大表（亿级别）进行索引和结构优化
-
融合定位误差分析软件
1.该软件由本人独自编写 2.实现功能如下： （1）两个
-
爬取误差数据画图展示
1.该程序由我自己独自编写 2.该程序实现的功能如下：
-
边缘汇总平台
采集树莓派作为边缘端，整合设备数据并汇总上传至云端。 同时
-
采集平台
主要构建基于微服务框架的采集平台，收集设备数据，通过自定义规
-
自然资源后台管理系统
给山西太原自然资源局做的后台管理系统，主要用于内部员工使用的
-
后台管理
责任描述：数据的展示，上传，下载，代码复用 项目应用的技术
-
爬虫
参与数据爬取、可视化，主要是利于 scrapy 获取各地区的
-
数据采集
这个是爬取一些网站的基本信息，一般对文字保存为JSON数据，
-
项目管理系统
a. 在nginx服务器完成项目的部署 b. 开发动态路由
-
调频辅助数据分析系统
系统根据最新的南方电网下发的两个细则进行数据分析，针对电网运
微信接收人才推送
关注猿急送微信平台，接收实时人才推送
