浪擎DataOne数据融合系统

猿急送>上海兼职程序员>郑勇>

案例列表

基本信息

案例ID：162027

技术顾问：郑勇 - 2年经验 - 浪擎科技

联系沟通

微信扫码，建群沟通

项目名称：浪擎DataOne数据融合系统

所属行业：企业服务 - 数据服务

->查看更多案例

案例介绍

1、DataOne 是浪擎科技自主研发的多元异构数据汇聚产品，致力于解决大数据治理的“第一公里”，主要用于各类数据融合、数据交换场景，专为超大数据量、高度复杂的数据链路设计的灵活、敏捷、及时、可扩展的数据交换平台，无需额外的开发和生产发布，通过可视化图形配置和管理数据任务，几分钟即可自服务部署一条实时数据管道，所有操作在浏览器内就可以完成，减少企业的数据融合成本。
2、DataOneV5.0版本将系统底层功能模块化，采用分布式架构中台服务采Springboot+Shiro+SpringDataJpa+SpringCloud等框架提供相关服务 API：系统安全管理、用户权限管理、系统日志管理、历史任务管理、数据同步管理、数据对比管理、实时监控、数据可视化等功能；
数据同步服务：采用SpringCloud+Kafka 相关组件实现分布式的任务数据流通道，数据同步服务分为数据采集层、数据转换层
及数据导入层，数据采集层主要采用KafkaSourceConnector与各种数据库对应的归档日志，实现实时、定时捕获数据源全量或增量数据；数据转换层实现过滤、脱敏、去重、异构转换、高级清洗脚本等数据治理；数据导入层主要采KafkaSinkConnector与JDBC 将处理完成的数据导入到指定的目的端数据源。目前支持MySQL、Oracle、SQLServer、Sybase、DM、KingBase 等关系型数据库异构迁移转换，支持FTP文件迁移，支持关系型数据源到目的端HDFS、HBase、Hive 等数据迁移。
数据对比服务：目前仅支持Oracle 到 Dm的对比，支持数据库表结构：长度、精度、字段类型、允许空值、主键类型、默认值、注释对比；支持数据对比：数据量、数据差异、数据缺失等；数据库对象：触发器、视图、存储过程、存储函数等数量对比