数据标准化落地系统

基本信息

案例ID:127857

技术顾问:cl - 3年经验 - 宇信集团

联系沟通

微信扫码,建群沟通

项目名称:数据标准化落地系统

所属行业:金融 - 理财

->查看更多案例

案例介绍

数据标准化落地系统是将业务系统在资金流转过程中产生的大量 交易明细、用户信息、企业工单、直连,间连清算明细、手续费优惠明细、 费率明细、代发代扣明细,POS,POSP交易明细,还款明细,差错明细等数 据进行解密、清洗、整合、标准化操作,形成可供分析的标准化数据。渠道 对账单数据标准化项目是该系统的一个模块,是将同公司有业务往来的银行 或受银保监会监督的金融机构在资金流转过程中数据的文件凭证采集后,统 一处理成可用的标准化数据。部分数据通过业务系统同步至 kafka,另一部 分数据通过网络请求传输至 kafka,还有部分数据通过脚本直接获取文件传 输到 kafka。spark streaming 实时消费 kafka 中的数据,根据不同的规 则,将不同形式的数据流经过处理,形成统一格式的消息,然后发送至 kafka 的标准化 Topic,利用 flume 存入 HDFS,然后通过 HIVE 映射到外 部表,供离线数仓使用。也有部分数据直接存入es供实时业务查询

相似案例推荐

其他人才的相似案例推荐

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系需求方端客服
联系需求方端客服