数据标准化落地系统是将业务系统在资金流转过程中产生的大量 交易明细、用户信息、企业工单、直连,间连清算明细、手续费优惠明细、 费率明细、代发代扣明细,POS,POSP交易明细,还款明细,差错明细等数 据进行解密、清洗、整合、标准化操作,形成可供分析的标准化数据。渠道 对账单数据标准化项目是该系统的一个模块,是将同公司有业务往来的银行 或受银保监会监督的金融机构在资金流转过程中数据的文件凭证采集后,统 一处理成可用的标准化数据。部分数据通过业务系统同步至 kafka,另一部 分数据通过网络请求传输至 kafka,还有部分数据通过脚本直接获取文件传 输到 kafka。spark streaming 实时消费 kafka 中的数据,根据不同的规 则,将不同形式的数据流经过处理,形成统一格式的消息,然后发送至 kafka 的标准化 Topic,利用 flume 存入 HDFS,然后通过 HIVE 映射到外 部表,供离线数仓使用。也有部分数据直接存入es供实时业务查询