基于公司 Global Systematic Stress Test 业务构建的大型数据分析平台,日均数据处理量 1TB,对上 游每日的数据 进行离线分析、处理、清洗后写入数仓。构建交易数据的离线与实时数据仓库,设计数据 模型,ETL 实施,ETL 性能优化, ETL 数据监控,提升数据架构扩展性,支持数据产品的快速迭代和横向 扩展。该项目使用 Java 语言通过 Spark 和 Hive 构建数仓,包括数据抽取,转换和加载,确保数据的 高效处理和整合。同时进行 Spark 性能调优,每天固定时间数据会更新,需要及时处理 确保性能稳定, 编写自动化监控脚本。