BI数据中台

猿急送>上海兼职程序员>愿我如那时的风>

案例列表

基本信息

案例ID：207657

技术顾问：愿我如那时的风 - 5年经验 - 百秋电子商务公司

联系沟通

微信扫码，建群沟通

项目名称：BI数据中台

所属行业：电子商务 - B2C

->查看更多案例

案例介绍

公司数据电商代运营公司，需对公司内部及品牌方提供数据支持，满足对内日常及大促期间的数组保障（大促期间日均百万的订单量）；用于支持实时数据大屏，各类数据汇总任务，多维度报表等相关数据类产品。通过整合相应的数据表。在数据库层面数据更加清晰，减少业务部门对于数据处理的时间，赋能业务部门。
● 基于消息中间件对大促期间订单数据进行实时监听，将处理后的数据分库分表存入 MySQL中
● 定时补偿任务按照订单修改时间做批处理，使用过滤重复数据，并使用 CountDownLatch和
AtomicInteger 优化任务日志输出内容
● 天猫京东部分获取数据接口收费，通过 AOP+Redis 形式监控接口调用频次，达到频次后
预警
● 使用 xxl-job 定时任务配合 kettle 清洗数据，汇总各品牌每日数据
● 根据品牌做分库分表处理，解决单库大数据性能瓶颈，提高系统稳定性和可用性
● 线上慢 SQL 优化，解决单库大数量下性能问题，提高系统可用性