为满足业务需求,需要将十万级别的数据进行秒级聚合,并满足如下条件: 1、系统数据处理量平均在万/秒,峰值在30w/秒,整体数据时效性要求5分钟以内 2、保证数据的准确性,如果发生数据错误,需要在小时级恢复(3小时以内) 3、定期进行数据校准,并能恢复不一致的数据 基于flink和spark引擎,和doris、redis等存储中间件,实现了一套流批一体的lamda架构,实现百万级数据的秒级聚合处理,整体时效性控制在3分钟以内,同时能够进行快速数据回滚和天级的数据一致性校准能力。 整体架构和落地开发均由我独立完成,并顺利应对了当年线上最大的促销活动...
项目介绍:该项目在申通快递公司开发的项目。为了解决省区多头看数问题,目标是提升省区数据运营效率。打通各个独立域,以考核指标、层级下钻来帮助省区统一及高效地经营分析。使用技术:React +TypeScript + Antd + Axios我的职责: 1、配合完成项目中的业务开发以及部署发版 2、项目中代码优化和代码提交时的评审 3、封装项目中通用的业务组件 4、引入自动埋点来记录用户访问的页面以及手动埋点记录用户行为项目特点: 使用一码多端的架构; 部分简单的页面采用低代码平台搭建。...
用户注册与登录 注册功能:用户可以通过手机号码、邮箱或第三方社交媒体账号进行注册,填写必要信息并设置密码。 登录功能:注册后的用户可以使用注册时设置的密码或第三方社交媒体账号进行登录,快速进入交易平台。 商品展示与搜索 商品分类:平台会根据商品的属性和类型进行详细的分类,如服装、数码、家居等,方便用户浏览和查找。 商品详情页:每个商品都有详细的展示页面,包括商品图片、描述、价格、规格、卖家信息等,确保用户能够全面了解商品信息。 搜索功能:用户可以通过关键词搜索功能快速找到感兴趣的商品,支持模糊搜索和高级搜索选项。 在线交易 购物车:用户可以将感兴趣的商品加入...
项目环境:Windows, Spring, SpringBoot, Hybernate, SqlServer 开发工具:IDEA 设计思想:该项目以Hybernate框架实现对数据库信息的各种操作。整个项目基于B/S,分层的思想,各层以接口编程,充分展现了接口的特性。 1.持久层在mapper映射器中完成对数据的操作。 2.业务层完成各种业务逻辑代码。 3.控制器层根据web服务器发出的请求调用相关的业务层。 4.使用信息摘要算法结合md5加密算法对用户的密码进行加密。 5.用session判断用户是否登录,并且存放登录用户的部分信息以便页面之间的信息交互。利用ajax技术进行异...