● 项目背景:京东汽车部门创建初期,为了构建自己的汽车配件仓库,需要打造一条数据清洗流水线,将各业务线中杂乱且不规范的汽车配件数据通过程序清洗为标准的汽车配件 SPU。 ● 项目技术:后端java和python为主要语言,结合京东二研大数据平台,xx-job做为数据清洗的主要工具,使用es作为数据采集工具,使用mysql读写分离以及分库分表作为清洗产出数据存储实现 ● 项目难点:行业内全车件数据庞杂,spu 种类可达数百万之多,且所有的4s店无统一标准,且仿制品厂商众多,标准不一,需要将配件特征高度抽象并制定统一标准。 ● 解决方案:与国内知名数据公司合作,在数据公司的数据基础上结合自...
·项目背景:任职于北京裕福集团期间,公司有多个产品线,有多套用户数据,业务上需要整合所有业务线形成统一的用户中心 项目技术:后端采用spring,springMVC,mybatis框架,使用outh2作为授权协议,结合短信+图片验证码的方式作为登录用户认证手段,前端采用vue框架 项目难点:不同子系统数据完整度和唯一标识各不相同,打通非常困难,且需要解决单点登录问题 ·解决方案: 采用业界主流授权协议-auth2,结合springSecurity模块,解决了用户单点登录与安全问题, 重新定义用户唯一标识-PIN,并引导用户对基础数据进行完善业绩: 完成了公司用户数据统一,大幅提升了...