掌握Java基础知识
掌握数据仓库,etl,多线程编程
掌握MySql数据库,sql优化,数据库优化(分库分表分区)
熟练使用Spring boot框架进行项目开发
熟练操作Linux系统,搭建各种项目组件
敬畏代码,良好的编码习惯,良好的文档编写习惯
会写shell脚本,日常linux系统管理、配置
会写python脚本,数据清洗,特征提取
自学hadoop生态圈,mapReduce、yarn、HDFS、spark、kafka、flume等
自学机器学习。参加过JData、kaggle比赛
佰均成:蚂蚁金服-财务域-应收(AR)平台
项目描述:
应收平台是蚂蚁金服对客提供结算,对内部提供核算,提供少量扣款能力的业务平台。
蚂蚁金服所有收入相关数据都会通过上游进入AR平台进行清洗、转换、计算后沉淀为平台数据,并传递给下游链路。
数据量大:数仓明细级数据单日5亿+,汇总后单日数据量1亿+,单表最大数据量600+亿条,数据库60T。
并发量高:平台SLA约定6小时,从数仓到应用,数据全部处理完毕
响应快速:除查询外的所有业务操作都是异步响应(异步线程,消息异步)
分步式事务:业务是财务相关,大量使用2pc分步式事务
TDD研发流程:需求接入-系统分析-测试分析-系分(测分)评审-代码开发-功能(正常、异常)测试-交付报告(技术风险评估)评审-集成(联调)测试-代码走读-预发上线
项目中职责:
普通迭代,独自完成
大型迭代,协同正式同学,共同完成:在业务不感知的情况下,升级数据库
智悠行:BI分析
项目描述
数据采集平台:
Springboot,kafka,flume,大量多线程应用,高并发数据采集,自动流量削峰。
深度开发flume,自动采集kafka数据,根据指定算法写入数仓
深度开发spring mvc 重写@RequestMapping,@ResponseBody注解(Spring mvc,json默认处理框架Jackson)实现接口采集数据,数据压缩、动态加解密
ETL调度平台:
Springboot,quartz-2.2.3,rides ,guava-22.0,大量缓存应用,大量多线程应用,支持分布式部署,支持离线计算、在线计算,支持自定义类别任务,组任务,单个任务,支持组间依赖,组内依赖
数据可视化与后台管理平台:
Springboot,mybatis-plus,rides,ehcache,大量运用缓存,自定义权限模块,自定义角色、数据、访问、url、元素、面板权限,数据导出,日志管理模块
数据仓库:
数据量的原因,Mysql数据库作为数据仓库,分interface、ods、dwd、dw、st五层。
项目中职责:
Gather:全程开发gather系统,开发并维护全部采集任务
Etl:全程开发etl系统,开发并维护全部BI任务
数据可视化与后台管理平台:全程开发数据可视化与后台管理平台
数据仓库:开发并维护数仓脚本
车如云:租车ERP平台
项目描述:
该项目为租车平台,大量增删改查,分为多个模块(车辆管理,短租管理,长租管理,门店管理等多个模块);基于该erp平台,有针对性的二次开发多款web服务 (318房车租赁,迪士尼租车服务,彩虹充电桩等);
使用ssm架构(spring,springmvc,mybitys)
项目中职责:
CARD业务编写