精通sql,精通oracle,mysql数据库的存储过程开发、元数据使用、查询优化。
精通数仓实施方法论
精通hive、hadoop,impala、有构建100TB量级的大数据数仓实施经验
精通百度sugar大屏设计软件的设计经验,能独自完成页面、图表、图表联动、图表下钻、数据模型、用ajax对接外接接口、自定义组件等,有3个成熟的应用落地经验。
熟练使用java spring boot mybatis、easypoi、ureport等技能完成过3项软著和专利
地磁数据优化:数据存储采用阿里云mysql数据库,数据查询慢,单表超过400w,查询时长超过10s,经我重构数据结构后,现在数据常年保持9000w左右,但查询不超过2s.且结构运维都是自动任务。
重庆京东方大数据项目:原始数据为oracle集群,6月数据量在30TB以上,由我主导设计数据增量同步、数仓分层、etl流程设计、到数据集市创建、结合公司的bi工具进行良率分析及数据呈现,etl执行引擎为hive、数据集市查询引擎为impala.
金控数据大屏:以百度sugar为主体、制作大屏页面及跳转关系、用jeecgboot低代码平台做为权限控制及登录入口,以极少的人力完成数据大屏的展示和区分校色权限的明细表格的查询需求
此大屏为针对侨胞分布及与高校、企业合作数据统计,我负责协调业务、ui的设计,做数据处理。大屏设计及实现。
此为针对磁场采集数据,经过分析,产出地磁异常信息、以大屏为基础,使用地图进行展示采集点的方式预测地震与地磁强度的关系,我负责数据优化,将1亿级别的数据在mysql云数据库中进行优化处理,使得查询速度在2s以内,并负责整个大屏的设计、开发及交付。