熟悉Java编程语言及常用设计模式,具备扎实编程基础和面向对象编程思想,熟悉Java集合、IO、多线程的使用和基本原理,熟悉JVM内存结构、垃圾回收机制及常见调优方法;
了解C/C++、Python、H5、CSS3、ES6等前后端开发语言,有过一定的开发/使用经验;
熟悉Spring、SpringMVC、SpringBoot、Mybatis、SpringCloud、VUE等前后端开发框架;
熟悉Redis、Kafka、Zookeeper等中间件,熟悉Tomcat、Websphere、Nginx等应用服务器开发技术;
熟悉MySQL、SqlServer、PostgreSQL、Oracle等关系型数据库;
熟悉Hadoop、Hive、Spark、Clickhouse、Flink等大数据开发组件/框架;
熟悉微服务、分布式、高并发系统架构,有过相关系统设计与开发经验;
熟悉Linux系统及常用命令,熟悉Docker及Docker Compose容器部署技术;
熟悉Maven、Git、Idea、Eclipse、VS Code等常用开发工具;
卡特彼勒数据中台
项目简介:基于腾讯云大数据平台,为卡特彼勒建设数据中台。将卡特各业务系统数据进行离线采集、挖机上报数据进行实时
采集;通过ETL、任务编排、工作流调度等对数据加工处理;提供数据服务,主要包括报表和API;中台任务及数据运维。
技术栈:Java、Spring、Flink、ETL、MySQL、Clickhouse、Hadoop、Hive、Spark、BI。
项目职责:
· 负责对接各个上游业务系统,梳理确认需要接入的数据域、Schema、接入方式与频率等;
· 负责数据建模设计,包括数据分层、逻辑模型及物理模型设计;
· 带领开发团队基于腾讯云大数据平台提供的离线数据接入能力,完成离线数据接入的配置与开发
· 带领开发团队基于腾讯云大数据平台提供的离线数据处理能力完成离线数据处理的ETL、任务编排、工作流调度的开发
· 带领开发团队基于Java、Spring、Flink完成实时数据接入与流式数据处理;
· 带领开发团队基于腾讯云大数据平台提供的数据处理和BI能力完成数据报表的开发与配置;
· 带领开发团队基于腾讯云大数据平台提供的数据处理和数据服务能力完成数据API的开发与配置;
· 负责基于Java 、Spark Graphx实现OneID功能,串联分散在各个业务系统中的用户数据,为用户画像功能实现打下基础;
· 负责基于Java、Hive实现Hive UDF,如深度嵌套json字符串字段的处理、手机号等敏感个人信息脱敏功能等;
· 负责对接业务系统/用户,完成数据API的联调测试和报表用户测试与上线运行和运维;
毕马威数据治理平台
项目简介:毕马威数据湖配套产品,主要专注于数据资产、元数据、血缘关系、数据地图、数据标准、数据质量等数据治理能
力,并提供数据服务网关能力。
技术栈:Java、Spring、SpringBoot、SpringCloud Gateway、Mybatis、SqlServer、Redis、Nginx、Vue。
项目职责:
· 负责数据治理平台需求沟通与分析、架构设计与设计文档编写;
· 负责带领开发团队完成数据资产、元数据、血缘关系、数据地图、数据标准、数据质量等数据治理功能的开发;
· 负责带领开发团队基于SpringCloud Gateway完成数据服务网关的安全认证、限流、负载均衡、缓存、路由功能的开发;
· 负责团队Code Review、单元测试用例及集成测试用例和测试报告评审,确保开发、测试质量;
· 负责安装部署文档编写、开发/测试环境安装部署验证、运维交接及上线运行支撑,确保平台顺利上线、稳定运行;
毕马威数据湖
项目简介:毕马威自主研发的大数据平台产品,可以有效的帮助客户解决数据集中和数据共享时候所面临的数据存储计算、多
格式数据处理、数据标准制定、数据一致性等一系列问题。该数据湖可以接入各类型数据源,不仅仅包括企业内部各信息系统
数据,也可接入各种类型的外部结构化和非结构化数据。
技术栈:Java、Spring、SpringBoot、MyBatis、SqlServer、Redis、Nginx、Vue、Hadoop、Hive、Spark。
项目职责:
· 参与数据湖需求规划与分析、数据湖技术选型、架构设计与设计文档编写;
· 负责上下游系统与数据湖对接的详细技术方案设计与设计文档编写;
· 带领开发团队完成数据湖的数据采集、数据存储、数据计算等核心功能模块的详细设计、开发与单元测试;
· 负责团队Code Review、单元测试用例及集成测试用例和测试报告评审,确保开发、测试质量;
· 负责安装部署文档编写、开发/测试环境安装部署验证、运维交接及上线运行支撑,确保平台顺利上线、稳定运行;
毕马威审计罗盘
项目简介:为毕马威审计部门量身打造的审计工具,能够通过对客户电子银行数据和/或增值税数据实施数据分析程序及可视
化处理,帮助项目组识别重大的非常规交易、尚未识别的关联方交易、高风险会计分录和其他异常值。该工具支持国内超过四
千家银行流水及金税4.0增值税全量交易的识别,可以快速对交易进行自动分类分析,并展示真实的经营情况。该工具已先后
在上百家上市公司及大中型企业的审计项目中得到运用,累计帮助项目组识别流水超过1亿条。
技术栈:Java、Spring、SpringBoot、MyBatis、SqlServer、Redis、Nginx、Vue。
项目职责:
· 参与审计罗盘需求沟通与分析、架构设计与设计文档编写;
· 带领开发团队完成流水模版配置、流水上传与解析、流水分析、分析报告等核心功能模块的详细设计、开发与测试;
· 负责团队Code Review、单元测试用