技术能力

1.熟悉 Hadoop 生态相关技术并有相关开发，具备一定的 JAVA、Python 语言的开发能力;
2.熟练掌握编写 SQL 语句及优化的基本技巧，熟悉 Oracle、DB2、MySQL 等关系型数据库以及 Redis 缓存;
3.熟悉 Shell 语言及 Linux 命令，运用 shell 脚本进行自动化脚本的编写;
4.使用 java, Scala 进行项目的开发，能够实现 Spark 框架的研发作业和项目调优;
5.Hive 数仓架构，熟练掌握 HQL，了解海量数据的开发处理;
6.运用大数据开发工具，掌握 Hadoop、Impala、HDFS, 具备基本开发经验;
7.熟悉 angular、jsp 等前端技术以及 UI 设计工具，熟练运用 Spring Boot/ SSM 等主流开发框架;
8.熟悉 Maven 项目管理工具以及 SVN、Git 版本控制工具;

项目经验

ETL 数据开发 Spark 大数据开发
基于公司 Global Systematic Stress Test 业务构建的大型数据分析平台，日均数据处理量 1TB，对上 游每日的数据 进行离线分析、处理、清洗后写入数仓。构建交易数据的离线与实时数据仓库，设计数据 模型，ETL 实施，ETL 性能优化， ETL 数据监控，提升数据架构扩展性，支持数据产品的快速迭代和横向 扩展。该项目使用 Java 语言通过 Spark 和 Hive 构建数仓，包括数据抽取，转换和加载，确保数据的 高效处理和整合。同时进行 Spark 性能调优，每天固定时间数据会更新，需要及时处理 确保性能稳定， 编写自动化监控脚本。

交易数据模型构建分析处理系统 Java 前后端开发
前台主要用 angular 构建 UI 展示上游数据，后台通过 Spring Boot 工程构建 API 和前端交互，实现 对新增、修改数 据的权限控制， 包括发起请求、拒绝、重新提交、废弃、批准等。

Web 端银行系统 Java 后端开发 业务功能主要是银行卡申请和审批，以及会员的信息更新，转账，积分等功能模块;后期项目重构将基于 Struts 框架的系统升级为 Spring Boot，通过引入 Docker 容器、Redis 和 IBM Cloud，简化配置的同 时提升了响应速度。

团队情况