熟练掌握Java基础及面向对象OOP编程思想,熟悉使用Lambda表达式,Stream流进行代码处理;
熟练使用IDEA、Navicat等开发工具,基本掌握Git代码管理工具和Maven项目构建工具。
熟悉Spring,SpringMVC,Mybatis及Mybatis-Plus框架。了解SpringMVC的IOC和AOP思想;
熟悉SpringBoot、SpringCloud、SpringCloud Alibaba微服务框架。了解微服务技术栈中Geteway、Nacos、OpenFeign等组件的使用,有微服务相关开发经验;
熟悉HTML、CSS、JavaScript、Ajax等前端技术、了解VUE框架,能够使用VUE+elementUI实现页面渲染;
熟悉Mysql数据库,熟练书写SQL语句,了解SQL优化;对非关系型数据库也有使用经验,熟悉Redis的数据结构,持久化方案;
熟悉Linux,Docker的基本操作命令,能安装常用软件,部署项目;
熟悉FastDFS分布式存储系统;
了解ElasticSearch搜索引擎的配置以及应用;
了解Kafka消息队列,能够搭建Kafka+Zookeeper集群;
了解单例模式、策略模式、简单工厂、工厂方法以及抽象工厂模式;
了解JVM,JUC。
项目名称:XX数据中台
开发工具:IDEA-MySQL-Maven-Git-Jdk1.8
技术架构:SpringBoot、SpringData JPA、Redis、spark、filnk
组件:atlas、dolphinscheduler、zeppelin等组件
项目简介:数据中台是利用技术手段,设计出一款能够解决客户当前在内部各部门数据孤立、数据清理工作困难、数据分析能力薄弱的问题,降低服务成本,提升服务效率。本项目包含数据采集、数据清理、数据存储、数据计算框架、数据分析报表输出、管理仪表盘等可视化应用、数据开发、数据共享等功能。
项目职责:担任数据开发组组长,带领小组同事解决攻克技术难题。数据开发主要功能,支持在线编辑测试执行sql、python、spark、flink、java、hive、shell等脚本。支持在线打包spark\flink脚本。脚本一键发布成可执行任务。
角色 | 职位 |
负责人 | 高级工程师 |
队员 | 前端工程师 |
队员 | 后端工程师 |
数据开发,支持在线编写脚本、在线调试脚本、一建发布脚本。给数据开发人员提供,一个在线开发脚本平台,利用服务集群环境与集群性能测试脚本,简化数据开发人员在本地编写测试打包上传。
支持MySql,PostgreSQL,Oracle等多种数据源连接支持单表,多表关联以及sql自制数据集支持柱状图,交叉表,折线图等多类图表构建支持大屏可拖拽式自助构建与大屏发布
数据中台 数据开发模块基于zeppelin与DolphinScheduler开发,数据开发人员可以在线编辑脚本,调试脚本,测试脚本,把脚本一建发布成可执行任务。