能够安装、部署、Hadoop2.x 集群, 熟悉 Hadoop 生态系统的相关产品
熟悉 HDFS 分布式文件系统, MapReduce 分布式计算框架, Zookeeper 分布式协作, Yarn 资源管理器
熟悉 SQL/HQL 的编写, Hive 数据仓库, HBase 实时协作数据库, MySQL 数据库
熟悉 MapReduce 过程, 数据输入, shuffle, 数据输出, 编程等
熟悉 Java, Scala 语言
熟悉思迈特软件,进行BI报表定制化开发。
熟悉星环科技TDH各组件使用、运维。
中国邮政名址维护项目
项目时间:2021.1-2021.9。
具体内容 : 负责名址数据更新、推送,维护数据库。 根据需求编写SQL脚本更新数据,为用户提供数据查询服务
优化查询效率。
中国生物智慧运营平台
项目时间:2021.9至今
具体内容 :基于星环TDH平台使用思迈特软件开发数据管理驾驶舱。根据客户需求开发SQL数据模型,与其他人员
沟通,梳理逻辑,进行SAP报表迁移。进行BI报表定制开发,实现用户需求,优化页面效率。开发数据API,与其他
系统对接。
使用星环数据平台开发数据任务流,确保资源分配合理,各数据模型有序运行。解决运行异常任务,避免影响生
产。对星环各组件进行运维,确保系统稳定运行