了解SpringCloud 微服务框架。
了解Nginx 技术。
熟悉 PostMan、Swagger 接口调试工具。
了解 Linux 操作系统。
熟悉Oracle、 MySQL等数据库应用开发。
熟悉阿里云Dataworks数据工场、MaxCompute引擎、Quick BI平台。
熟悉Dataphin数据中台,熟练进行建模集成、数据资产管理、主题式数据服务等。
熟悉OC语言,熟练进行iOS平台app开发
项目名称:长春XX集团大数据平台
角色:软件开发工程师
开发环境:阿里云平台、dataworks数据工场、Quick BI平台、dataphin平台
主要技术:MaxCompute引擎,MySQL、Oracle等数据库
项目简介:本项目利用云计算、大数据及阿里云成熟产品dataphin平台打造XX集团大数据体系。通过管道/脚本模式创建离线集成任务,将业务需要的数据从源数据库进行上云。对于管道不支持的ETL任务,通过Python脚本实现自定义ODPS开发;同时根据业务需求进行增量或者全量上云;对上云后的数据进行清洗、转换,为后续数据建模做准备。