ID:343687

远航 有团队

大数据架构师、后端开发工程师、GIS研发工程师

  • 公司信息:
  • 大数据平台研发公司
  • 工作经验:
  • 8年
  • 兼职日薪:
  • 800元/8小时
  • 兼职时间:
  • 下班后
  • 周六
  • 周日
  • 所在区域:
  • 福州
  • 全区

技术能力

研发:
●大数据
1、熟悉数据仓库理论发展过程、建模理论以及数据仓库分层理论。
2、熟悉Lambda、Kappa、湖仓一体等大数据架构的演变,具备大数据平台架构设计能力。
3、熟悉大数据平台数据采集、数据处理、数据治理、数据分析数据共享等各环节理论与技术。
4、熟悉HDFS、Yarn、HUDI、Hive、Flink、FlinkCDC、Kafka、Presto、Doris等;了解Neo4J、IoTDB等。
5、熟悉CDH安装、部署与维护。
6、了解DAMA数据管理知识体系和数据治理理论,包括元数据、数据质量、数据标准、数据安全、集成与共享等。
●Java
1、掌握Java语言,熟悉JVM;掌握使用Spring、SpringBoot等常用开发框架;
2、熟悉Mysql等关系型数据库以及Redis等NoSQL的使用。
3、熟悉Nginx、Docker的使用。
4、熟练使用IDEA、Maven、Git、PDManer等工具。
●GIS
1、GIS专业理论知识扎实,熟悉WebGIS开发流程与技术体系,对时空大数据有一定了解与实践。
2、熟悉OGC标准,有自定义实现WMTS服务能力;
3、熟悉Leaflet、GeoTools、MetetoinfoLib、PostGIS等。了解 Cesium、Geotrellis、Geomesa。
4、掌握ArcMap、Arcgis Server、GeoServer的使用。
项目管理:
1、熟悉信息系统项目管理包括团队管理、进度管理、成本管理等各知识域。
2、掌握Project等工具的使用;具有一定的沟通协调、文档编写、汇报能力。

证书:
● 软考高级《系统架构设计师》
● 软考高级《信息系统项目管理师》(高项)
● 注册测绘师
● 《一种监督数据变化的方法及终端》发明专利的第一发明人
● 《数据治理工程师》(DAMA-CDGA)证书

项目经验

起源大数据分析与应用平台:
● 项目简介:
是一个基于湖仓一体概念实现的包括数据开放服务平台、数据治理平台、数据开发平台等组成的集“汇”、“治”、“融”、“享”、“用”等主要功能的可用于政务、企业等组织进行数据汇聚管理、数据治理、数据分析、数据挖掘的集近实时计算大数据平台。支持多种数据源、主被动、快速的数据采集与共享;支持近实时的数据处理与共享;支持可视化的数据开发任务设计;支持可视化自定义式的数据接口设计。
涉及的技术包括Hudi、HDFS、Yarn、Flink、FlinkCDC、Kafka、Doris、Hive、Neo4J、MinIO、XXL-Job、MongoDB、Redis、微前端、微服务等。
● 主要职责:
1、负责项目的立项、产品设计研发、进度管理、任务管理、团队建设、文档编写与管理、知识管理、汇报等。
2、参与产品调研与平台整体功能架构设计以及参与微服务系统架构设计。
3、负责大数据新技术的探索研究、试验与落地。
4、负责基于数据湖技术Hudi的湖仓一体大数据架构设计与技术选型。
5、负责起源引擎(统一调度中心、统一执行代理)的设计与实现。
6、负责入湖、清洗等Flink任务的实现。
7、负责大数据集群的部署与维护。
数字体育数据服务中心
● 项目简介:
数据服务中心是一个为数字体育服务平台各业务系统提供数据采集、数据处理、数据共享开放的大数据平台。平台主要包括数据共享交换系统、数据资产管理系统、数据开发系统、数据服务管理系统等组成。
大数据组件主要涉及HBase、Kafka、Hive、Presto、Azkaban等。
● 主要职责:
1、负责项目计划制定、系统设计、进度管理、任务管理、团队建设、文档编写与管理、知识管理、汇报等。
2、负责大数据技术的预研、选型、落地以及大数据技术架构设计。
3、负责数据采集存储至基于HBase的贴源库、基于Hive数仓分层设计与实现。
4、负责基于Azkaban数据融合任务管理、基于Presto的统一查询组件。
5、负责数据资产目录、数据资产管理模块的接口开发。
福建省大气专题应用项目
● 项目简介:
该项目是基于时间分辨率为1天的气象栅格数据产品(PM2.5、PM10、AOD),进行按日、月、季、年进行融合展示、进行月、季、年的优良天数统计、多源监测对比以及质量监测与评估报告等数据产品专题应用系统。
技术主要涉及涉及HDFS、GeoTrellis、GeoServer、Vue、Leaflet、SpringBoot等。
● 主要职责:
1、负责整个项目的开发计划、技术选型、任务管理、进度管理、研发、汇报等。
2、负责将天数据进行月、季、年和各地区的平均值融合计算以及根据优良天数指标进行优良天数统计。
3、使用Geotrellis将栅格数据进行切片并存储至HDFS以及实现WMTS服务为前端提供可实时渲染的瓦片服务。
水电气象服务平台
1、负责转型Java技术栈后的第一个项目的技术选型与基础开发框架的搭建,提出并使用nginx,执行前后端完全分离的开发模式。
2、负责与团队一同讨论需求分析、系统详细设计、数据准备、数据库设计、接口定义以及相应的文档的编写,实施过程参与部分接口的实现。
3、负责后台数据处理可插拔式插件管理器的编写。
4、负责项目中的GIS模块的实现。其中首次采用后台采用meteoinfolib生成等值面等值线geojson格式数据;利用geotools编写根据基于区面和气象站点的泰森多边形关系。
5.、负责研究根据水库大坝点利用DEM数据结合arcgis server gp服务实现水库集水区的自动提取。

团队情况

  • 整包服务: PC网站开发   H5网站开发   WebApp开发   DBA开发   其他开发   
角色 职位
负责人 大数据架构师、后端开发工程师、GIS研发工程师
队员 产品经理
队员 UI设计师
队员 前端工程师
队员 后端工程师

信用行为

  • 接单
    0
  • 评价
    0
  • 收藏
    0
微信扫码,建群沟通

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系需求方端客服
联系需求方端客服