南山大数据平台

猿急送>其他兼职程序员>一>

案例列表

基本信息

案例ID：208966

技术顾问：一 - 3年经验 - 平安

联系沟通

微信扫码，建群沟通

项目名称：南山大数据平台

所属行业：企业服务 - 数据服务

->查看更多案例

案例介绍

项目名称：南山大数据平台
项目描述：
南山区大数据平台是深圳市南山区政数局针对社会资源数据的管理平台，涵盖库表数据、api数据、问卷采集数据，网络采集数据、文件，将数据集中化管理。数源单位在数据平台进行数据挂接，提交接入大数据平台申请，经审批后数据搬迁至大数据平台进行统一管理，用数单位发起数据资源使用申请，审批后通过多种形式将数据共享给用数单位，提速单位间数据共享，打破数据壁垒。各个子平台保证数据资源的完整性、安全性，以及可见性。数据交换平台保证数据资源搬迁共享，数据检测平台、数据监控平台具备数据检测，自动化巡检、告警能力，日志平台提升平台排错能力，数据设计平台快速完成定制数据可视化。
项目职责：
参与系统架构设计,参与主系统开发，负责数据交换、数据目录，数据库管理、日志管理、网络数据采集、数据推送、数据设计、问卷通等多个子系统模块的功能开发
相关技术：
1、使用SpringBoot + Maven技术快速搭建项目,SpringCloud作为分布式解决方案。
2、集成开源ETL工具kettle、完成数据交换可视化配置，定时调度保证数据的实时性
3、使用Redis完成分布式锁技术，解决分布式系统下数据共享可能出现的问题。
4、采用Kafka消息中间件,实现分布式系统之间的异步通信，进行推送形式的数据共享。
5、使用FileBeat进行分布式日志收集，存储至clickhouse列式存储库，快速的进行日志检索，便于排错
6、自研分布式任务调度系统，负责各个系统间定时任务的调度准确性以及可维护性