案例介绍
针对行业的多源异构数据（如轨道交通、地铁），基于大数据基础管理平台，实现结构化数据的导入、存储，并实现数据的抽取、清洗、转换、交互查询等功能，对业务数据进行属性提取、指标划分、类型汇总等，最终实现数据的查阅、概览、显示、查询等功能。
本部分的大数据平台是基于Ambari搭建，数据分析脚本用hive sql+shell进行编写，源数据格式为csv，数据量为250G（938699148条数据），平均一天一个csv文件，一共是一年的地铁运营数据。
首先将250G的数据批量导入HDFS中，然后撰写数据清洗shell脚本，完成了冗余字段、不符合时间范围、不符合位置逻辑的数据过滤等技术清洗工作；最后进行业务数据统计，完成站点等的进站量、出站量等指标的业务统计分析，具体业务有保密，不可泄露太多，更多内容可以私聊。
案例图片
相似案例推荐
其他人才的相似案例推荐
-
能源管理系统
实现能源系统分散的数据采集整合及控制，集中管理、调度和能源供
-
企业掌上管理
提供数据分析功能，提高决策效率。多元化的汇总功能，方便多层次
-
生产配套系统
通过对Solidworks进行二次开发,对3维图及相关属性解
-
工厂数仓
责任描述： 负责实时数据流的整体架构设计及部署，对一天1T的
-
泛睿企服官网
该项目用于介绍泛睿企业服务集团，基于“云端服务平台+生态整合
-
运维系统
运维系统，系统操作轨迹记录功能，将系统操作员操作轨迹进行记录
-
罗网大数据平台
1.项目概述：该项目为公司数据中心部门的项目，由自己申请转入
-
数据处理工程师
在互联网企业中， 运用python进行数据整理、清洗、统计
-
万达房产评估系统
1.主要负责系统中对于各土地类型的价值评估，以及房产土地类型
-
许继自动化云平台
主要负责告警模块，数据源配置模块，监控配置模块，数据可视化统
-
河南电网管控平台
负责编写所有模块与改写。 1、基于Vue实现页面的展示与功
-
柔性储气系统监控平台
负责编写登录页、首页、首页报警、首页弹框等模块。 1、基于
微信接收人才推送
关注猿急送微信平台，接收实时人才推送
