得物app自建数据平台项目

企业服务-数据服务 scl

得物自建集群,任务从阿里云dataworks下掉,提供仿阿里云现有业务如数据集成、数据开发、数据地图、运维中心、权限管理等能力,让原运行在阿里云上的任务可以运行在自建集群上...

得物app自建数据平台项目
得物app自建数据平台项目
得物app自建数据平台项目

bilibili平台底层权限系统

企业服务-数据服务 scl

数据平台仅提供了平台层面的权限控制,缺乏底层Hadoop文件系统的权限控制,用户权限单一且权限过大(hive,hdfs用户),数据在裸奔。防止数据被误删或被盗取迫切需要有一套基于底层的权限管理方案 。压测优化ranger源码。使之能支撑QPS 3w+的支撑量...

bilibili平台底层权限系统
bilibili平台底层权限系统

哈罗智能业务指标监控系统

人工智能-其他 scl

随着公司日益壮大,全能车薅羊毛情况出现,迫切需要一套能监控各业务接口数据是否异常的服务。 使用flink根据redis相应库中的自定义字段解析不同源做ETL清洗,清洗后的数据入库kafka,进入spark聚合程序根据redis中的自定义的聚合sql做聚合 数据一分钟粒度 入库时序数据库opentsdb(habse),实时监控告警程序monitorstreram解析下发到kafka的任务 采用如 格拉布斯,孤立森林,正态分布,离群点检测,移动平均等组合算法进行智能告警...

哈罗智能业务指标监控系统
哈罗智能业务指标监控系统
------ 加载完毕 ------
联系需求方端客服