分布式对象存储系统

基本信息

案例ID:211499

技术顾问:米苏 - 13年经验 - 听云

联系沟通

微信扫码,建群沟通

项目名称:分布式对象存储系统

所属行业:企业服务 - 行业细分软件

->查看更多案例

案例介绍

分布式对象存储系统
从0到1参与分布式对象存储系统的设计与开发,为公司提供了小文件对象存储的底层能力
【项目背景】
由于公司业务对于小文件的存储有着强烈需求,需要开发一个分布式对象存储的系统,其必 须具备支持任意大小对象的读写、数据强一致性、服务可扩展性高。
【项目描述】
项目分三个模块,模块之间使用grpc进行通信。
1. meta模块 负责管理副本组信息及节点服务信息,使用Raft协议保证节点之间的数据一致性。
2. gateway模块 负责对外提供RestFul接口,兼容S3协议,将数据流切包、压缩成对象包发送给 datanode模块。
3. datanode模块 负责存储block数据及对象元信息,采用Rocksdb存储对象元信息,分区使用 PacificA一致性协议实现数据冗余。
该项目支撑了公司的底层存储,支持6000+QPS的请求写入,毫秒级的小文件读写速度。
【负责模块】
gateway模块、datanode模块

相似案例推荐

其他人才的相似案例推荐

发布任务

企业点击发布任务,工程师会在任务下报名,招聘专员也会在1小时内与您联系,1小时内精准确定人才

微信接收人才推送

关注猿急送微信平台,接收实时人才推送

接收人才推送
联系需求方端客服
联系需求方端客服