方案简介
图云创智分布式存储系统采用全分布式设计与先进的存储虚拟化技术相结合,由多个独立的兆芯 x86 服务器作为存储节点,联合道熵存储软件和思赞博微可信计算技术实现统一资源调度、纵向横向无缝扩展、全场景应用与存储接口支持、自动化运维管理等技术手段以满足海量数据的存储需求。
产品架构
图云创智分布式存储系统主要由存储层、服务支撑层、接口层三层架构组成。图云创智分布式存储支持基于自研 CPU 架构和 X86 架构的异构部署,支持基于固态硬盘和机械硬盘创建存储池,支持异构存储的纳管与优化,图云创智分布式存储系统通过纳管大量的存储物理资源,构成一个或者多个分布式的虚拟化存储池,可提供高性能、高稳定、高安全的块存储、文件存储、对象存储等统一存储服务,并通过接口层为前端应用提供多样化的存储协议对接。
技术路线
1.处理器:兆芯开胜KH-40000 系列
2.硬件:兆芯4U 机架式存储服务器、思赞博微可信计算模块
3.操作系统:centos7操作系统
4.基础软件:Firefox浏览器、MobaXtermssh软件
5.应用软件:道熵分布式存储管理软件V4.0
主要特点
1:采用全自主创新架构:支持兆芯等国内服务器平台,支持 UOS、麒麟等国内操作系统。采用全分布式冗余总体架构,实现整个存储系统可以无缝、无感地平衡扩容至上千个存储节点,支持 PB 级别,甚至数百 PB级别海量数据的高速存取,融合共享;
2:支持横向扩展和纵向扩展双扩展模式:既支持增加节点数来增加系统IOPS 性能和存储容量(横向扩展),同时支持在节点内通过增加JBOD扩展柜和磁盘来扩容(纵向扩展);
3:实现节点存储资源池化管理:将节点内所有磁盘整合为一个统一的存储池,数据均匀分布在所有磁盘上;具备节点内RAID 保护(RAID10、RAID5、RAID6模式)和节点间数据块复制的双重数据保护机制;支持N+M 纠删码跨节点数据保护机制;
4:具备在线数据完整性保护机制:即每个数据块都有相对应的256位数据校验码;数据在读出时,必须与校验码匹配后才交付前端应用;否则启动数据自修复机制,确保前端应用数据安全。支持多种不同等级的校验码:fletcher2,fletcher4,SHA-2
5:具备在线数据压缩功能:支持以下压缩编码:LZ4,LZJB,GZIP1-9
6:支持磁盘数据加密:包含 aes-xts-plain64,aes-cbc-essiv:sha256,Twofish,Serpent,6.cast5-RFC,2144,cast6-RFC,2612等加密模式;
7:支持缓存 SSD分层机制: 最热的数据,包含元数据,被自动分配在 DRAM 中,次热的数据,被分配在固态硬盘中。Cache内数据替换时,采用自适应工作负载方式动态调整MostRecent 数据和 Most Frequent数据所占比例;
8:支持容量超分配(瘦供给):分配给用户的容量可达到系统的裸存储容量的5倍或以上;当实际使用物理存储空间达到80%或以上,系统自动预警并提示用户及时扩容;
9:支持基于 Flash 写 log加速机制:即数据在写入后端存储池之前以 log的形式保存在 Flash中(SSD 或 NVMe),确保掉电安全;在数据写入后端存储池时,多个随机写IO请求组成群(group),依照顺序方式写入,提升整体写性能;
10:支持通过磁盘迁移的方式实现节点恢复:将某个受损节点的全部磁盘插入到某个备用节点,上电重启后该节点自动替换损害的节点,无需数据重新分布或迁移;
11:QOS 指标:支持针对应用创建具备不同 QoS 的存储池,通过限定 IOPS、带宽等参数,隔
绝不同应用之间对存储性能造成性能互扰;
12:按天自动产生运营报告:包括 CPU、内存、磁盘、IOPS、网络、使用情况及延迟、运维曲线等;并自动通过电子邮件发送:
13:存储异构:支持将外接存储与X86服务器一同划入虚拟资源池,共同用于虚拟服务器所产生的数据存储;
14:存储云平台:可对外部物理服务器/虚拟机提供多种存储协议支持,包括FC、iSCSI、NFS、SAMBA、Openstack Cinder、S3 RESTful 对象存储协议;支持 HDFS 协议 ;支持主流NoSql数据库直接在分布式存储中部署,包含MongoDB,Cassandra,和 Hadoop Hbase;
15:备份与远程容灾:支持整个集群存储中所有快设备的全备份和增量备份,可按小时/天/周月备份数据;具备数据加密,压缩,去重等高级功能;支持将数据备份到S3兼容存储及亚马逊/阿里云等共有云平台;支持集群与集群之间的同步/异步远程复制,可实现 RTO与RPO 同时趋于零的最高级别容灾功能。
客户收益
1.图云创智分布式存储提供多种存储服务,包含 FC、iSCS、块、对象、文件存储等,对传统关系型数据库、非结 构化海量数据、云计算、大数据等不同应用场景提供统一存储支撑。
2.图云创智 分布式存储具备极其强大的容灾抗毁能力。强一致性分布 式设计确保在断电、断网、服务器硬件故障、磁盘损坏等多种(甚至 极端)故障模式下,数据仍然能保持一致性。此外,图云创智分布式存储系统还具备完善的数据完整性保 护策略,以及 PB 级别的持续增量数据备份措施。
3.图云创智 分布式存储还具备极高的安全防护机制,建立了零信任框架,通过执行最小权限原则,防止恶意获取数据的发生。
应用场景
图云创智分布式存储系统方案适用于各种需要大规模、高性能数据存储的场景,如互联网公司、云计算平台、大数据分析、视频存储等。它可以满足非结构化数据(如文本、图片、音频等)和结构化数据(如数据库表)的存储需求,为用户提供高效、稳定的数据存储服务。