华为云存储私享会揭开华为云数据底座的神秘面纱

2017年12月2日，华为云技术私享会第四期– 云存储专场在北京3W咖啡举办。来自华为云存储团队的大咖们分享了华为云存储的技术实践历程、高性能分布式存储架构剖析，以及时下热门的专属存储方案。同时，来自Veritas的专家也带来了多云环境下的挑战以及应对方案。

华为云分布式存储的三次关键选择

做好基础架构、高性能和高扩展性只是第一步，稳定可靠才是存储系统的生命线。FusionStorage的高可靠来自于“内外兼修”：在外部，全球金融、能源、运营商以及政府等600多家行业客户选用FusionStorage，总计EB级容量的规模商用过程中积累了大量宝贵的可靠性经验;在内部，云存储团队组建了一支专业的蓝军，不断打破假设，考虑人为误删、元数据损坏等极端因素，持续巩固可靠性。

“华为云分布式存储FusionStorage自研发上线至今，已经经历了7年历程。其中有三次非常关键的选择。”华为云存储服务总监石胜兵开场介绍。

第一次，放弃一套架构同时支持块、文件和对象，先聚焦把块做好，同时创新自研强一致性协议，追求极致稳定时延;

第二次，从超融合转向聚焦云服务，以云服务的方式提供存储资源和性能;

第三次，延后如重删压缩、双活、同步、异步等企业特性的交付，聚焦在云所需要的高扩展性和大规模集群的可靠性。

“这三次决策让FusionStorage坚定地选择了云，把面向云的架构做好，把性能、扩展性和可靠性做好;同时在软硬结合上不断创新，追求极致稳定性能，如实现SSD cache、率先支持56G Infinite Band。”石胜兵表示。

华为云存储服务总监石胜兵

华为云高性能分布式存储架构如何做到稳定低时延？

活动当天，华为云存储资深架构师张志乐，从架构的三方面深度剖析了华为云存储如何做到了稳定低时延：第一，复制和数据路由技术对分布式存储系统性能起到决定性作用。华为分布式存储采用强一致性以及DHT路由，因为强一致性时刻保证所有副本的数据都是最新的，使用数据时只需读取主副本，时延比最终一致性更低;元数据路由在数据量增长时索引会急剧增多，而DHT路由和数据量无关，性能上没有长尾效应。

第二，存储介质以及网络方面的优化。SSD的垃圾回收机制会引入写放大，极端情况下时延增大10倍;大规模集群下多对多数据传输，RDMA网络拥塞问题突出。华为分布式存储实现了多流分离以及软件主动Trim，有效避免了无效的数据搬移，提高IO效率的同时，延长SSD的寿命;时刻监控网卡故障以及交换机故障，在触发PFC风暴之前及时切换业务，避免网络拥塞引起的雪崩效应。

第三，好的架构必须通过好的代码实现落地。基于异步线程pipeline的线程调度需要多轮等待唤醒，IO耗时久。华为分布式存储使用polling模式，网络上通过RMDA轮询或者DPDK轮询，节省内核到用户态的拷贝和切换;磁盘上通过SPDK，减少中断和切换，最终实现无线程上下文切换、无中断、零等待，大幅提高IO效率。

华为云存储资深架构师张志乐

对公有云的性能而言，仅仅做到以上三点仍不够，还必须通过QoS机制做多租户隔离，用户的性能SLA才能得到保证。华为云存储提供QoS机制，并且在中国区独家提供Burst能力，使得小容量云硬盘在短时间内获得性能突发。

接下来的现场演示，展现了华为云存储的三项能力：

1. 普通IO云硬盘，没有QoS限制能跑到92000+IOPS，通过QoS限制在稳定1000 IOPS;

2. 100 GB高IO云硬盘，借助Burst能力能保持在3000 IOPS半小时以上;

3. 共享云硬盘性能线性增长，16挂载点情况下所有挂载点均有20000+IOPS。

华为云专属存储方案：鱼与熊掌兼得的最佳实践

然而，云时代下，企业自建机房运维难度大、成本高、成本高昂，扩容周期长，企业正积极向公有云或混合云转型。

对于数据安全性、合规性要求较高的政府、大型集团企业或金融机构，对于专属存储的需求正持续走高。华为云独家推出专属存储服务，提供私有云级别的物理隔离能力，保证数据安全性、合规性的同时，用户可以通过服务化的方式按需按量购买，享受公有云的便利性。

华为云服务资深架构师陈钟平介绍了华为云专属存储服务有两种产品形态：

DSS具有分布式存储高并发、大带宽以及灵活扩展的特性，能够满足云资源池、HPC以及OLAP等高并发应用场景的需求。如某政府客户利用DSS构建专属云，并将城市建筑工人的考勤系统迁移至其上，满足数据存储合规性，且节省了自建机房的运维成本。

DESS能够提供0.5ms稳定低时延，双活特性保证6个9的业务可用性，支撑Oracle RAC、SAP HANA等企业核心数据库平滑上云。如某知名企业考虑到数据安全性以及业务可用性，决定采用DESS替代企业高端SAN存储，配合BMS裸金属服务器，将核心业务系统平滑迁移上云，然后利用VPC将通用资源区已有的云上业务打通，实现公司整体业务上云。

华为云服务资深架构师陈钟平

多云环境下的挑战以及解决方案

未来即将走向多云的时代，但由于现在公有云行业标准化和开放度并不成熟，管理者在做多云部署以及管理的时候往往要面对很多风险和成本，比如数据迁移，在相同技术堆栈之间做迁移都有技术挑战，遑论在不同公有云的不同技术堆栈之间迁移大量数据。同时，大家现在对一些关键问题的认识还比较模糊，比如说数据在多个云之间流动，这个职责是不是云服务提供商应该做的，这里边有没有数据管理以及安全的问题，等等。

Veritas一直在作为第三方技术供应商解决平台之间的差异问题，这个战略也会延伸到未来的多云时代里。不同的云之间，数据管理、服务迁移以及业务连续性等问题，本质上都是云平台之间的差异问题，都是Veritas致力去帮用户解决的。

在未来IT世界，数据将会是比基础设施更重要的资产，但数据的合规和治理带来的挑战一直被大家低估。“欧盟即将出台把数据管理权力回归个人的法律，比方说用户可以要求互联网平台将其个人相关数据全部清除，即所谓的‘数据遗忘权’，这里面隐含了一系列数据合规性的管理，如果数据没有删除，罚责将会是该公司全年产值的4%。”Veritas解决方案专家殷剑介绍。“Veritas在数据合规性管理上有很长一段时间的积累，能够做到智能识别个人用户的数据，并在这基础上做管理和服务。”

Veritas的VRP管理平台能够预测用户的服务是否能部署、运营在另一个云平台上，并且满足合规性;也可以在不中断业务的前提下，将数据在多个云之间做迁移。但要真正解决多云的问题，我们还面临着很多挑战，因为每个公有云都在进行剧烈的迭代和演进，Veritas也在紧跟时代的步伐，与主流公有云厂商一起努力，让用户在多云环境上部署、管理业务更加便捷和高效。华为与Veritas长久以来有深入的合作关系，双方目前在容灾备份方面有密切合作，将来会延伸至多云管理等更多解决方案。

Veritas解决方案专家殷剑