两个创新、三个加持，成就华为云极速IO云硬盘

2019-07-23 14:02:12 责任编辑：出处：

　　Gartner在2018年Market Insight: Preparing for the SSD Rise and HDD Demise一文中指出：当闪存介质降到HDD每GB平均销售价格(ASP)的三倍时，闪存技术通常会出现一个拐点，会加速取代HDD。

　　因此，Gartner预测，2023年，所有的数据中心的10,000rpm的HDD几乎都被SSD代替。Gartner建议，现在就停止在数据中心环境中使用15,000 rpm和10,000 rpm HDD技术。

　　而另一方面，根据IDC的预测，2025年全球的数据圈将从2018年的33ZB狂涨到175ZB。

　　而这大量的数据都在公有云上。这个其实也容易理解，因为随着5G的普及，以后移动网络不再是瓶颈，所有的终端设备产生的数据将大部分保存在公有云上。

　　如此海量的数据要保存和处理，传统的存储架构肯定是不行的(不过公有云采用传统存储的本来就不多)，分布式存储，甚至是All-Flash的分布式存储，将是未来公有云的主流存储架构。

　　正是看到这样的趋势，华为云顺势而发，在7月初发布了云存储All-Flash战略，并推出了全新一代极速IO云硬盘。极速IO云硬盘基于华为自研的芯片，采用大量针对Flash设计的原生算法，单盘可以达到100万IOPS，时延低至100微秒以下。

　　相比华为云原来提供的超高IO云硬盘，极速IO云硬盘的IOPS、带宽、时延方面都有巨大的提升——特别是时延，降低了90%，使得云盘从ms时代直接进入μs时代，就像使用本地SSD盘一样。

　　为什么有这么大的差异呢?其实，华为云极速IO云硬盘是引擎、架构、芯片、算法、AI等多项技术融合的成果。

　　华为云的智能数据底座包括五个部分：引擎、架构、芯片、算法和AI，也可以概括为“两个创新+三个加持”。“两个创新”为全新Flash-Native存储引擎和全栈架构创新，而“三个加持”则是全系列自研芯片、硬核数学算法以及AI。

　　全新Flash-Native存储引擎

　　采用Flash友好的数据布局，实现了智能全局FTL完成全局磨损均衡，可以智能控制垃圾数据回收，大幅度减少了SSD写放大，使得SSD寿命提升5倍以上，可靠性达到了11个9。

　　全新架构创新

　　全栈架构创新，实现了数据IO和控制的分离，通过芯片重构数据读写，软件实现智能调度，例如网卡可以直接写数据到SSD介质，无需CPU参与;可以利用专用的ASIC芯片进行数据的EC、压缩计算，这样原有软件消耗的60%的CPU可以通过网卡、ASIC来完成，大幅度提升了整个软件的性能。

　　全系列自研芯片加持

　　自研CPU：华为云存储充分发挥鲲鹏920系列芯片在多核、低功耗等方面的优势，实现了免锁多核调度和高并发性能和绿色节能。鲲鹏920芯片采用了7nm的制造工艺，在典型主频下，芯片的SPECint Benchmark评分超过930分，超出业界标杆25%，能效比优于业界标杆30%。鲲鹏920芯片主频可达2.6GHz，单芯片可支持64核。该芯片集成8通道DDR4，内存带宽超出业界主流46%;芯片集成100G RoCE以太网卡功能，支持PCIe4.0及CCIX接口，可提供640Gbps总带宽，单槽位接口速率为业界主流速率的两倍;

　　自研网卡：RDMA网络已经成为人工智能、科学计算等高性能计算、存储业务的必备技术，华为基于自研网卡突破大规模RDMA网络拥塞控制技术，支持1万+节点规模，同时大幅降低网络拥塞，长尾时延降低30%以上。

　　硬核算法加持

　　EC：云存储为了应对数据从PB级向EB级演进挑战，通过存储的核心数据冗余编码技术EC算法，可根据存储集群规模自动调整冗余策略，一方面相对副本写带宽大幅提升，同时优化数据重构下的带宽，相对传统三副本冗余方式整体带宽提升3X。

　　为了进一步提升数据存储效率，华为全面优化了压缩算法，可以根据不同的用户数据特征进行变长及数据差量压缩，数据压缩率相对传统算法提升3倍;

　　SSD LDPC算法：在华为SSD存储中，华为率先引入LDPC算法(Low Density Parity Check，低密度奇偶校验)，并依托华为强大的算法团队持续优化LDPC算法能力和性能，达成业界最佳纠错能力，Flash寿命最高提升5倍。

　　AI加持

　　华为将人工智能技术融入分布式存储的全生命周期。

　　首先，华为云存储能够智能识别用户个性化的业务模型，进行自适应的AI调优;同时通过动态自适应QoS控制，减少多租户之间的干扰，保障租户SLA。

　　其次，根据业务模型和负载，智能预测性能趋势，并且根据用户提前配置的自动调整策略完成调整，免人工干预保障业务平稳。

　　另外，从云上大数据分析看，大部分性能波动是由于硬件故障引起的，通过AI故障预测能力，可以提前14天发现故障盘并完成自动隔离处理。

　　通过AI的加持，华为云可以实现对租户的IO模型和云存储系统运行状态的感知和匹配，系统可以自主调优和自我进化，让用户越用越快。

　　目前，华为云是业界为数不多有能力将多项技术进行整合与优化，从而提升整体服务水平的云服务提供商。其通过全栈技术能力，将所有环节进行协同与优化，最终为用户呈现出最佳的云服务。