原创 蔡慧阳 资深解决方案顾问
随着信息化的飞速发展，人类对信息处理能力的要求越来越高。面对海量数据，以及对于高效的计算与存储与日俱增的需求，高性能计算（HPC）应运而生，并在我们的社会进步中发挥愈发无可替代的重要作用。
在药物研发领域，HPC可以加速药物筛选和分子分析，使得新药的研发周期大幅缩短；在新车研发领域，通过HPC实现车辆碰撞的技术仿真，利用数据来模拟物理碰撞，可大幅降低研发费用和研发周期；在基因测序领域，HPC目前可以将完整的全基因组测序缩短到1天以内——在此之前，人类首次完成完整的全基因组测序花了13年的时间；而在天气预报领域，如今的预报准确率相比十年前有了很大的提升……这些进步的背后，HPC技术功不可没。
图片
图示1
HPC的广泛应用场景
在媒体行业，特效渲染是HPC的一个重要场景。为了满足4K/8K视频的储存工作流程，其背后的存储设备除了需要足够大的存储空间外，还要具备较高的可扩展性和较高的性能。除了在渲染前需要为大规模数据准备足够容量的存储设备，在渲染过程中，还需要高性能来完成大量的数据处理工作，以生成最终输出。
如今最强的超级计算机已经能够实现每秒钟44.2亿亿次 (442010 TFlop/s) 的计算效率，并进一步向着百亿亿次的目标迈进。伴随着越来越多异构计算应用的出现，无论是传统HPC还是新兴的人工智能，都开始大规模地采用以“CPU+GPU”为代表的异构计算方式。
同样的情况也出现在网络层面，100G网络已经是以太网的“标配”；而在注重高传输效率和低延迟的InfiniBand网络中，200G的HDR标准已经成为主流。
因此，我们可以看到，无论计算还是网络的硬件设备升级，都使得数据处理和传输愈发有效率。然而，我们了解到，在许多应用中，存储反倒成为了性能瓶颈。新的趋势带来了更大的机遇，同时也为存储提出新的挑战。那么HPC场景下，到底需要什么样的存储系统呢？
从HPC应用的角度出发，通过当前与人工智能、机器学习、大数据等技术融合，HPC产业在进入新的发展阶段的同时，对后端存储的要求也在以下三个主要方面有所提高。
高要求#01
混合负载下的高性能
01
业务负载多样化
HPC业务负载的多样化体现在以下几个方面：
顺序I/O和随机I/O并存
大文件和小文件并存
读I/O和写I/O并存
与此相对，后端存储需要适配不同的性能模型以匹配业务负载的多样化趋势，比如同时提供对高带宽与高OPS (Operations per Second) 的支持。但是传统存储仅擅长处理某一类性能模型，高带宽与高OPS通常不可兼得，因此难以应对复杂的性能模型要求。
首先，以超算中心为例，虽然上层包含多种应用，但是底层可能共享一套存储系统，而不同的业务应用对I/O负载有不同的要求。
其次是AI场景，AI处理的不同阶段中有不同的性能需求。从数据预处理阶段要求的超高带宽，到训练阶段要求的超高带宽+超低延时，再到仿真阶段要求的超低延时。
又比如油气勘探场景，既要求几十GB/s的吞吐率，也要求单I/O的延时在几百微秒范围内。
在需要处理的文件大小方面，以往大多数HPC文件存储系统主要以处理大型文件为主，对小型文件的处理性能往往不佳。然而，随着HPC应用的不断发展，需要处理的文件中，小型文件也占相当的比例。因此，HPC后端的存储系统要能大中小型文件“通吃”，才能更好地满足前端应用的需求。
对于HPC的后端存储系统而言，一方面需要具备对于小型文件的性能优化能力，例如某些并行文件存储，能够通过采用小I/O聚合等技术，达到大I/O和小I/O处理能力的兼顾。
另一方面，针对传统的NAS串行访问协议，HPC后端存储系统需要拥有并行访问的优化处理能力。以并行文件系统为例，通过专用客户端提升并行处理能力，并行文件系统可以提高单流和单客户端并发读写性能。
并行文件系统是文件系统的一个类别，常用于高性能计算领域，能支持数据的并行读写。并行文件系统不仅能够很好地支持并行计算，还能支持其过程中的大规模数据读写，这一点是常规的NAS存储无法比拟的。通过其专用客户端，并行文件存储系统可以解决常规NFS/CIFS文件访问协议的限制。常规的NFS/CIFS访问是串行和点对点的传输协议，即使采用横向扩展的NAS存储，数据也需要先写到集群的一个节点上，再从此节点传输到其他节点上。
图片
图示2
常规NFS/CIFS文件访问协议
然而，并行文件系统可以利用客户端协议的形式直接将数据在客户端切片，同时写入到所有节点的硬盘上，无需中转过程，从而大大提高了读写效率。
图片
图示3
并行文件系统协议流程
02
异构计算架构下，
充分释放前端计算能力
随着“CPU+GPU”异构计算技术的快速发展，后端需要更大带宽、更高OPS、更低时延的存储以充分释放前端的计算能力。
面对GPU在HPC场景当中使用频率的提升，为了避免出现性能瓶颈，英伟达公司 (NVIDIA) 针对后端存储开发了一种新的访问协议——NVIDIA® GPUDirect® Storage (GDS)。通过在NVMe存储系统和GPU内存之间启用DMA（直接内存存取），GDS协议对存储性能的提升非常明显：
图片
图示4
通过启用DMA，GDS协议对存储性能的提升
在存储和GPU之间提升2-8倍的数据传输带宽；
延迟大为降低，例如在某些场景下端到端传输的延迟能够实现3.8x的降低；
当GPU并发度增加时，仍然保持稳定的低延迟；
GPU不仅作为实现最高带宽的计算引擎，同时也作为实现最高IOPS的计算引擎。如果单纯使用CPU，吞吐率仅能达到50 GB/s；而使用GPU之后，吞吐率可达到215 GB/s。
因此，能支持GDS的存储系统才能充分匹配前端的异构计算能力。
03
全闪存介质
同样，对于HPC存储的硬件介质，采用全闪存介质尤其是NVMe介质逐步成为标配，全面支持PCIe 4.0总线和100GE网络，消除介质和网络瓶颈。
图片
TO BE CONTINUED…
未完待续
Coming Soon with More Info…
这一期，
蔡慧阳先生讲述了
当今HPC在各领域的广泛应用
以及在其新的发展阶段中
后端存储所需要提升的第一个方面
那么
后端存储还需要在哪些方面有所提升呢？
作者还对HPC的发展提出了哪些看法呢？
答案将在8月10日（下周二）的微信推送中揭晓
成都科汇科技有限公司（IT解决方案商 ）
地址：四川省成都市武侯区人民南路四段一号时代数码大厦18楼A5
电话咨询热线：400-028-1235
QQ咨询热线: 1325383361
24小时咨询热线：180 8195 0517（微信同号）
本文章为转发的公开信息，如有相关侵权，敬请联系上述联系方式即可删除。