Mellanox的infiniband网卡对GPU数据传输优化

yxsonic

对GPU数据传输优化
由于目前高性能计算中普遍采用GPU做并行计算单元，因此Mellanox也优化了GPU的数据传输逻辑。这里简单说说新传输方式与旧方式的区别（如下图）：


本图体现了GPU计算过程中数据是如何传递的：CPU从内存中读取需要GPU计算的原始数据，传递给北桥芯片的PCI-E控制器，北桥芯片将数据传给GPU，GPU将其存入缓存，计算的结果也存入GPU缓存（注意这一过程是不断进行的，动态的）；计算结果再从GPU缓存流经GPU传回给北桥控制器，北桥传回CPU，CPU将之存入内存。

如果说以上过程足够繁琐，效率很低的话。那么来看看GPU计算好的结果是如何传输的——CPU从内存里重新读取GPU计算的结果，将需要传输的部分再存入内存中网络模块读取的指定区域——infiniband网卡通过CPU再读取相关信息传出去。因此可以说，GPU计算时的数据传输是最大瓶颈。

Mellanox的解决方案很简单，在不改变现有IT架构的情况下——意即原先那套计算流程不变。变化只有一点点：GPU计算结果在存储到内存之后，直接被infiniband读取传输走，减少了再次通过CPU读取转存的步骤。从而降低了数据传输的时延——这一点点的改进使得时延降低30%，消除了数据在infiniband和GPU之间的拷贝。