稀疏矩阵计算：挑战与未来工作

在过去的几十年中，SpGEMM得到了广泛的关注，关于该问题的研究也取得了较多成果。在现在或者不久的将来，它将被应用于物联网、大数据和人工智能等许多其他领域，并促进其发展。但是，通过上述研究现状的阐述和介绍，可以发现SpGEMM仍然面临一些关键性挑战。

SpGEMM的挑战之一是探索稀疏矩阵的稀疏性。研究人员发现，在同一体系结构上，非零元素的分布与SpMV和SpGEMM的性能有紧密的联系。为了进一步发掘潜在的性能提升，已有研究人员基于机器学习模型为SpMV设计了自动格式选择算法，并且从这些模型的自动调整和格式选择中观察到显著的性能提升。但是由于SpGEMM的计算中涉及两个稀疏矩阵，情况更为复杂，其性能不仅取决于两个输入矩阵的稀疏性，还与输入矩阵的划分组合有关。

结果矩阵的大小预测也是SpGEMM的一个挑战。上限预测可能会导致内存过度分配，而其他不精确的预测则可能导致内存的重新分配。对于GPU、DSP（数字信号处理器）、FPGA和TPU（张量处理单元）等加速设备而言，过度分配和重新分配都是非常昂贵的任务。相比于SpMV，SpGEMM的计算涉及三个稀疏矩阵，而设备上的存储容量有限，可能无法容纳太大的数据。而主存和设备存储空间是分离的，这将引起时间开销较高的数据上传和下载。精确的大小预测不仅减少了内存管理的开销，而且间接提高了结果累加的性能，但其高于其他非精确预测方法将近1倍的计算开销，仍然有待进一步优化。(www.xing528.com)

最后，对于多种多样的系统来说，面向异构体系结构的优化是具有挑战性的。CPU擅长处理复杂的逻辑，而GPU擅长密集的计算。此外，DSP和FPGA加速器可用于不同的系统。将SpGEMM移植到异构系统的关键问题之一是如何实现负载均衡并最大限度地减少通信量。此外，每个子矩阵的非零元分布不同。理想情况下，应该将相对稠密的子块分配给加速设备，而将超稀疏子块留给CPU，这样才能充分发挥每个设备的作用，从而优化SpGEMM的整体性能。