为什么MATLAB的矩阵乘法运算这么快?

我用CUDA, c++， c#， Java做了一些基准测试，并使用MATLAB进行验证和矩阵生成。当我用MATLAB执行矩阵乘法时，2048x2048甚至更大的矩阵几乎立即被相乘。

             1024x1024   2048x2048   4096x4096
             ---------   ---------   ---------
CUDA C (ms)      43.11      391.05     3407.99
C++ (ms)       6137.10    64369.29   551390.93
C# (ms)       10509.00   300684.00  2527250.00
Java (ms)      9149.90    92562.28   838357.94
MATLAB (ms)      75.01      423.10     3133.90

只有CUDA是有竞争力的，但我认为至少c++会有点接近，而不是慢60倍。我也不知道如何看待c#的结果。算法与c++和Java一样，但从1024年到2048年有了巨大的飞跃。

MATLAB是如何如此快速地执行矩阵乘法的?

c++代码:

float temp = 0;
timer.start();
for(int j = 0; j < rozmer; j++)
{
    for (int k = 0; k < rozmer; k++)
    {
        temp = 0;
        for (int m = 0; m < rozmer; m++)
        {
            temp = temp + matice1[j][m] * matice2[m][k];
        }
        matice3[j][k] = temp;
    }
}
timer.stop();

当前回答

Matlab在一段时间前集成了LAPACK，所以我假设他们的矩阵乘法至少用了这么快的速度。LAPACK源代码和文档是现成的。

你也可以看看Goto和Van De Geijn的论文“高性能矩阵的解剖” 乘法”在http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.140.1785&rep=rep1&type=pdf

2011-05-19 15:50:19

其他回答

这种鲜明的对比不仅是由于Matlab的惊人优化(正如许多其他答案已经讨论过的那样)，而且是由于您将矩阵作为一个对象来表述的方式。

看起来你把矩阵变成了列表的列表?列表的列表包含指向列表的指针，然后包含您的矩阵元素。所包含列表的位置是任意分配的。当循环遍历第一个索引(行号?)时，内存访问时间非常重要。相比之下，为什么不尝试实现矩阵作为一个单一的列表/向量使用下面的方法?

#include <vector>

struct matrix {
    matrix(int x, int y) : n_row(x), n_col(y), M(x * y) {}
    int n_row;
    int n_col;
    std::vector<double> M;
    double &operator()(int i, int j);
};

And

double &matrix::operator()(int i, int j) {
    return M[n_col * i + j];
}

应该使用相同的乘法算法，以使触发器的数量相同。(大小为n的方阵为n^3)

我要求您对它进行计时，以便结果与前面(在同一台机器上)的结果相比较。通过比较，您将准确地显示内存访问时间有多么重要!

2014-03-11 04:11:40

MATLAB使用英特尔的LAPACK的高度优化实现，称为英特尔数学内核库(英特尔MKL) -特别是dgemm函数。这个库充分利用了处理器的特性，包括SIMD指令和多核处理器。他们没有记录他们使用的具体算法。如果从c++调用Intel MKL，应该会看到类似的性能。

我不确定MATLAB使用什么库来进行GPU乘法，但可能是nVidia CUBLAS之类的。

2015-09-10 05:53:56

答案是LAPACK和BLAS库使MATLAB在矩阵运算方面速度惊人，而不是MATLAB的任何专有代码。

在你的c++代码中使用LAPACK和/或BLAS库来进行矩阵运算，你会得到与MATLAB相似的性能。这些库在任何现代系统上都应该是免费的，其中一部分是学术界在几十年里开发出来的。注意，有多种实现，包括一些封闭源代码，如Intel MKL。

这里有关于BLAS如何获得高性能的讨论。

顺便说一句，在我的经验中，直接从c调用LAPACK库是一种严重的痛苦(但值得)。你需要非常精确地阅读文档。

2015-11-07 08:47:52

这就是原因。MATLAB不像在c++代码中那样，通过遍历每一个元素来执行简单的矩阵乘法。

当然，我假设你只是用C=A*B而不是自己写一个乘法函数。

2011-05-19 20:58:27

Matlab在一段时间前集成了LAPACK，所以我假设他们的矩阵乘法至少用了这么快的速度。LAPACK源代码和文档是现成的。

你也可以看看Goto和Van De Geijn的论文“高性能矩阵的解剖” 乘法”在http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.140.1785&rep=rep1&type=pdf

2011-05-19 15:50:19

为什么MATLAB的矩阵乘法运算这么快?

推荐文章

最新文章

标签