提问者:小点点

稀疏矩阵的单值分解


我有一个比较大的矩阵,我想计算它的单值分解。不幸的是,使用core.matrix的直接的函数(使用实现)会导致内存不足的异常--我的机器对于开发机器来说内存相对较少(8GB,Java堆空间设置为最大5GB)。

矩阵的维数为,并且相对稀疏(1.74%的值是非零),因此我的下一个尝试是将矩阵转换为:

(def sparse-fs (matrix/sparse-matrix fs))

由于Java代码中的,这令人惊讶地失败了。我可以先创建一个稀疏矩阵,然后设置非零值来解决这个问题:

user> (def sparse-fs (matrix/sparse-matrix [422 23069]))
#'user/sfs
user> (count
        (map-indexed
          (fn [row line]
           (map-indexed
            (fn [col val]
              (when (not (= val 0.0))
                (matrix/mset! sparse-fs row col val)))))
        fs))
422

但是,在这个稀疏矩阵上调用也会失败,因为svd的协议显然没有实现:

user> (def svd-fs (linear/svd sparse-fs))
CompilerException java.lang.IllegalArgumentException: No implementation of method: :svd of protocol: 
#'clojure.core.matrix.protocols/PSVDDecomposition found for class: mikera.vectorz.Vector2, 

我目前没有关于如何从这里进展的想法,并将感谢任何关于如何将我的矩阵(和奇异值分解计算)放入我相对较小的内存的输入。

更新:协议问题来自于我仍在尝试使用,我显然不理解它的本意。相反,我可以使用,它生成一个实现的实例,为该实例实现分解协议:

user> (def foo-sparse (matrix/sparse-matrix [422 23069]))
#'user/foo-sparse
user> (type foo-sparse)
mikera.vectorz.Vector2
user> (matrix/dimensionality foo-sparse)
1
user> (def foo-sparse (matrix/new-sparse-array [422 23069]))
#'user/foo-sparse
user> (matrix/dimensionality foo-sparse)
2
user> (type foo-sparse)
mikera.matrixx.impl.SparseRowMatrix

不幸的是,当我在这个矩阵上调用时,我又回到了内存不足的错误:

1. Caused by java.lang.OutOfMemoryError
   Java heap space

         DoubleArrays.java:  724  mikera.vectorz.util.DoubleArrays/createStorage
               Matrix.java:   45  mikera.matrixx.Matrix/<init>
               Matrix.java:   56  mikera.matrixx.Matrix/create
               Matrix.java:  653  mikera.matrixx.Matrix/createIdentity
        BidiagonalRow.java:  174  mikera.matrixx.decompose.impl.bidiagonal.BidiagonalRow/handleU
        BidiagonalRow.java:  155  mikera.matrixx.decompose.impl.bidiagonal.BidiagonalRow/getU
        BidiagonalRow.java:  115  mikera.matrixx.decompose.impl.bidiagonal.BidiagonalRow/_decompose
        BidiagonalRow.java:   78  mikera.matrixx.decompose.impl.bidiagonal.BidiagonalRow/decompose
           Bidiagonal.java:   21  mikera.matrixx.decompose.Bidiagonal/decompose
        SvdImplicitQr.java:  177  mikera.matrixx.decompose.impl.svd.SvdImplicitQr/bidiagonalization
        SvdImplicitQr.java:  154  mikera.matrixx.decompose.impl.svd.SvdImplicitQr/_decompose
        SvdImplicitQr.java:   89  mikera.matrixx.decompose.impl.svd.SvdImplicitQr/decompose
                  SVD.java:   31  mikera.matrixx.decompose.SVD/decompose
            matrix_api.clj:  334  mikera.vectorz.matrix-api/eval26238/fn
            protocols.cljc: 1150  clojure.core.matrix.protocols$eval21076$fn__21077$G__21067__21084/invoke
               linear.cljc:  105  clojure.core.matrix.linear$svd/invoke

我怀疑这可能与vectorz-clj问题18有关,即对稀疏矩阵的运算不会产生稀疏结果。

有别的选择吗?


共1个答案

匿名用户

我可以通过使用实现来解决计算中的内存问题。Clatrix不支持稀疏矩阵,但似乎在奇异值分解计算中使用了较少的内存。