问题 三次样条曲线存储器错误


在具有4GB内存的计算机上,这种简单的插值会导致内存错误:

(基于: http://docs.scipy.org/doc/scipy/reference/tutorial/interpolate.html

import numpy as np
from scipy.interpolate import interp1d

x = np.linspace(0, 10, 80000)
y = np.cos(-x**2/8.0)
f2 = interp1d(x, y, kind='cubic')

我想过将数据切割成块,但有没有办法可以执行这种三次样条插值而不需要太多内存? 为什么它甚至遇到麻烦?


6633
2018-01-29 15:37


起源

我在16GB的计算机上出现内存错误,所以不要急于购买更多的内存来解决这个问题。 :) - Warren Weckesser
这只是一个实际功能不太好的问题的测试案例吗?否则,你可能不需要80000分!即使有800点,插值和插值之间的最坏情况误差 np.cos(-x**2/8.0) 在区间[0,10]上小于2e-8。 - Warren Weckesser
是的,这只是一个有效的例子。 - HyperCube
即使有32GB内存,我也会收到错误消息 - dashesy


答案:


如果您在发生错误时查看回溯,您会看到如下内容:

---------------------------------------------------------------------------
MemoryError                               Traceback (most recent call last)
<ipython-input-4-1e538e8d766e> in <module>()
----> 1 f2 = interp1d(x, y, kind='cubic')

/home/warren/local_scipy/lib/python2.7/site-packages/scipy/interpolate/interpolate.py in __init__(self, x, y, kind, axis, copy, bounds_error, fill_value)
    390         else:
    391             minval = order + 1
--> 392             self._spline = splmake(x, y, order=order)
    393             self._call = self.__class__._call_spline
    394 

/home/warren/local_scipy/lib/python2.7/site-packages/scipy/interpolate/interpolate.py in splmake(xk, yk, order, kind, conds)
   1754 
   1755     # the constraint matrix
-> 1756     B = _fitpack._bsplmat(order, xk)
   1757     coefs = func(xk, yk, order, conds, B)
   1758     return xk, coefs, order

MemoryError: 

失败的功能是 scipy.interpolate._fitpack._bsplmat(order, xk)。此函数创建一个具有形状的64位浮点数的二维数组 (len(xk), len(xk) + order - 1)。在你的情况下,这超过51GB。

代替 interp1d, 看看 InterpolatedUnivariateSpline 适合你。例如,

import numpy as np
from scipy.interpolate import InterpolatedUnivariateSpline

x = np.linspace(0, 10, 80000)
y = np.cos(-x**2/8.0)
f2 = InterpolatedUnivariateSpline(x, y, k=3)

我没有得到内存错误。


12
2018-01-29 19:28



谢谢你这个合适的解决方案! - HyperCube
谢谢,我认为应该使用这个而不是默认值,因为需要内存的东西会消耗太多的memroy order 最后一点 - dashesy