使用Django缓存大量数据时发生内存错误

我使用Django为了从一个大图像堆栈（每个大约150mb）动态生成图像来存档网页。它假设是交互式的，所以我需要保持缓存选定的堆栈。为此，我使用了memcached缓存后端和“django.contrib.sessions.backends.cache”会话引擎。使用Django缓存大量数据时发生内存错误

问题是，当我使用会话数据呈现页面时，我不断收到MemoryError。这是更有效的方法吗？我认为这是数据大小的问题。无论如何增加内存大小？解决这个问题的另一种方法

在views.py

def images(request): 

    if request.method == 'POST': 

     info_form = InfoForm(request.POST) 

     if (info_form.is_valid()): 

      if selected_stack_changed: 
       matrix = get_matrix(stack_id) 
       request.session['matrix'] = matrix 
      else: 
       matrix = request.session['matrix'] 

    return render(request, url)

在settings.py

CACHES = { 
    'default': { 
     'BACKEND': 'django.core.cache.backends.memcached.MemcachedCache', 
     'LOCATION': '127.0.0.1:11211', 
    } 
} 

SESSION_ENGINE = "django.contrib.sessions.backends.cache"

这里完整的错误我得到：

Internal Server Error: /data/ 
Traceback (most recent call last): 
File "/home/user/.local/lib/python2.7/site-packages/django/core/handlers/base.py", line 235, in get_response 
response = middleware_method(request, response) 
File "/home/user/.local/lib/python2.7/site-packages/django/contrib/sessions/middleware.py", line 50, in process_response 
request.session.save() 
File "/home/user/.local/lib/python2.7/site-packages/django/contrib/sessions/backends/cache.py", line 62, in save 
self.get_expiry_age()) 
File "/home/user/.local/lib/python2.7/site-packages/django/core/cache/backends/memcached.py", line 83, in set 
if not self._cache.set(key, value, self.get_backend_timeout(timeout)): 
File "/home/user/.local/lib/python2.7/site-packages/memcache.py", line 740, in set 
return self._set("set", key, val, time, min_compress_len, noreply) 
File "/home/user/.local/lib/python2.7/site-packages/memcache.py", line 1060, in _set 
return _unsafe_set() 
File "/home/user/.local/lib/python2.7/site-packages/memcache.py", line 1034, in _unsafe_set 
store_info = self._val_to_store_info(val, min_compress_len) 
File "/home/user/.local/lib/python2.7/site-packages/memcache.py", line 998, in _val_to_store_info 
pickler.dump(val) 
MemoryError

来源

2016-06-29 MrPavlo

有人可能能够帮助你，如果你真的显示你如何使用memcached！但请注意，它不是用来容纳非常大的物体。尽管可以增加默认的最大对象大小1MB。 – e4c5

理想的分布式缓存服务器不应该在与您的Web服务器相同的主机。标准的memcached安装将有多个memcached实例独立运行在靠近Web服务器的各个服务器上，并且Web服务器通过网络与它们通信。更详细的安装将会有多个memcached实例管理，该代理将请求路由到memcached服务器主机。一个受欢迎的代理是Mcrouter。

来源

2016-07-07 04:30:52

使用Django缓存大量数据时发生内存错误

回答

相关问题