2010-09-29 52 views
42

我似乎得到一个IOError:请求数据读取错误很多,当我做Ajax上传。例如,每5个文件中至少有3个文件上传错误。IOError:请求数据读取错误

其他人似乎也有同样的问题。例如。

其他一些意见:

  • 这绝对不是我的Internet连接或浏览器的问题。似乎正在所有浏览器上发生chrome/FF/opera。

  • 我跑Django的1.1.1的Apache/2.2.14(Ubuntu的)了mod_ssl/2.2.14的OpenSSL/0.9.8k的mod_wsgi/2.8的Python/2.6.5 上清醒。

  • 这也不是文件大小。我有时可以上传1个以上的MB文件,但在180 Kb文件上失败。


回溯

Traceback (most recent call last): 

    File "/home/ubuntu/.virtualenvs/anonymous_app/lib/python2.6/site-packages/django/core/handlers/base.py", line 98, in get_response 
    response = middleware_method(request, e) 

    File "/home/ubuntu/.virtualenvs/anonymous_app/lib/python2.6/site-packages/django/core/handlers/base.py", line 92, in get_response 
    response = callback(request, *callback_args, **callback_kwargs) 

    File "/home/ubuntu/.virtualenvs/anonymous_app/lib/python2.6/site-packages/django/contrib/auth/decorators.py", line 78, in __call__ 
    return self.view_func(request, *args, **kwargs) 

    File "/home/ubuntu/webapps/anonymous_app/app/do_work/views/__init__.py", line 391, in some_form_ajax_upload 
    f = request.FILES.get('file_upload') 

    File "/home/ubuntu/.virtualenvs/anonymous_app/lib/python2.6/site-packages/django/core/handlers/wsgi.py", line 187, in _get_files 
    self._load_post_and_files() 

    File "/home/ubuntu/.virtualenvs/anonymous_app/lib/python2.6/site-packages/django/core/handlers/wsgi.py", line 137, in _load_post_and_files 
    self._post, self._files = self.parse_file_upload(self.META, self.environ['wsgi.input']) 

    File "/home/ubuntu/.virtualenvs/anonymous_app/lib/python2.6/site-packages/django/http/__init__.py", line 124, in parse_file_upload 
    return parser.parse() 

    File "/home/ubuntu/.virtualenvs/anonymous_app/lib/python2.6/site-packages/django/http/multipartparser.py", line 133, in parse 
    for item_type, meta_data, field_stream in Parser(stream, self._boundary): 

    File "/home/ubuntu/.virtualenvs/anonymous_app/lib/python2.6/site-packages/django/http/multipartparser.py", line 606, in __iter__ 
    for sub_stream in boundarystream: 

    File "/home/ubuntu/.virtualenvs/anonymous_app/lib/python2.6/site-packages/django/http/multipartparser.py", line 420, in next 
    return LazyStream(BoundaryIter(self._stream, self._boundary)) 

    File "/home/ubuntu/.virtualenvs/anonymous_app/lib/python2.6/site-packages/django/http/multipartparser.py", line 446, in __init__ 
    unused_char = self._stream.read(1) 

    File "/home/ubuntu/.virtualenvs/anonymous_app/lib/python2.6/site-packages/django/http/multipartparser.py", line 299, in read 
    out = ''.join(parts()) 

    File "/home/ubuntu/.virtualenvs/anonymous_app/lib/python2.6/site-packages/django/http/multipartparser.py", line 292, in parts 
    chunk = self.next() 

    File "/home/ubuntu/.virtualenvs/anonymous_app/lib/python2.6/site-packages/django/http/multipartparser.py", line 314, in next 
    output = self._producer.next() 

    File "/home/ubuntu/.virtualenvs/anonymous_app/lib/python2.6/site-packages/django/http/multipartparser.py", line 375, in next 
    data = self.flo.read(self.chunk_size) 

    File "/home/ubuntu/.virtualenvs/anonymous_app/lib/python2.6/site-packages/django/http/multipartparser.py", line 405, in read 
    return self._file.read(num_bytes) 

IOError: request data read error 


<WSGIRequest 
GET:<QueryDict: {}>, 
POST:<could not parse>, 
COOKIES:{'__utma': '168279989.1688771210.1285773436.1285773436.1285773436.1', 
'__utmb': '168279989.20.10.1285773436', 
'__utmc': '168279989', 
'__utmz': '168279989.1285773436.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none)', 
'beta': 'True', 
'sessionid': 'b1ecf92f2bba13e1885d07803e10aa03', 
'timezone_offset': '-330'}, 
META:{'CONTENT_LENGTH': '188575', 
'CONTENT_TYPE': 'multipart/form-data; boundary=---------------------------57602381214905740261171925981', 
'DOCUMENT_ROOT': '/htdocs', 
'GATEWAY_INTERFACE': 'CGI/1.1', 
'HTTPS': '1', 
'HTTP_ACCEPT': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8', 
'HTTP_ACCEPT_CHARSET': 'ISO-8859-1,utf-8;q=0.7,*;q=0.7', 
'HTTP_ACCEPT_ENCODING': 'gzip,deflate', 
'HTTP_ACCEPT_LANGUAGE': 'en-us,en;q=0.5', 
'HTTP_CONNECTION': 'keep-alive', 
'HTTP_COOKIE': 'beta=True; __utma=168279989.1688771210.1285773436.1285773436.1285773436.1; __utmb=168279989.20.10.1285773436; __utmc=168279989; __utmz=168279989.1285773436.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); sessionid=b1ecf92f2bba13e1885d07803e10aa03; timezone_offset=-330', 
'HTTP_HOST': 'xxxxxx.compute-1.amazonaws.com', 
'HTTP_KEEP_ALIVE': '115', 
'HTTP_REFERER': 'https://ec2-184-72-79-96.compute-1.amazonaws.com/do-my-somees/enter/some-documents/', 
'HTTP_USER_AGENT': 'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.2.10) Gecko/20100915 Ubuntu/10.04 (lucid) Firefox/3.6.10', 
'PATH': '/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/X11R6/bin', 
'PATH_INFO': u'/do-my-somees/enter/some-documents/ajax-upload/Other-some-Document/', 
'PATH_TRANSLATED': '/home/ubuntu/webapps/anonymous_app/settings/apache/qa.wsgi.py/do-my-somees/enter/some-documents/ajax-upload/Other-some-Document/', 
'QUERY_STRING': '', 
'REMOTE_ADDR': '', 
'REMOTE_PORT': '15561', 
'REQUEST_METHOD': 'POST', 
'REQUEST_URI': '/do-my-somees/enter/some-documents/ajax-upload/Other-some-Document/', 
'SCRIPT_FILENAME': '/home/ubuntu/webapps/anonymous_app/settings/apache/qa.wsgi.py', 
'SCRIPT_NAME': u'', 
'SERVER_ADDR': '10.196.142.182', 
'SERVER_ADMIN': '[email protected]_app.com', 
'SERVER_NAME': 'ec2-184-72-79-96.compute-1.amazonaws.com', 
'SERVER_PORT': '443', 
'SERVER_PROTOCOL': 'HTTP/1.1', 
'SERVER_SIGNATURE': '<address>Apache/2.2.14 (Ubuntu) Server at ec2-184-72-79-96.compute-1.amazonaws.com Port 443</address>\n', 
'SERVER_SOFTWARE': 'Apache/2.2.14 (Ubuntu)', 
'SSL_TLS_SNI': 'ec2-184-72-79-96.compute-1.amazonaws.com', 
'mod_wsgi.application_group': 'qa.anonymous_app.com|', 
'mod_wsgi.callable_object': 'application', 
'mod_wsgi.listener_host': '', 
'mod_wsgi.listener_port': '443', 
'mod_wsgi.process_group': '', 
'mod_wsgi.reload_mechanism': '0', 
'mod_wsgi.script_reloading': '1', 
'mod_wsgi.version': (2, 8), 
'wsgi.errors': <mod_wsgi.Log object at 0xb9456860>, 
'wsgi.file_wrapper': <built-in method file_wrapper of mod_wsgi.Adapter object at 0xb936a968>, 
'wsgi.input': <mod_wsgi.Input object at 0xb9720e30>, 
'wsgi.multiprocess': True, 
'wsgi.multithread': False, 
'wsgi.run_once': False, 
'wsgi.url_scheme': 'https', 
'wsgi.version': (1, 0)}> 

回答

7

,你可能会认为,这是没有Django的错误。

看到https://groups.google.com/group/django-users/browse_thread/thread/946936f69c012d96

有错误我自己(但IE Ajax请求而已,没有任何文件的上传,只是后数据)。

将增加一个完整的答案,如果我找到如何解决这个问题。

+0

我有完全相同的问题,但我无法修复它。 – Natim 2010-11-05 15:42:07

+0

我也有同样的问题。这是一个非常小的ajax发布请求。这里是一个长长的线程在wsgi列表中:http://osdir.com/ml/django-developers/2011-02/msg00046.html – neves 2011-02-16 03:20:15

+2

希望你能给我们一些提示。 – vmassuchetto 2011-08-02 18:56:00

0

这个问题已经打开了很长时间,并且与较低级别的库有关。我正在使用boto将文件上传到S3。我发现的临时权宜之计是添加一个明确的HTTP套接字超时时间为10秒。之后我还没有看到错误。您可以通过在服务器上创建一个boto配置来实现这一点:

#/etc/boto.cfg 
[Boto] 
http_socket_timeout=10 

此外请确保该文件可被应用程序读取。 查看原来的谷歌群组:https://groups.google.com/forum/#!topic/boto-users/iWtvuECAcn4

13

我也有这个例外。在Apache的错误日志文件我看到这一点:

[Wed Aug 17 08:30:45 2011] [error] [client 10.114.48.206] (70014)End of file found: mod_wsgi (pid=9722): Unable to get bucket brigade for request., referer: https://egs-work/modwork/beleg/188074/edit/ 
[Wed Aug 17 08:30:45 2011] [error] [client 10.114.48.206] mod_wsgi (pid=3572): Exception occurred processing WSGI script '/home/modwork_egs_p/modwork_egs/apache/django_wsgi.py'. 
[Wed Aug 17 08:30:45 2011] [error] [client 10.114.48.206] IOError: failed to write data 

版本:

apache2-prefork-2.2.15-3.7.x86_64 
apache2-mod_wsgi-3.3-1.8.x86_64 WSGIDaemonProcess with threads=1 
mod_ssl/2.2.15 
Linux egs-work 2.6.34.8-0.2-default #1 SMP 2011-04-06 18:11:26 +0200 x86_64 x86_64 x86_64 GNU/Linux 
openSUSE 11.3 (x86_64) 

首先我很困惑,因为最后一行“未能数据”不适合于Django的代码“加载发布数据“。但我想django想写一个错误页面给客户端。但客户端已经取消了tcp连接。现在http 500页面不能写入客户端。

客户端断开发送请求后,并获得响应之前:

  • 用户关闭浏览器或导航到另一页。
  • 用户按下了重新加载按钮。

我看到这个只有POST-请求(不是GET)。如果使用POST,Web服务器至少读取两次:首先获取标题,第二次获取数据。第二次读取失败。

这是很容易复制:

插入一些代码的第一个访问request.POST之前,它等待情况发生(当然,没有中间件time.sleep之前访问request.POST()):

def edit(request): 
    import time 
    time.sleep(3) 
    #..... 

现在做一个大的POST(例如文件上传)。我不知道Apache缓冲区大小。但是5 MB应该足够了。当浏览器显示沙漏时,浏览到其他页面。浏览器将取消该请求,并且该异常应该在日志文件中。

这是我的中间件,因为我不想让我们的日志文件上面回溯:

class HandleExceptionMiddleware: 

    def process_exception(self, request, exception): 
     if isinstance(exception, IOError) and 'request data read error' in unicode(exception): 
      logging.info('%s %s: %s: Request was canceled by the client.' % (
        request.build_absolute_uri(), request.user, exception)) 
      return HttpResponseServerError() 
+0

我很难尝试重现您的中间件。我可以注释掉'if isinstance(...):'条件,然后导致视图代码中出现错误,并且它会起作用。当我重现IOError时,这个中间件似乎没有做任何事情:\ – EMiller 2012-02-17 20:14:48

+0

更新:我发现,视图代码的行为就好像上传的文件没有被给出,并且只是响应200显示验证错误消息。 process_exception从不会触发。 这里的建议是正确的方法是在日志记录层进行筛选:https://code.djangoproject.com/ticket/10046#comment:20 – EMiller 2012-02-17 21:09:58

3

从线程以这样的:Getting rid of Django IOErrors

扩展由@dlowe为可能的解决方案Django的1.3,打压的IOError的关注,我们可以写出完整的工作示例:

settings.py

LOGGING = { 
    'version': 1, 
    'disable_existing_loggers': False, 
    'filters': { 
     'supress_unreadable_post': { 
      '()': 'common.logging.SuppressUnreadablePost', 
     } 
    }, 
    'handlers': { 
     'mail_admins': { 
      'level': 'ERROR', 
      'class': 'django.utils.log.AdminEmailHandler', 
      'filters': ['supress_unreadable_post'], 
     } 
    }, 
    'loggers': { 
     'django.request': { 
      'handlers': ['mail_admins'], 
      'level': 'ERROR', 
      'propagate': True, 
     }, 
    } 
} 

通用/ logging.py

import sys, traceback 

class SuppressUnreadablePost(object): 
    def filter(self, record): 
     _, exception, tb = sys.exc_info() 
     if isinstance(exception, IOError): 
      for _, _, function, _ in traceback.extract_tb(tb): 
       if function == '_get_raw_post_data': 
        return False 
     return True 
5

当Content-Type头被错误地设置为应用程序/ JSON我们看到在上传到Django的REST框架此错误。该帖子实际上是多部分表单数据。当我们删除不正确的内容类型标题时,错误停止。

0

我确认我的网站时,Win8的机器上用IE浏览器10.当我从IE测试文件上传上传了stucked在1%后+/- 1分钟,我得到了在服务器日志的错误得到这个错误。我刚发现它是由TrendMicro补充引起的。一旦我禁用补码,上传发生没有任何问题。

4

最近发生在我身上。我正在使用django-ajax-uploader,小文件正在成功上传,但大文件例如使用IOError: request data read error打破100MB。

我检查了我的Apache配置,发现这些设置RequestReadTimeout header=90 body=90这意味着Allow 90 seconds to receive the request including the headers and 90 seconds for receiving the request body

文件被接收以块的形式在后台,这意味着如果文件大小大90秒是不够的,某些上传。那么如何确定请求的最佳值(秒)呢?

所以我已经使用这个设置:

RequestReadTimeout header=90,MinRate=500 body=90,MinRate=500 

定义MinRate解决了这个问题对我来说。上述设置状态是:如果接收到的数据

Allow at least 90 seconds to receive the request body. If the client sends data, increase the timeout by 1 second for every 500 bytes received

当客户端被连续地发送数据(AJAX上传)是有意义的自动增加超时。有关RequestReadTimeout的更多信息/变体可以找到here

相关问题