超过软处理大小限制错误。怎么修？

2011-06-25 00：15：59.023/500发布 30878ms 1796cpu_ms 0KB 的Picasa/117.430000（gzip的）的gzip（GFE）

2011-06-25 00：15：服务16个请求总

下面是代码后59.010超出软过程大小限制197.977 MB ：

def post(self): 
    '''Here we receive photos from the GetPostDetailsHandler (/). 
    We upload them to vkontakte server one-by-one (vkontakte accepts 
    5 files at once, but urlfetch allows only 1 Mb per request), 
    and then save details of photos uploaded in memcache. 
    Cookies are also saved there. 
    ''' 
    # list of files for upload (max 5 files can be in the list) 
    files = [] 
    # counts number of uploads to vkontakte server 
    posts_sent = 0 
    # calculate total number of files received 
    # and store field names with files in files_arguments list 
    arguments = self.request.arguments() 
    files_arguments = [] 
    for argument in arguments: 
     if 'localhost' in argument: 
     # if not (argument in ['album', 'albums_list', 'album_custom', 'upload_url', 'album_id', 'user_id', 'body', 'title']): 
      files_arguments.append(argument) 
    logging.info('(POST) ... number of photos received: '+str(len(files_arguments))) 

    logging.info('(POST) ... upload process started') 
    files_counter = 0 # counts total number of files sent 
    for argument in files_arguments: 
     files_counter +=1 
     file_size = len(self.request.get(argument))/(1024.0*1024.0) 
     logging.info('(POST) ... size of file '+str(files_counter)+' is '+str(file_size)+' Mb') 
     if file_size <= 1: 
      files.append(MultipartParam('file1', self.request.get(argument), 'file'+str(files_counter)+'.jpg', 'application/x-www-form-urlencoded')) 
      # sending file 
      data, headers = multipart_encode(files) 
      # try 3 times to send the file 
      for i in range(3): 
       try: 
        result = urlfetch.fetch(url=self.request.get('upload_url'), 
              payload=''.join(data), 
              method=urlfetch.POST, 
              headers=headers, 
              deadline=10 
              )    
        break 
       except DownloadError: 
        logging.error('(POST) ... error during file upload, attempt ' + str(i)) 
        pass 
      if result.status_code == 200: 
       # save result in the memcache for 10 minutes 
       memcache.add(key=self.request.get('user_id')+'_'+self.request.get('album_id')+'_'+str(files_counter), value=result.content, time=600) 
       # save description in the memcache 
       memcache.add(key=self.request.get('user_id')+'_'+self.request.get('album_id')+'_'+str(files_counter)+'_desc', value=self.request.get('desc'+str(files_counter)), time=600) 
       logging.info('(POST) ... result of photos upload ('+str(files_counter)+'): '+result.content) 
       files = []  
    # save cookies 
    cookies = self.request.headers.get('Cookie') 
    logging.info(cookies) 
    memcache.add(key=self.request.get('user_id')+'_'+self.request.get('album_id')+'_'+'cookies', value=cookies, time=600) 
    logging.info('(POST) ... upload process finished') 
    # return url for Picasa - SavePhotosHandler (/save) - it will be opened in user's default browser 
    # so, we have to pass there key of data we saved in memcache 
    self.response.out.write('http://picasa2vkontakte.appspot.com/save?'+self.request.get('user_id')+'_'+self.request.get('album_id'))

这里有什么问题？我也发现这样的错误通常意味着应用程序中存在内存泄漏。如何找到？

来源

2011-06-25 LA_

平均而言，每个实例使用的内存是多少？所有上传的数据都保存在内存中，因此如果用户上传大图片，您的脚本可能会超出允许的内存限制。 – sahid

@sahid，我如何检查内存使用情况？我能做些什么来避免这种情况？ –

这可能不是一个内存泄漏 - 你只需使用所有可用的内存处理上传的文件。最好的选择是使用Blobstore服务来避免自己处理文件。或者，仔细检查您的代码，以查看上传文件内容被复制的任何实例（操纵文件，转换为字符串等的任何内容），并尽量减少这些内容。

或者，由于您看起来只是立即上传文件到其他服务，因此您的用户需要直接上传。

来源

2011-06-27 00:42:38

所以问题出现在脚本执行之前。上传的所有文件存储在实例的内存中，实例在请求之间共享她的内存。如果很多用户上传太大的图片，您的实例可能会因“超出内存限制”异常而被杀死。

服务器端无法解决问题，但可以使用Flash之类的插件在上载前检查文件的大小。

或另一种方式是使用服务blobstoreService

来源

2011-06-26 13:05:38 sahid

在脚本执行之前没有发生这种情况 - 它超出了_soft_内存限制，并且独立于返回的500. –

好吧，我认为这是因为在我的情况下，这个异常是在上传过程中启动的，所以在脚本被执行。 – sahid

在您的脚本开始执行之前，无法执行软内存限制错误。这是一个软限制的事实，意味着您的请求在实例关闭之前被允许完成。 –

超过软处理大小限制错误。怎么修？

回答

相关问题