Python快速静态文件服务

什么是在Python中提供静态文件的最快方式？我正在寻找与Nginx的静态文件服务相等或足够接近的内容。Python快速静态文件服务

我知道SimpleHTTPServer，但不知道它是否可以有效和可靠地处理多个文件。

另外，我不介意它是某种lib /框架的一部分，只要它的lib/framework是轻量级的。

来源

2012-11-12 Marconi

这真的不是Python的工作。 Nginx出了什么问题？ –

@DanielRoseman：我可以想象Ngix在打包和部署Python应用程序时不太实用。 – Hubro

@DanielRoseman，因为我需要一些基于Python的，尽可能轻量但高效的东西。我正在编写一个小软件包，我希望将这个静态文件服务捆绑在那里，而不是依赖像Nginx这样的外部依赖项。 – Marconi

FAPWS3怎么样？其中一个卖点：

静态文件服务器

FAPWS可以用来服务于一个巨大的静态文件请求的金额。借助后端的异步数据库，您可以将FAPWS用作您自己的Amazon S3。

来源

2012-11-12 08:05:09 Hubro

是的，我见过这个，可能真的考虑它。只需要更多的投入，这就是为什么我问。 – Marconi

我强烈建议使用第三方HTTP服务器来提供静态文件。

像nginx这样的服务器针对手头的任务进行了大量优化，并行化并以快速语言编写。

Python绑定到一个处理器并进行解释。

来源

2012-11-12 08:05:15 0x90

>解释。没关系，文件服务是IOBound。 –

'Python绑在一个处理器上' 它不是，它从来没有绑在一个处理器上。只有GIL锁定在线程中。 Python多重处理标准库和许多并行处理第三方库比线程更好，它们都在多处理器上工作。 –

-1

如果你找一个oneliner你可以做到以下几点：

$>蟒蛇-m SimpleHTTPServer

所需的所有任务，这将不会fullfil但值得一提的是这款是最简单的方法:-)

来源

2012-11-12 08:59:53 kiddouk

我知道SimpleHTTPServer，我在上面提到过。 :) – Marconi

注意自我：先阅读问题:-) – kiddouk

来自python标准库的原始SimpleHTTPServer没有“句柄有效和可靠地处理多个文件“。例如，如果您要从中下载一个文件，则对其进行的另一个HTTP访问必须悬停，因为SimpleHTTPServer.py是简单的单线程HTTP服务器其中只能同时支持一个连接。

幸运的是，注意SimpleHTTPServer.py使用BaseHTTPServer.HTTPServer的处理程序，它可以通过SocketServer.ForkingMixIn和SocketServer.ThreadingMixIn包裹也从Python标准库，支持多进程和多线程模式，这可能高度提高简单的HTTP服务器的“指标有效性和可靠性“。

按照这个思路，一个SimpleHTTPServer与多线程/多进程支持从原来的被给定为修改如下：

$ python2.7 ModifiedSimpleHTTPServer.py 
usage: ModifiedSimpleHTTPServer.py [-h] [--pydoc] [--port PORT] 
            [--type {process,thread}] [--root ROOT] 
            [--run] 

Modified SimpleHTTPServer with MultiThread/MultiProcess and IP bind support. 

Original: https://docs.python.org/2.7/library/simplehttpserver.html 
Modified by: [email protected] 

optional arguments: 
    -h, --help   show this help message and exit 
    --pydoc    show this module's pydoc 

run arguments: 

    --port PORT   specify server port (default: 8000) 
    --type {process,thread} 
         specify server type (default: 'thread') 
    --root ROOT   specify root directory (default: cwd '/home/vbem') 
    --run     run http server foreground 

NOTE: stdin for input, stdout for result, stderr for logging

例如，ModifiedSimpleHTTPServer.py --run --root /var/log --type process将运行多进程HTTP静态以'/ var/log'作为根目录的文件服务器。

修改代码为：

#! /usr/bin/env python2.7 
# -*- coding: utf-8 -*- 
# # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # 
r"""Modified SimpleHTTPServer with MultiThread/MultiProcess and IP bind support. 

Original: https://docs.python.org/2.7/library/simplehttpserver.html 
Modified by: [email protected] 
""" 

# # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # 
import os, sys, pwd, posixpath, BaseHTTPServer, urllib, cgi, shutil, mimetypes, socket, SocketServer, BaseHTTPServer 
from cStringIO import StringIO 

USERNAME = pwd.getpwuid(os.getuid()).pw_name 
HOSTNAME = socket.gethostname() 
PORT_DFT = 8000 

class SimpleHTTPRequestHandler(BaseHTTPServer.BaseHTTPRequestHandler): 

    server_version = "SimpleHTTP/0.6" 

    def do_GET(self): 
     f = self.send_head() 
     if f: 
      self.copyfile(f, self.wfile) 
      f.close() 

    def do_HEAD(self): 
     f = self.send_head() 
     if f: 
      f.close() 

    def send_head(self): 
     path = self.translate_path(self.path) 
     f = None 
     if os.path.isdir(path): 
      if not self.path.endswith('/'): 
       self.send_response(301) 
       self.send_header("Location", self.path + "/") 
       self.end_headers() 
       return None 
      for index in "index.html", "index.htm": 
       index = os.path.join(path, index) 
       if os.path.exists(index): 
        path = index 
        break 
      else: 
       return self.list_directory(path) 
     ctype = self.guess_type(path) 
     try: 
      f = open(path, 'rb') 
     except IOError: 
      self.send_error(404, "File not found") 
      return None 
     self.send_response(200) 
     self.send_header("Content-type", ctype) 
     fs = os.fstat(f.fileno()) 
     self.send_header("Content-Length", str(fs[6])) 
     self.send_header("Last-Modified", self.date_time_string(fs.st_mtime)) 
     self.end_headers() 
     return f 

    def list_directory(self, path): 
     try: 
      list = ['..'] + os.listdir(path) # 
     except os.error: 
      self.send_error(404, "No permission to list directory") 
      return None 
     list.sort(key=lambda a: a.lower()) 
     f = StringIO() 
     displaypath = cgi.escape(urllib.unquote(self.path)) 
     f.write('<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 3.2 Final//EN">') 
     f.write("<html>\n<title>%s %s</title>\n<body>" % (HOSTNAME, displaypath)) 
     f.write("%[email protected]%s:<strong>%s</strong>\n" % (USERNAME, HOSTNAME, path.rstrip('/')+'/')) 
     f.write("<hr>\n<ul>\n") 
     for name in list: 
      fullname = os.path.join(path, name) 
      displayname = linkname = name 
      if os.path.isdir(fullname): 
       displayname = name + "/" 
       linkname = name + "/" 
      if os.path.islink(fullname): 
       displayname = name + "@" 
      f.write('<li><a href="%s">%s</a>\n' 
        % (urllib.quote(linkname), cgi.escape(displayname))) 
     f.write("</ul>\n<hr>\n<pre>%s</pre>\n</body>\n</html>\n" % __doc__) 
     length = f.tell() 
     f.seek(0) 
     self.send_response(200) 
     encoding = sys.getfilesystemencoding() 
     self.send_header("Content-type", "text/html; charset=%s" % encoding) 
     self.send_header("Content-Length", str(length)) 
     self.end_headers() 
     return f 

    def translate_path(self, path): 
     path = path.split('?',1)[0] 
     path = path.split('#',1)[0] 
     path = posixpath.normpath(urllib.unquote(path)) 
     words = path.split('/') 
     words = filter(None, words) 
     path = os.getcwd() 
     for word in words: 
      drive, word = os.path.splitdrive(word) 
      head, word = os.path.split(word) 
      if word in (os.curdir, os.pardir): continue 
      path = os.path.join(path, word) 
     return path 

    def copyfile(self, source, outputfile): 
     shutil.copyfileobj(source, outputfile) 

    def guess_type(self, path): 
     base, ext = posixpath.splitext(path) 
     if ext in self.extensions_map: 
      return self.extensions_map[ext] 
     ext = ext.lower() 
     if ext in self.extensions_map: 
      return self.extensions_map[ext] 
     else: 
      return self.extensions_map[''] 

    if not mimetypes.inited: 
     mimetypes.init() 
    extensions_map = mimetypes.types_map.copy() 
    extensions_map.update({'': 'text/plain'}) 

class ProcessedHTTPServer(SocketServer.ForkingMixIn, BaseHTTPServer.HTTPServer): 
    r"""Handle requests in multi process.""" 

class ThreadedHTTPServer(SocketServer.ThreadingMixIn, BaseHTTPServer.HTTPServer): 
    r"""Handle requests in a separate thread.""" 

SERVER_DICT = { 
    'thread' : ThreadedHTTPServer, 
    'process' : ProcessedHTTPServer, 
} 
SERVER_DFT = 'thread' 

def run(sCwd=None, sServer=SERVER_DFT, nPort=PORT_DFT, *lArgs, **dArgs): 
    r""" 
    """ 
    sys.stderr.write('start with %r\n' % sys._getframe().f_locals) 
    if sCwd is not None: 
     os.chdir(sCwd) 
    cServer = SERVER_DICT[sServer] 
    oHttpd = cServer(("", nPort), SimpleHTTPRequestHandler) 
    sys.stderr.write('http://%s:%s/\n' % (HOSTNAME, nPort)) 
    oHttpd.serve_forever() 

# # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # 
# main 

def _main(): 
    r"""Main. 
    """ 
    import argparse 

    oParser = argparse.ArgumentParser(
     description = __doc__, 
     formatter_class = argparse.RawTextHelpFormatter, 
     epilog = 'NOTE: stdin for input, stdout for result, stderr for logging', 
    ) 
    oParser.add_argument('--pydoc', action='store_true', 
     help = "show this module's pydoc", 
    ) 

    oGroupR = oParser.add_argument_group(title='run arguments', description='') 
    oGroupR.add_argument('--port', action='store', type=int, default=PORT_DFT, 
     help = 'specify server port (default: %(default)r)', 
    ) 
    oGroupR.add_argument('--type', action='store', default=SERVER_DFT, choices=SERVER_DICT.keys(), 
     help = 'specify server type (default: %(default)r)', 
    ) 
    oGroupR.add_argument('--root', action='store', default=os.getcwd(), 
     help = 'specify root directory (default: cwd %(default)r)', 
    ) 
    oGroupR.add_argument('--run', action='store_true', 
     help = '\n'.join((
      'run http server foreground', 
    ))) 

    oArgs = oParser.parse_args() 

    if oArgs.pydoc: 
     help(os.path.splitext(os.path.basename(__file__))[0]) 
    elif oArgs.run: 
     return run(sCwd=oArgs.root, sServer=oArgs.type, nPort=oArgs.port) 
    else: 
     oParser.print_help() 
     return 1 

    return 0 

if __name__ == "__main__": 
    exit(_main())

同时，只有200行的单个蟒文件可能满足你 “在Python” 和 “轻质” 的要求。

最后但并非最不重要的是，这个ModifiedSimpleHTTPServer.py可能是临时使用的“杀手级应用程序”，但是，建议Nginx长期使用。

来源

2016-07-07 11:06:06 vbem

Python快速静态文件服务

回答

相关问题