如何为setuptools，distribute等工作的twistd/twisted插件编写setup.py？

Question

Twisted Plugin System是编写可扩展扭曲应用程序的首选方式。但是，由于插件系统的结构（插件进入扭曲/插件目录，其应该是而不是是一个Python包），编写适当的setup.py来安装这些插件看起来是非常有用的，不重要的。

我见过一些尝试，将'twisted.plugins'添加到distutils setup命令的'packages'键中，但由于它不是一个真正的软件包，所以会发生不好的事情（例如，有助于添加__init__.py通过一些工具）。

其他尝试似乎使用'package_data'而不是（例如，http://bazaar.launchpad.net/~glyph/divmod.org/trunk/view/head:/Epsilon/epsilon/setuphelper.py），但这也可能以奇怪的方式失败。

问题是：有没有人成功地编写了setup.py来安装可以在所有情况下工作的扭曲插件？

Answer 1

这里有一个博客条目，其描述了“package_data”这样做：

http://chrismiles.livejournal.com/23399.html

在可以失败是什么奇怪的方式？如果软件包的安装不会将软件包数据放入sys.path上的目录中，它可能会失败。在这种情况下，Twisted插件加载器不会找到它。然而，我所知道的所有Python包的安装都会将它们放到它们自己安装Python模块或包的相同目录中，所以这不会成为问题。

Answer 2

也许你可以改变package_data的想法来改为使用data_files：它不需要你将twisted.plugins列为包，因为它使用绝对路径。尽管如此，它仍然是一个混乱。

我用纯粹的distutils测试告诉我，它可以覆盖其他发行版中的文件。我想用pkgutil.extend_path和distutils测试穷人的命名空间包，事实证明，我可以安装spam/ham/__init__.py spam.ham/setup.py和spam/eggs/__init__.py spam.eggs/setup.py。目录不是问题，但文件将被愉快地覆盖。我认为这实际上是distutils中的未定义行为，它涓流到setuptools和pip，因此pip可能会将IMO关闭为wontfix。

什么是安装扭曲插件的常用方法？手工放在这里？

Answer 3

我记下了一个setup.py，仅当您的用户使用pip < 1.2（例如在Ubuntu 12.04上）时才需要。如果每个人都拥有1.2或更高的点数，那么您需要的唯一东西是packages=[..., 'twisted.plugins']。

通过防止PIP从写行“twisted”到.egg-info/top_level.txt，您可以继续使用packages=[..., 'twisted.plugins']并有一个工作pip uninstall不删除所有的twisted/。这涉及monkeypatching setuptools /分布在您的setup.py的顶部附近。下面是一个示例setup.py：

from distutils.core import setup 

# When pip installs anything from packages, py_modules, or ext_modules that 
# includes a twistd plugin (which are installed to twisted/plugins/), 
# setuptools/distribute writes a Package.egg-info/top_level.txt that includes 
# "twisted". If you later uninstall Package with `pip uninstall Package`, 
# pip <1.2 removes all of twisted/ instead of just Package's twistd plugins. 
# See https://github.com/pypa/pip/issues/355 (now fixed) 
# 
# To work around this problem, we monkeypatch 
# setuptools.command.egg_info.write_toplevel_names to not write the line 
# "twisted". This fixes the behavior of `pip uninstall Package`. Note that 
# even with this workaround, `pip uninstall Package` still correctly uninstalls 
# Package's twistd plugins from twisted/plugins/, since pip also uses 
# Package.egg-info/installed-files.txt to determine what to uninstall, 
# and the paths to the plugin files are indeed listed in installed-files.txt. 
try: 
    from setuptools.command import egg_info 
    egg_info.write_toplevel_names 
except (ImportError, AttributeError): 
    pass 
else: 
    def _top_level_package(name): 
     return name.split('.', 1)[0] 

    def _hacked_write_toplevel_names(cmd, basename, filename): 
     pkgs = dict.fromkeys(
      [_top_level_package(k) 
       for k in cmd.distribution.iter_distribution_names() 
       if _top_level_package(k) != "twisted" 
      ] 
     ) 
     cmd.write_file("top-level names", filename, '\n'.join(pkgs) + '\n') 

    egg_info.write_toplevel_names = _hacked_write_toplevel_names 

setup(
    name='MyPackage', 
    version='1.0', 
    description="You can do anything with MyPackage, anything at all.", 
    url="http://example.com/", 
    author="John Doe", 
    author_email="jdoe@example.com", 
    packages=['mypackage', 'twisted.plugins'], 
    # You may want more options here, including install_requires=, 
    # package_data=, and classifiers= 
) 

# Make Twisted regenerate the dropin.cache, if possible. This is necessary 
# because in a site-wide install, dropin.cache cannot be rewritten by 
# normal users. 
try: 
    from twisted.plugin import IPlugin, getPlugins 
except ImportError: 
    pass 
else: 
    list(getPlugins(IPlugin)) 

我已经与pip install，pip install --user和easy_install测试这一点。使用任何安装方法，上面的monkeypatch和pip uninstall都可以正常工作。

您可能想知道：我是否需要清除monkeypatch以避免搞乱下一次安装？ （例如pip install --no-deps MyPackage Twisted;你不想影响Twisted的top_level.txt。）答案是否定的; monkeypatch不会影响其他安装，因为pip会为每次安装生成新的python。

相关：请记住，在您的项目中，您必须not have a filetwisted/plugins/__init__.py。如果你看到在安装过程中这样的警告：

package init file 'twisted/plugins/__init__.py' not found (or not a regular file) 

这是完全正常的，你应该不试图通过增加一个__init__.py来解决它。

Answer 4

我用这个办法：

1. 把“.py”和你的文件的“.pyc”版本“twisted/plugins/”你的包内的文件夹。 请注意'.pyc'文件可以是空的，它应该存在。

2. 在setup.py指定将两个文件复制到库文件夹（确保您不会覆盖现有的插件！）。例如：

   # setup.py 
   
   from distutils import sysconfig 
   
   LIB_PATH = sysconfig.get_python_lib() 
   
   # ... 
   
   plugin_name = '<your_package>/twisted/plugins/<plugin_name>' 
   # '.pyc' extension is necessary for correct plugins removing 
   data_files = [ 
       (os.path.join(LIB_PATH, 'twisted', 'plugins'), 
       [''.join((plugin_name, extension)) for extension in ('.py', '.pyc')]) 
   ] 
   
   setup(
        # ... 
        data_files=data_files 
   )