nltk的tokenizer错误

我对Python很陌生，并且正在尝试与使用nltk一起学习。nltk的tokenizer错误

我一直在关注一些例子和测试的东西，但它似乎我是非常有限的，我可以做的，因为错误被python返回。

我知道NLTK安装和进口罚款，因为该代码工作

 
from nltk.sem import chat80 
print chat80.items

然而，“从nltk.tokenizer进口*”返回

'File "stdin", line1.

使用任何类型的，当我得到类似的错误“TOKEN =”或者我在猜测任何东西的标记。

我已经在过去几天安装了python很多次，希望不同的版本或更好的安装可能会有所帮助。

我在windows7上使用activePython2.6得到这个错误，虽然我已经用python 3.1 activePython3.1和Python 2.6得到类似的err 或ors。以及Mac OS X 10.5和Python 2.5。

的MAC是给有“导入错误多一点数据：无模块名为标记者

我只是想一些介绍性演示的网上NLTK，甚至没有试图写我自己的代码呢，而我得到更多的错误比成功。

来源

2009-11-02 pedalpete

貌似nltp包不具有tokenizer包。

的NLTK网站上浏览一下建议from nltp.tokenize import *是你追求的。

来源

2009-11-02 21:58:47 Adam

谢谢亚当。我正在使用'tokenizer'，因为我在很多例子中都看到过，比如'nltk入门'http://www.ibm。com/developerworks/linux/library/l-cpnltk.html - 在尝试定义Token时使用tokenize而不是tokenizer失败。所以我在想，也许有一些东西来标记化而不是标记化。 – pedalpete 2009-11-03 00:35:17

亚当的答案可能是正确的为您的直接“标记器”问题。以下是一些一般建议：

当人们在不熟悉的领域阅读道路标志时，这是在下载页面的顶部：“”“尽管Python 3.0现在已经可用，但是许多NLTK所需的软件包没有Python 3.0的发行版，现在您应该使用Python 2.4的NLTK。,2.5,或2.6 。*只有。“”“......这会为您节省尝试Python 3.1的努力。此外，尝试同时学习Python 2.x和3.x对新手来说有点太过分了。 “

”“”我在过去几天安装了很多次python，希望安装不同版本或更好的安装可能会有所帮助。“”“......重复安装相同版本不太可能有所帮助。

“”“但是，from nltk.tokenizer import *返回File "stdin", line1”“”...当请求帮助时，显示您的输入和所有输出例如

>>> from nosuchthing import * 
Traceback (most recent call last): 
    File "<stdin>", line 1, in <module> 
ImportError: No module named nosuchthing 
>>>

并且不从内存中键入;使用复制/粘贴。

当遇到问题时，计划您对可能原因的调查。首先查看那些具有高可信度和低调查成本（例如错字或其他转录错误）的人。我不记得我在哪里阅读这些建议，但值得记住的是：“在你责怪上帝的行为和盖茨行为之前，请检查自己的行为”。

来源

2009-11-02 22:36:29

尽管你是正确的John，但我确实阅读了文档，但仍然遇到了nltk或easy_install的问题，或者我在python中的“print”或“2 + 2”基础知识之外做的其他任何事情。这就是为什么我安装不同的版本，看看我能不能工作，为什么我最终坚持在PC上使用2.6，在Mac上使用2.5，所有其他一切都失败了。另外，'tokenizer'在我看过的所有代码示例中都经常使用，即使是来自nltk组。因此我试图使用它而不是标记。 – pedalpete 2009-11-03 00:17:11

@pedalpete：你说你看过文档。再看看'http：//nltk.googlecode.com/svn/trunk/doc/api/index.html' ...你看到一个tokenizer模块或一个tokenize模块吗？你在另一条评论中提到的那篇developerworks文章已超过5年。快速查看svn回购在nltk-old中显示tokenizer，并在其上有2004年的日期。提示：总是按照目前的文档告诉你的，而不是你在网上挖掘的东西。预计项目会经历重大变更，严重向后兼容性问题。顺便说一句，你看过网站上的HOWTO部分？ – 2009-11-03 08:50:37

nltk的tokenizer错误

回答

相关问题