language-model

    0热度

    1回答

    我尝试使用示例LSTM,根据Tensorflow LSTM example进行了培训。这个例子可以让整个测试集都很困惑。但我需要使用训练好的模型分别对每个句子进行评分(得到loglikes)(评分STT解码器输出的假设)。我修改reader一点,并使用代码: mtests=list() with tf.name_scope("Test"): for test_data_item i

    0热度

    1回答

    我在Python中加载了一个大的word2vec语言模型。每次运行程序时,我都需要将模型加载到内存中。 我使用shell脚本中的不同命令行参数运行相同的程序,例如, #!/bin/bash python processor.py -ad python processor.py -td python processor.py -ds 有什么我可以做的,让语言模型在内存中的程序完成后运行,或

    1热度

    1回答

    我想用gensim word2vec模型获得最可能的单词序列。我发现了一个预训练的模型,它提供了以下文件: word2vec.bin word2vec.bin.syn0.npy word2vec.bin.syn1neg.npy 这是我的代码试图让句子的概率有这位模特: model = model.wv.load(word_embedding_model_path) model.hs =

    0热度

    1回答

    如何在张量流语音识别架构中集成语言模型? 在Tensorflow中有很多用于构建字符级语音识别的示例(例如https://github.com/nervanasystems/neon,https://github.com/buriburisuri/speech-to-text-wavenet),除非集成了语言模型,这很有趣但实际上没用。我找不到使用语言模型的示例。 如何整合语言模型?

    -1热度

    1回答

    我一直在使用PocketSphinx制作自然语言的语音识别器。我不想使用语法,而是使用语言模型。 我可以在网上找到任何已经完成的东西吗? 每个人都在链接this page,但它只包含声学模型,我正在寻找带有统计语言模型的.dmp或ARPA文件。 我可以自己做,但这是一段时间,我不相信没有什么可以下载的英语语言。

    -5热度

    1回答

    我可以在python中做这样的事吗? 我有3句: I like cats. I like cats I like cats ,则有可能当我给我喜欢,该脚本返回猫? 有人可以给我建议/工具或一些例子吗?

    4热度

    1回答

    我是在Keras RNN结构中实现语言模型的新手。我有具有以下统计离散的话(而不是从一个段落)的数据集, 总字样本:1953 明显不同的字符的总数:33(包括开始,结束和*)一句话 最大长度(字符数)为10 现在,我想建立一个模型,将接受一个字符和单词预测下一个字符。我填充了所有单词,以便它们具有相同的长度。所以我的输入是Word_input形状1953 x 9和目标是1953 x 9 x 33。

    0热度

    1回答

    受Andrej Karpathy Char-RNN启发,char-rnn sherjilozair/char-rnn-tensorflow: Multi-layer Recurrent Neural Networks (LSTM, RNN) for character-level language models in Python using Tensorflow有一个Tensorflow实现。我

    0热度

    1回答

    在Tensorflow中,我得到的输出是0.602129或0.663941。看起来,接近于0的值意味着更好的模型,但似乎困惑应该被计算为2 ^损失,这意味着损失是负的。这没有任何意义。

    0热度

    1回答

    因此,为了构建语言模型,排在词汇大小之外的不太常见的单词被替换为“UNK”。 我的问题是,如何评估这种评估基于'UNK'的概率的语言模型?假设我们要评估测试集上这种语言模型的困惑性,对于模型未知的单词,我们得到的概率是基于未知单词的“包”评估的。 这似乎是有问题的,因为如果我们设置的词汇量为1,即所有的话都是未知的,那么这可以,什么都不做的语言模型的困惑将是1