是否可以使用自然语言处理来压缩文本？

Question

我正在考虑使用大多数英语单词压缩大块文本，但现在我怀疑它会很有效，因为lzw似乎正在以更好的方式实现这一点。因为人们可以分析句子的结构以更好地将其组织成较小的数据块，并且结构并不完全一样，但我不能动摇压缩字符的感觉有点“残酷”解压缩时也是如此，它可以使用经典的压缩方法。

“基本”NLP允许吗？

Answer 1

NLP？

标准压缩技术可以应用于单词而不是字符。这些技术将基于前面的单词将概率分配给下一个单词。尽管如此，我还没有在实践中看到这一点，因为有比字符更多的词汇，导致内存使用率过高，甚至对于低阶模型而言执行时间过长。