如何使用tensor2tensor分类文本？

Question

我想要使用tensor2tensor来进行二进制文本分类只有注意力和没有LSTM或CNN预处理图层。我认为transformer_encoder模型对我来说是最好的，但是我找不到任何预先设定好的Problem或Hparams。任何人都可以给我一个使用tensor2tensor或其他建议的文本分类示例吗？

Answer 1

我会建议跟随他们sentiment_imdb问题，因为情感分析是一种文本分类问题：

https://github.com/tensorflow/tensor2tensor/blob/master/tensor2tensor/data_generators/imdb.py

他们也有对主要页面上培养了transformer_encoder这个问题的简短部分：

https://github.com/tensorflow/tensor2tensor#sentiment-analysis