情绪分析的培训数据

Question

从哪里可以获得已在企业领域中被分类为积极/消极情绪的文档的语料库？我想要一大批为公司提供评论的文件集，比如分析师和媒体提供的公司评论。

我发现有产品和电影评论的语料库。是否有商业领域的语料库，包括与企业语言相匹配的公司评论？

Answer 1

http://www.cs.cornell.edu/home/llee/data/

http://mpqa.cs.pitt.edu/corpora/mpqa_corpus

您可以使用Twitter，与它的表情，就像这样：http://web.archive.org/web/20111119181304/http://deepthoughtinc.com/wp-content/uploads/2011/01/Twitter-as-a-Corpus-for-Sentiment-Analysis-and-Opinion-Mining.pdf

希望得到您开始。如果你对特定的子任务感兴趣，比如否定，情感范围等，

为了把重点放在公司上，你可以将一种方法与主题检测结合起来，或者便宜地提到很多提及一个给定的公司。或者您可以获得Mechanical Turkers注释的数据。

Answer 2

我不知道任何这样的语料库是免费提供的，但您可以在未标记的数据集上尝试使用unsupervised method。

Answer 3

这里有几个;

http://inclass.kaggle.com/c/si650winter11

http://alias-i.com/lingpipe/demos/tutorial/sentiment/read-me.html

Answer 4

如果您对您要浏览的域的一些资源（媒体渠道，博客等），您可以创建自己的语料库。 我这样做在python：

• 用美丽的汤http://www.crummy.com/software/BeautifulSoup/解析，我要分类的内容。
• 将那些对公司有正面或负面意见的句子分开。
• 使用NLTK来处理这个句子，令牌化的话，词性标注等
• 使用NLTK PMI来计算只有一个类的双字母组或卦MOS频繁

创建语料库是预先的辛勤工作处理，检查，标记等，但具有为特定领域准备模型多次提高准确性的益处。如果你已经准备好语料库，只需继续进行情感分析;）

Answer 5

你可以从Datafiniti获得大量的在线评论。大多数评论都带有评分数据，这会提供比正面/反面更加细化的情绪。这是一个list of businesses with reviews，这里是一个list of products with reviews。

Answer 6

这是我几个星期前写的一个清单，从my blog。其中一些数据集最近已被包含在NLTK Python平台中。

辞书由刘兵

• 意见词汇

  • URL：http://www.cs.uic.edu/~liub/FBS/sentiment-analysis.html#lexicon
  • 论文：Mining and summarizing customer reviews
  • 注意：包括在NLTK Python的平台

• MPQA主体性词汇

  • URL：http://mpqa.cs.pitt.edu/#subj_lexicon
  • 论文：Recognizing Contextual Polarity in Phrase-Level Sentiment Analysis (Theresa Wilson, Janyce Wiebe, and Paul Hoffmann, 2005)。

• SentiWordNet

  • URL：http://sentiwordnet.isti.cnr.it
  • 注意：包括在NLTK Python的平台

• 哈佛一般问询

  • URL：http://www.wjh.harvard.edu/~inquirer
  • 论文：The General Inquirer: A Computer Approach to Content Analysis (Stone, Philip J; Dexter C. Dunphry; Marshall S. Smith; and Daniel M. Ogilvie. 1966)

• 语言调查和字数（LIWC）

  • URL：http://www.liwc.net

• 维达词汇

  • 网址：https://github.com/cjhutto/vaderSentiment，http://comp.social.gatech.edu/papers
  • 论文：Vader: A parsimonious rule-based model for sentiment analysis of social media text (Hutto, Gilbert. 2014)

---

数据集

• MPQA数据集

  • URL：http://mpqa.cs.pitt.edu

  • NOTES：GNU Public License。

    • 政治辩论数据
    • 产品辩论数据
    • 主体感注解

• Sentiment140（鸣叫）

  • URL：http://help.sentiment140.com/for-students
  • 论文：Twitter Sent classification using Distant Supervision (Go, Alec, Richa Bhayani, and Lei Huang)
  • 网址：http://help.sentiment140.com，https://groups.google.com/forum/#!forum/sentiment140

• STS-黄金（鸣叫）

  • URL：http://www.tweenator.com/index.php?page_id=13
  • 论文：Evaluation datasets for twitter sentiment analysis (Saif, Fernandez, He, Alani)
  • 注意：作为Sentiment140，但该数据集较小，与人工注释。它带有3个文件：推文，实体（他们的情绪）和一个集合。

• 顾客评分数据集（产品评论）

  • URL：http://www.cs.uic.edu/~liub/FBS/sentiment-analysis.html#datasets
  • 论文：Mining and summarizing customer reviews
  • 注意：的评论标题，产品FEA具有意见强度的正面/负面标签，其他信息（比较，代词解析等）。）

  包括在NLTK Python的平台

• 优点和缺点数据集（利弊句子）

  • URL：http://www.cs.uic.edu/~liub/FBS/sentiment-analysis.html#datasets
  • 论文： Mining Opinions in Comparative Sentences (Ganapathibhotla, Liu 2008)
  • 注意：句子的列表标记包括在NLTK Python的平台<pros>或<cons>

• 比较句（评论）

  • URL ：http://www.cs.uic.edu/~liub/FBS/sentiment-analysis.html#datasets个
  • PAPERS：Identifying Comparative Sentences in Text Documents (Nitin Jindal and Bing Liu)，Mining Opinion Features in Customer Reviews (Minqing Hu and Bing Liu)
  • NOTES：句子，POS标签的句子，实体，比较类型（不相等，equative，最高级的，非可分级）

  包括在在NLTK Python的平台

• 桑德斯分析Twitter的情绪语料库（TWE ETS）

  • URL：http://www.sananalytics.com/lab/twitter-sentiment

  5513手分类鸣叫WRT 4个不同的主题。由于Twitter的ToS，包含一个小的Python脚本来下载所有的推文。情感分类本身是免费提供的，没有任何限制。它们可能被用于商业产品。他们可能被重新分配。他们可能会被修改。

• 西班牙鸣叫（鸣叫）

  • URL：http://www.daedalus.es/TASS2013/corpus.php

• SemEval 2014（鸣叫）

  • URL：http://alt.qcri.org/semeval2014/task9

  您不得重新分配的鸣叫，注释或获得的语料库（自述文件）

• 各种数据集（评论）

  • URL：https://personalwebs.coloradocollege.edu/~mwhitehead/html/opinion_mining.html
  • PAPERS：Building a General Purpose Cross-Domain Sentiment Mining Model (Whitehead and Yaeger)，Sentiment Mining Using Ensemble Classification Models (Whitehead and Yaeger)

• 各种数据集＃2（评价）

  • URL：http://www.text-analytics101.com/2011/07/user-review-datasets_20.html

---

参考文献：

• Keenformatics - Sentiment Analysis lexicons and datasets（我的博客）
• 个人经历