在Spacer NER模型中的评估

我正在评估使用spacy lib创建的训练有素的NER模型。通常对于这类问题，您可以使用f1分数（精度和召回之间的比例）。我无法在文档中找到经过训练的NER模型的精确度函数。在Spacer NER模型中的评估

我不知道，如果它的正确的，但我想用下面的方式（例如）做到这一点，并使用f1_score从sklearn：

from sklearn.metrics import f1_score 
import spacy 
from spacy.gold import GoldParse 


nlp = spacy.load("en") #load NER model 
test_text = "my name is John" # text to test accuracy 
doc_to_test = nlp(test_text) # transform the text to spacy doc format 

# we create a golden doc where we know the tagged entity for the text to be tested 
doc_gold_text= nlp.make_doc(test_text) 
entity_offsets_of_gold_text = [(11, 15,"PERSON")] 
gold = GoldParse(doc_gold_text, entities=entity_offsets_of_gold_text) 

# bring the data in a format acceptable for sklearn f1 function 
y_true = ["PERSON" if "PERSON" in x else 'O' for x in gold.ner] 
y_predicted = [x.ent_type_ if x.ent_type_ !='' else 'O' for x in doc_to_test] 
f1_score(y_true, y_predicted, average='macro')`[1] 
> 1.0

任何想法或见解是有用的。

来源

2017-06-29 Mpizos Dimitris

对于具有下面的链接同一个问题的一个：

spaCy/scorer.py

你可以找到不同的指标，包括：fscore，召回率和准确。使用scorer一个例子：

from spacy.gold import GoldParse 

def evaluate(ner_model, examples): 
    scorer = Scorer() 
    for input_, annot in examples: 
     doc_gold_text = ner_model.make_doc(input_) 
     gold = GoldParse(doc_gold_text, entities=annot) 
     pred_value = ner_model(input_) 
     scorer.score(pred_value, gold) 
    return scorer.scores

其中input_是文本（例如 “我的名字叫约翰”）和annot是注释（例如[（11,16， “人”）

。

的scorer.scores返回多的分数。这个例子是从spaCy example in github取（链接不工作）

来源

2017-06-30 07:59:48

1.你github上链接断开 2.什么是自我在这种情况下？我可以在哪里找到self.make_gold？ – farlee2121

@ farlee2121我已经更新了答案更清晰。 –

在Spacer NER模型中的评估

回答

相关问题