2013-09-10 37 views
1

我想使用AMT的命令行界面创建一个资格测试。此测试只会使用可由AMT自动评分的问题类型。我可以为每个问题设置个人分数,但无法找到任何有关如何为测试设置最低及格分数的文档。例如,如果一名工作人员得分低于80分,我希望他们通过测试。如果他们的分数高于80,我希望他们通过考试。如何设置资格考试的最低及格分数?

回答

2

资格测试不起作用,如通过/失败。它分配一个QualificationScore。您可以使用AnswerKey中的QualificationValueMapping将测试分数转换为一组特定分数(请参阅:http://docs.aws.amazon.com/AWSMechTurk/latest/AWSMturkAPI/ApiReference_AnswerKeyDataStructureArticle.html)。合格/不合格元素必须是特定HIT的QualificationRequirement的一部分 - 即“合格”应该表示分数高于QualificationRequirement的阈值,并且失败应低于该分数。然后,映射将允许您将总点数转换为例如高于和低于需求阈值的值。

+0

谢谢!所以要清楚的是,在自动评分测试结束后,没有办法改变对话:“恭喜你已经通过了X分数的资格考试!”?他们会一直通过,但有时候得分低于我的HITs门槛? – willwest

+0

@willwest我猜如果你得分为零,它可能会说别的,但我不认为有任何方法可以修改消息。 – Thomas