在外部网站上运行MTurk HIT

我正在实施一个网站，其中招募的MTurk工作人员将执行任务。我计划招募使用MTurk任务的工作人员，使用这些工作我将把他们重定向到外部网站以进行实际工作。我有以下有关这个计划的问题。在外部网站上运行MTurk HIT

这种运行HIT的方法是否存在可预见的问题？如果是这样，我们如何减轻它们？
我应该如何在我的外部网站上实施身份验证程序？例如，我如何确保前来网站的人执行特定任务确实是同一群人早前招募的对于此特定任务上的MTurk？
当工作人员完成任务时，我应该如何根据他们的表现将支付程序与MTurk集成？例如，在完成外部网站上的任务后，说员工欠3美元，我是否可以告诉MTurk以编程方式支付他/她的这一数额？

如果这样的细节很重要，外部站点将使用Python构建。

根据您在使用MTurk方面的经验和见解，我们将非常感谢您的建议和意见！

来源

2012-05-26 MLister

@DavidJames，谢谢你的回答，它绝对包含一些有用的观点。我还从其他来源找到了确认代码方法，并且将与此一致。获取workerId更麻烦，但我怀疑我可以使用一些Javascript来从请求页面中选取它... – MLister

您可以尝试[TurkPrime.com]（https://www.turkprime.com）它提供了许多（如果不是全部的话）你需要的功能 – Jonathan

我正在考虑通过这个为我的一个类似的项目。我自己也是一名工人。这是我的计划，我希望它对你有用。（。我还没有实现它正是基于学术HIT我参加了一个工人）这里所说：

A.创建一个具有语言就像一个模板：

1. Please open this web site in a new browser window: 
    http://your-url.xyz.blah/tasks/${token} 
2. Read and follow the instructions there. 
3. After completing the task, you will receive a confirmation code. Paste 
    it here: [________]

B.为您的燃油系统采用机械土耳其人的数据文件中的一些随机令牌：

1A1B43B327015141 
09F49F2D47823E0C 
B5C49A18B3DB56F4 
4E93BB63B0938728 
CCE7FA60BFEB3198 
...

（生成您的应用程序，这些令牌，它需要相互参照。）

C.您的应用程序中提取日来自URL的令牌，查找任务，并执行所需的任何操作。我个人并不担心人们绊倒在一个URL上，因为它是一次性使用令牌。

D.用户完成外部网站上的任务后，外部应用程序会给出确认码。确认码应该是随机的，不透明的。只有你的应用程序会知道任何特定的代码是否对应正确或不正确的答案。事实上，如果你愿意，正确性甚至可能不是实时确定的 - 这可能是跨多个提交的聚合和/或比较的结果。 E.编写一些代码以编程方式进行交互。以MTurk结果提供的令牌和确认码，并确保它们与您的外部应用程序匹配。如果它们不匹配，则拒绝HIT。如果它们匹配，请检查外部应用程序的正确性并批准或拒绝。你可能会考虑奖金支付结构。

因此，要回答你的具体问题：

我并不预期与我描述的方法问题。也就是说，Mechanical Turk既是一门艺术，也是一门科学。也许更多的艺术。写好问题并适当支付Turkers是你必须结合常识，市场研究和实验才能弄清楚的。
参见上面的（C）。令牌设计为只能使用一次。使用足够长的令牌，碰撞概率变得非常低。参见上面的（E）。 Mechanical Turk Developer Guide是一个很好的开始。

请分享您的结果回来。或者让Turkers发送数百张明信片给StackOverflow。 :)

注：

我目前正在探索资格考试。我怀疑他们可能非常有用。
我想在我的外部应用程序中得到一个Turker的工号，但我还没有想出那部分。我正在读它;例如：Getting workerId by assignmentId
我想使用ExternalQuestion功能从API：” ......你可以承载使用在自己的网站上的问题，‘外部’的问题......一击与外部问题在工作人员的网络浏览器的框架中显示来自您网站的网页，您的网页显示工作人员填写和提交的表单，工作人员使用您的表单提交结果，表格将结果提交给机械土耳其人使用你的网站显示表单，可以让你的网站控制问题出现的方式以及如何收集答案。“

来源

2012-06-13 05:22:57

是否有随机令牌和确认码的协议？这些不同的东西？ – knk

@knk我建议为每个令牌生成一个随机确认码，并将两者都保存在一个数据库中。（我不确定协议的含义。） –

是您为每个HIT创建的模板吗？在mturk上有数据文件的地方，还是在我的服务器上？ – knk

您也可能会发现PsiTurk是有用的：“PsiTurk是亚马逊的Mechanical Turk进行定制behvioral实验开放平台......它旨在提供最运行实验所需的后端机械它使用AMT的External Question HIT类型，这意味着您可以使用任何网站收集数据，只要您可以将您的实验变成一个网站，就可以使用PsiTurk来运行它！“

来源

2012-06-13 05:54:59

您可以尝试[TurkPrime.com]（https://www.turkprime.com），它提供了许多（如果不是全部）您需要的功能 – Jonathan

在外部网站上运行MTurk HIT

回答

相关问题