Я обдумываю это для аналогичного моего проекта. Я сам экспериментировал как рабочий. Вот мой план, надеюсь, он вам пригодится. (Я еще не реализовал его. Он основан на академическом HIT, в котором я участвовал в качестве рабочего.) Вот:
A. Создайте шаблон с языком, например:
1. Please open this web site in a new browser window:
http://your-url.xyz.blah/tasks/${token}
2. Read and follow the instructions there.
3. After completing the task, you will receive a confirmation code. Paste
it here: [________]
B. Создайте несколько случайных токенов для вашего файла данных Mechnical Turk:
1A1B43B327015141
09F49F2D47823E0C
B5C49A18B3DB56F4
4E93BB63B0938728
CCE7FA60BFEB3198
...
(Создайте эти токены из своего приложения; оно должно ссылаться на них.)
C. Ваше приложение извлекает токен из URL-адреса, ищет задачу и делает все, что нужно. Я лично не беспокоюсь о том, что люди наткнутся на URL-адрес, поскольку это токен одноразового использования.
D. После того, как пользователь выполнит задачу на внешнем веб-сайте, внешнее приложение выдаст код подтверждения. Код подтверждения должен быть случайным и непрозрачным. Только ваше приложение будет знать, соответствует ли тот или иной код правильному или неправильному ответу. На самом деле, если хотите, правильность может даже не определяться в режиме реального времени — это может быть результат агрегирования и/или сравнения нескольких отправленных материалов.
E. Напишите код для программного взаимодействия. Возьмите токен и код подтверждения, полученные из результата MTurk, и убедитесь, что они совпадают с вашим внешним приложением. Если они не совпадают, отклоните HIT. Если они совпадают, проверьте правильность во внешнем приложении и одобрите или отклоните. Вы можете рассмотреть структуру бонусных выплат.
Итак, чтобы ответить на ваши конкретные вопросы:
Я не ожидаю проблем с подходом, который я описал. Тем не менее, Mechanical Turk — это и искусство, и наука. Возможно, больше искусства. Написание хороших вопросов и адекватная оплата Turkers — это то, что вам нужно выяснить, сочетая здравый смысл, исследование рынка и экспериментирование.
См. (С) выше. Токен предназначен для использования только один раз. Используйте достаточно длинные токены, и вероятность столкновения станет очень низкой.
См. (Е) выше. Руководство разработчика по Mechanical Turk – хорошее место для Начало.
Пожалуйста, поделитесь своими результатами. Или пусть турки отправят StackOverflow сотни открыток. :)
Примечания:
В настоящее время я изучаю квалификационные тесты. Я подозреваю, что они могут быть очень полезными.
Я хочу получить рабочий идентификатор Turker в своем внешнем приложении, но я еще не разобрался с этой частью. Я читаю об этом; например: Получение идентификатора работника по идентификатору назначения
Я думаю об использовании функции ExternalQuestion из API: ". .. вы можете размещать вопросы на своем собственном веб-сайте, используя «внешний» вопрос. ... ХИТ с внешним вопросом отображает веб-страницу с вашего веб-сайта во фрейме в веб-браузере работника. Ваша веб-страница отображает Форма, которую работник должен заполнить и отправить. Работник отправляет результаты, используя вашу форму, а ваша форма отправляет результаты обратно в Mechanical Turk. Использование вашего веб-сайта для отображения формы дает вашему веб-сайту контроль над тем, как появляется вопрос и как ответы собираются».
person
David J.
schedule
13.06.2012
