Асессор получает связку запрос+документ. Затем оценка релевантности
Показывает пример запроса. Предлагает залу определить релевантность документа
запрос "Американка Космонавт Певица"
Size: a a a
2017 August 22
Что хотел найти пользователь?
Ольга говорит, что правильного ответа мы не знаем. Однако!
Мы можем обрабатывать огромное количество связок. Количество оценок постоянно росло из года в год.
Асессоры всё больше и больше работали. И..
1500 асессоров
И этого мало. Поэтому..
Яндекс.Толока :)
https://toloka.yandex.ru/ - любой может зарегистрироваться и размещать там СВОИ задания
(Видно, что Ольга много и хорошо репетировала выступление)
> 1 000 000 толокеров, > 2 000 000 000 оценок, > 1 500 заданий
всё это ради обучения нейросетей
всё это ради обучения нейросетей
Потестировали на людях лого
(у меня на выдаче сейчас левый)
В Толоке выдали это как задание. Толокеры выбрали левый
Как оценить качество толокера? Одинаковые задания даются разным людям. А затем учитываем степень доверия и экспертизу толокера, делаем выводы о качестве оценки
Толокерам похоже дадут призы
Нашли идеального человека - самый высокий рейтинг. У...
Его имя...