Как реализовать систему Bluemix Retrieve&Rank для непрерывного обучения?

Ссылаясь на приведенную ниже веб-страницу, используя службу Retrieve & Rank IBM Bluemix, мы создаем бота, который может отвечать на запросы.

Вопрос: Изучив ранжировщик один раз на основе ответа пользователя на запрос, как мы можем создать механизм для непрерывного обучения и повышения точности ответов?

Предположение: Поскольку не было API службы R&R для непрерывного изучения результата ответа на запрос пользователя, настройки файла GroundTruth, я полагаю, что необходимо периодически выполнять такой процесс, как обучение ранкера заново.

Настройка содержимого предполагаемого файла GT:

  • Если есть новый вопрос, добавьте набор вопросов и ответов
  • Увеличьте или уменьшите оценку релевантности ответов, если есть что-то, на что нельзя было дать хороший ответ существующим вопросом (если бот ответил неправильно, понизьте оценку, если есть полезный ответ, поднимите оценку)

ibm-cloud ibm-watson retrieve-and-rank
person Shota.N    schedule 07.12.2016    source источник
comment
Пожалуйста, уточните свой вопрос. Добавьте указатель на указанную веб-страницу. Добавьте больше подробностей о том, как вы строите своего бота и что уже пробовали.   -  person ralphearle    schedule 07.12.2016
comment
Спасибо за редактирование. Упомянутая веб-страница находится здесь. qiita.com/VegaSato/items/6d2d03d6a8b42adcf87e   -  person Shota.N    schedule 09.12.2016
comment
Если мы хотим продолжить изучение R&R, используя API R&R, что нам делать? 1.Добавить новый вопрос 2.Добавить новый ответ 3.Обновить показатель релевантности вопроса и ответа В API R&R есть создание, но, похоже, обновления нет.   -  person Shota.N    schedule 09.12.2016
comment
Я полагаю, что необходимо периодически выполнять такой процесс, как обучение ранкера, снова - я думаю, вы справились с этим.   -  person Leo    schedule 09.12.2016

Ответы (1)


arrow_upward
1
arrow_downward

Чтобы постоянно учиться, вам нужно сделать следующее:

  • захватить новые примеры, т. е. каждый пользовательский ввод и соответствующий результат
  • просмотрите эти примеры и создайте новые примеры ранжирования, настройте показатели релевантности и т. д.
  • добавить эти новые примеры в рейтинг
  • переобучите ранкер, используя ваши новые и существующие примеры

ПРИМЕЧАНИЕ. Убедитесь, что новые обновления данных рейтинга улучшают общую производительность системы. К-кратная проверка — отличный способ измерить это.

В целом обучение представляет собой непрерывный процесс, который следует повторять бесконечно или до тех пор, пока производительность системы не будет признана достаточной.

person cmd    schedule 26.01.2017