В течение последних нескольких недель мы в основном были сосредоточены на исправлении различных ошибок и проблем, о которых сообщали пользователи Metarank, но мы смогли включить пару функций, которые могут улучшить ваш персональный рейтинг в 0.5.5.
Нормализация скорости
Нормализация ставок используется для нормализации значений скоростей. Нормализация необходима для устранения выбросов, которые могут возникнуть, когда определенные элементы имеют слишком мало показов и взаимодействий.
Представьте случай, когда у товара А 2 показа и 1 клик. Это приводит к CTR 50%, что намного выше обычного порога в 10%, который вы видите на других элементах.
При нормализации такие выбросы получат взвешенный показатель CTR, который не повлияет на модель машинного обучения так сильно, как мог бы.
Наша реализация нормализации рейтинга основана на Подходе к моделированию неявной обратной связи с пользователями с конференции Haystack US 2022 и настраивается в зависимости от того, сколько у вас выбросов CTR.
Нормализация скорости включена по умолчанию для всех ставок.
Устранение смещения положения
Смещение позиции — это одно из смещений, которые могут исходить от ваших исторических данных. Обычно пользователи больше нажимают на элементы, которые они видят первыми в списке, поэтому эти элементы получают более высокое значение CTR, но их конверсия может быть даже ниже, чем у других.
Существует несколько методов преодоления предвзятости позиции, наша реализация основана на PAL: система обучения с учетом смещения позиции для прогнозирования CTR в реальных рекомендательных системах.
Чтобы настроить устранение смещения позиции, добавьте новый экстрактор признаков с типом position. Значение параметра position будет зависеть от того, сколько элементов вы представляете пользователю (например, на одной странице) и может быть найдено только после тестирования.
Вам нужно будет немного поэкспериментировать, чтобы найти лучшее значение, обучив модель машинного обучения (запустив режимы standalone или train) и сравнив значение NDCG, которое вы увидите в результате обучения модели. Хорошей отправной точкой для параметра position является половина значения количества элементов, которые вы предоставляете пользователю. Если презентуете 24 предмета, то начните с position: 12, если 6 — начните с position: 3 . Чем выше NDCG вы получите — тем лучше.
Что дальше?
Недавно мы стали партнером OpenSearch — пакета поиска и аналитики с открытым исходным кодом, так что вы можете ожидать больше контента и руководств о том, как выполнять персонализированное повторное ранжирование с помощью Metarank и OpenSearch.
Следите за обновлениями!
