Думаю, мы все были там. Хотите что-то посмотреть, но не знаете, что именно смотреть… Подождите, я думаю, у вас есть возможность! Что ж, на Netflix есть этот сериал, о котором ваши друзья уже давно говорят. Я знаю, что вы уже смотрели трейлер и не думаете, что он вам так сильно понравится, но разве вам все равно не стоит его смотреть, чтобы участвовать в их обсуждениях? Давай, попробуй!
Вы смотрели пилота, но все же ...
Не интересно! Почему все так взволнованы по этому поводу ?!
Я полностью понимаю, но прежде чем сдаться, помните: ваши друзья говорили вам, что история начинается медленно, а затем на протяжении всех эпизодов вы становитесь все более и более зависимыми от нее.
Хорошо, Фуад, давай посмотрим, к чему это приведет.
Вы закончили 8 серий сезона - мы не хотим упоминать, что вы пропустили примерно половину из них, но все еще чувствовали, что это самые длинные 8 серий, которые вы когда-либо смотрели - а затем вы как:
Ладно ладно! Вы чувствуете, что потеряли примерно 8 серий своей жизни. Если бы вы знали это заранее, вы, конечно, не сделали бы этого!
Но подождите ... это вообще вариант? Как вы вообще можете это сделать? Как вы можете узнать, хотите ли вы что-то посмотреть, еще до того, как это посмотрели?
Здесь в игру вступает Netflix механизм рекомендаций (NRE). NRE состоит из набора алгоритмов искусственного интеллекта, которые узнают, что вам нравится, а что не нравится, в процессе вашего взаимодействия, а затем используют эти знания, чтобы предложить то, что вам, скорее всего, понравится смотреть дальше.
Вопросы, на которые мы будем отвечать в этом блоге
- Как Netflix использует искусственный интеллект, чтобы порекомендовать что смотреть дальше?
- Как Netflix использует ИИ, чтобы наилучшим образом рекомендовать шоу?
- О каких других вариантах использования ИИ мы могли не знать в Netflix?
- Почему AI именно? Какие преимущества ИИ принес Netflix?
- С какими проблемами сталкивается Netflix при использовании ИИ для работы с таким большим количеством пользователей?
Видеть? Нам есть о чем рассказать. Но… обо всем по порядку!
Раскрытие магии рекомендаций
Что ж, давайте начнем с того, что Netflix знает ваш вкус лучше, чем кто-либо из ваших друзей. Ты знаешь почему? Это просто потому, что информация, которую Netflix имеет о вас, исходит от ВАС: ваши ранее просмотренные фильмы и сериалы, ваше взаимодействие во время просмотра (например, пропуск, пауза, повтор), время, которое вы тратите на завершение эпизода и т. Д. Эта информация - их путь понять ваш вкус и порекомендовать, что смотреть дальше соответственно.
Кажется немного расплывчатым? Поясним это на примере. Представим на мгновение, что у Netflix 3 пользователя и 5 шоу. Эти 3 пользователя оценили (понравились или не понравились) шоу, которые они смотрели, как вы можете видеть на рисунке ниже.
Проблема, которую необходимо решить Netflix: что мы порекомендуем конкретному пользователю, учитывая приведенную выше матрицу, посмотреть дальше? Здесь у нас есть 2 подхода:
1. Контентная фильтрация
В качестве первой интуиции кто-то может попытаться вывести контент, который понравится человеку, на основе того, что он смотрел раньше. Итак, если мы возьмем в качестве примера пользователя A, мы увидим, что она больше увлекается действиями, чем комедиями, и в результате следующей рекомендацией будет что-то вроде побега из тюрьмы. Это интуиция!
Знаете, здесь все очень просто. Несколько показов… меньше пользователей… но в реальной жизни все немного сложнее. Что мы действительно делаем при фильтрации контента, так это характеризуем контент, который у нас есть (шоу) в соответствии с конкретными характеристиками (например, насколько он связан с комедией, насколько он включает в себя действия и т. Д.), А затем рекомендуют контент, который похоже на то, что обычно нравится пользователю. Это один из способов сделать что-то.
2. Совместная фильтрация
Совместная фильтрация - это наоборот, когда рекомендации основаны не только на том, что смотрел пользователь. Они основаны на том, что смотрели и что понравилось другим похожим пользователям. А как именно? Что ж, вместо того, чтобы характеризовать контент по конкретным характеристикам, мы характеризуем самих пользователей (например, насколько им нравится драма, сколько комедий они любят смотреть и т. Д.). Эта информация берется после того, как пользователь регистрируется в Netflix, и обновляется в соответствии с тем, что он смотрит. Таким образом мы сможем идентифицировать похожих пользователей, обладающих схожим набором функций или, другими словами, схожими вкусами, и это сходство поможет расширить возможности будущих рекомендаций.
На рисунке ниже показана разница между контентной и совместной фильтрацией. Приятно знать, что Netflix использует сочетание этих двух подходов, чтобы давать более точные рекомендации.
Видеть? Процесс прост. Последняя деталь, чтобы прояснить ваши мысли: как получить функции, о которых мы говорили, и что они из себя представляют? Здесь вы должны отметить, что эти функции не известны заранее, они изучаются, и в этом роль машинного обучения (ML) в этом процессе. После изучения этих функций мы можем представлять каждого пользователя и каждое шоу вектором или тем, что мы называем «встраиванием» в n-мерное пространство. Представление пользователей и шоу в пространстве поможет нам сгруппировать похожих пользователей и похожие шоу вместе (потому что они будут близки друг к другу), и это существенно улучшит будущие рекомендации. Чтобы понять, как обучаются эти вложения, вам необходимо знать идею матричной факторизации.
Еще одна новая терминология. Что это означает?
Хорошо. Проще говоря, матричная факторизация - это процесс замены матрицы двумя разными матрицами, умножение которых вернет нам нашу исходную матрицу.
О, поверь мне, это легко. Но в любом случае давайте сделаем шаг назад. Когда вы узнали о факторизации в младших классах, они часто просили вас факторизовать x² - 1 как произведение двух многочленов, помните?
Гениально старый, вы бы легко заметили, что x² - 1 = (x - 1) (x + 1). Видите, как это было легко? Теперь то же самое применимо к матрицам. Итак, в нашем случае у нас есть рейтинговая матрица, содержащая информацию о том, как пользователи оценивают определенные шоу. Что мы хотим сделать с помощью матричной факторизации, так это найти из нашей исходной матрицы 2 матриц, одну для пользователей и одну для шоу. Предполагается, что произведение этих двух матриц вернет нам (приблизительно) исходную рейтинговую матрицу, где у нас есть (+1) за лайк и (-1) за антипатию. Давайте рассмотрим следующий рисунок, и все станет понятнее.
Чтобы получить матрицы для пользователей и шоу, мы используем ML. Цель состоит в том, чтобы найти матрицы, которые дадут нам наименьшую ошибку между результатом их произведения и реальной исходной матрицей. В нашем небольшом примере мы использовали 2 функции для представления пользователя или шоу, но в реальной жизни их гораздо больше. Процесс поиска двух матриц происходит в соответствии с традиционным рабочим процессом машинного обучения. Сначала мы инициализируем их случайным образом, а затем продолжаем обновлять их таким образом, чтобы их продукт максимально приближался к реальной рейтинговой матрице. Как только у нас будет две матрицы, их продукт даст нам то, что мы называем прогнозной рейтинговой матрицей, как вы можете видеть на рисунке ниже.
Хорошо, но чего мы достигли?
Отличный вопрос! Если вы посмотрите на полученную нами матрицу прогнозируемых рейтингов, вы увидите, что она содержит числа. Эти числа отражают, как каждый пользователь оценил бы конкретное шоу, и, как результат, они показывают, насколько пользователь должен наслаждаться определенным шоу. Итак, этой матрицы достаточно для будущих рекомендаций. Давайте посмотрим на пользователя Б, чтобы понять вещи больше. Мы видим, что пользователь B уже просмотрел «Друзья» и «Черный список». Итак, на данный момент мы должны порекомендовать шоу из оставшихся (La Casa De Papel, Prison Break и HIMYM). Если мы посмотрим на полученную нами матрицу прогнозируемых рейтингов, то увидим, что пользователь B должен поставить HIMYM наивысшую оценку, так что это будет следующая рекомендация.
Видеть? Это интуиция, лежащая в основе этого: мы прогнозируем, насколько пользователю понравится шоу, и, соответственно, смотрим, рекомендуем мы его или нет.
Теперь, когда мы знаем, как Netflix использует ИИ, чтобы знать, что рекомендовать, пора посмотреть, как они используют ИИ, чтобы узнать, как рекомендовать его наилучшим образом.
Переход от простых рекомендаций к персонализированным эскизам
Как вы знаете, Netflix предлагает вам варианты в виде эскизов изображений. Я уверен, что вы заметили, что, например, во время просмотра сериала вы несколько раз видите, что значок этого сериала меняется. Я полагаю, это не новая информация для вас. Но вы можете не знать, что эти значки, которые вы видите, не являются общими для всех! Они созданы специально для вас! Таким образом, эскиз, который вы видите в определенное время для определенного шоу, отличается от того, что видит любой другой пользователь Netflix.
Но… Почему Netflix это делает ?!
Что ж, было доказано, что миниатюры имеют большое влияние на то, смотрите шоу или нет. Фактически, эскиз - это первое, что привлекает ваше внимание - даже до названия - и к концу дня цель состоит не только в том, чтобы порекомендовать. Цель состоит в том, чтобы рекомендовать таким образом, чтобы максимизировать ваши шансы на просмотр рекомендации, чтобы обеспечить удобство для пользователей. Поскольку миниатюры так важны, Netflix проходит определенный процесс, прежде чем решить, какие из них вам нужно показать.
- Видео Netflix состоит из тысяч или сотен тысяч статических кадров.
- Не все эти кадры подходят для отображения в виде эскизов, поэтому мы выполняем эстетический визуальный анализ (AVA) для них, чтобы выбрать наиболее привлекательные. Выбранные кадры также называются кадрами-кандидатами.
- Затем каждый из этих кадров-кандидатов аннотируется в соответствии с различными факторами: яркостью, количеством лиц, оттенками кожи, симметрией, уровнем размытия, уровнем обнаженности и т. Д. Итак, на этом этапе ML пригодится, чтобы объяснить, что содержит кадр.
- В соответствии с предоставленными аннотациями Netflix ранжирует кадры-кандидаты и выбирает те, которые должны максимизировать частоту кликов для конкретных пользователей.
- И, наконец, кадры с наивысшими оценками предоставляются пользователям индивидуально.
Итак, я думаю, теперь ясно, как ИИ во многих отношениях формирует рекомендации Netflix, чтобы гарантировать наилучшее взаимодействие с пользователем. Но использование ИИ в Netflix на этом не заканчивается!
Сценарии использования ИИ, которые мы, как пользователи, не рассматриваем.
Помимо рекомендаций и персонализации эскизов, которые могут быть понятны нам как конечным пользователям, существуют и другие варианты использования, в которых Netflix использует искусственный интеллект для лучшего принятия решений.
1. Оптимизация потоковой передачи
Netflix имеет более 200 миллионов подписчиков по всему миру. При таком огромном количестве обычно становится немного сложно всегда предлагать лучшее качество потоковой передачи. Но с помощью искусственного интеллекта Netflix может прогнозировать на основе действий пользователей, какие шоу они будут смотреть. Для этого Netflix заблаговременно кэширует эти шоу на серверах, близких к конечным пользователям. Таким образом, подписчики смогут транслировать их с высоким качеством даже в часы пик, и поэтому большинство пользователей даже не замечают наличия этой проблемы.
2. Подготовка к производству
Как известно, Netflix производит оригиналы. Но для того, чтобы сделать это успешно, Netflix использует собранные данные о пользователях и их предпочтениях, чтобы создать то, что им, скорее всего, понравится. На основе этих данных они могут выбрать главных действующих лиц, места для съемок, бюджет, который они потратят, страны, в которых будет проводиться шоу, и т. Д. Таким образом, им необходимо оптимизировать ситуацию таким образом, чтобы гарантировать успех шоу. показать с одной стороны и отличный пользовательский опыт с другой стороны.
3. Постпродакшн
После определения деталей производства и завершения процесса съемки Netflix использует AI, чтобы убедиться, что съемка и качество сцен соответствуют задумке. Роль ИИ здесь в основном состоит в том, чтобы указывать сцены, требующие дополнительного внимания при редактировании. Это сокращает человеческие усилия и время, которое было бы потрачено, если бы сцены проверялись вручную.
Последние мысли
Увидев, насколько Netflix полагается на ИИ и решения на основе данных, вы можете спросить себя:
К чему все эти неприятности ?!
Ты прав! Фактически, решения ИИ дороги на многих уровнях. Так почему же Netflix настаивает на использовании ИИ на разных этапах? Краткий ответ на этот вопрос - «потребности бизнеса». Фактически, ни одна компания не использует такие AI-решения только потому, что они классные, НЕТ! Цель состоит в том, чтобы клиенты были максимально вовлечены и довольны, а также предоставили им наилучшие впечатления, потому что это приведет к более высокому уровню подписки и более низкому уровню отмены. То, как Netflix использует искусственный интеллект, оправдало себя.
«80% того, что люди играют на Netflix, на самом деле исходит из алгоритма рекомендаций, так что это действительно большой рычаг для Netflix, это действительно важная часть того, что мы делаем». - Айш Фентон, директор Netflix по машинному обучению, 2018
Но как бы многообещающе это ни звучало, процесс не без проблем!
Конечно, этого можно ожидать. Применение ИИ для понимания вкусов огромного количества пользователей не должно быть идеальным все время. Так что это правда, что большинство рекомендаций, которые дает Netflix, точны, но это не значит, что они всегда точны, и это потому, что человеческий вкус сам по себе не является чем-то очень статичным. Наши вкусы со временем меняются, и то, что нам нравится смотреть сегодня, могло быть чем-то, что мы ненавидели 5 лет назад. Но, несмотря на все это, система рекомендаций в Netflix максимально решает эти проблемы, обучаясь и адаптируясь к разнообразию пользователей и их различным вкусам, и это одна из важнейших причин их доказанного успеха.
Вывод
Теперь я уверен, что вы знаете, как искусственный интеллект повлиял на революцию в Netflix и как они используют его, чтобы всегда удовлетворять своих пользователей. Из этого блога вы лучше понимаете, как Netflix узнает о вашем вкусе, чтобы рекомендовать шоу, которое вам нравится, и, что наиболее важно, вы поняли, что эти рекомендации не случайны или распространены, как вы могли подумать в какой-то момент. У вас также была возможность обнаружить некоторые скрытые области, в которых Netflix применяет ИИ, и, наконец, вы увидели, какие преимущества и проблемы дает использование ИИ.
Вывод из этого блога
Поскольку к настоящему времени вы знаете, через какой сложный процесс проходит Netflix, чтобы понять ваш вкус, в следующий раз, когда вам интересно, что вам следует посмотреть, не спрашивайте своих друзей, не смотрите то, что вам не нравится, просто следить за их обсуждениями. Просто возьмите попкорн и перейдите на Netflix! Я уверен, что у них для вас найдется что-нибудь получше. Приятного просмотра: D
Не забудьте поддержать аплодисментами!
Вы можете присоединиться к нашим усилиям в Zaka и помочь демократизировать ИИ в вашем городе! Свяжитесь с нами и дайте нам знать.
Чтобы узнать о Заке, посетите www.zaka.ai
Подпишитесь на нашу рассылку и подпишитесь на нас в наших учетных записях в социальных сетях, чтобы быть в курсе наших новостей и деятельности:
