Как работают рекомендательные алгоритмы: ИИ, который формирует вашу ленту

Каждый раз, когда кто-то открывает YouTube, TikTok или подобное приложение, программное обеспечение ранжирует тысячи возможных видео, песен или постов за долю секунды и решает, какие несколько показать в первую очередь. Это система рекомендаций: набор алгоритмов, предназначенных для предсказания того, какие элементы конкретный пользователь, вероятно, захочет из каталога, слишком большого для ручного просмотра любым человеком.

Две основные идеи, лежащие в основе каждого рекомендателя

В соответствии с техническим глоссарием NVIDIA по системам рекомендаций, большинство механизмов объединяют два основных подхода. Коллаборативная фильтрация предполагает, что если люди делали похожий выбор в прошлом, они, вероятно, согласятся в будущем, поэтому система ищет пользователей с совпадающими моделями поведения и рекомендует то, что нравилось похожим пользователям. Фильтрация на основе контента, напротив, смотрит на атрибуты самих элементов — жанр, актеры, характеристики звука, теги — и предлагает элементы, похожие на те, с которыми пользователь уже взаимодействовал.

Глоссарий NVIDIA добавляет третий уровень, используемый некоторыми платформами: контекстную фильтрацию, которая учитывает ситуационные детали, такие как тип устройства, время суток или местоположение. В качестве примера он приводит практику Netflix по учету страны, устройства, даты и времени просмотра названия вместе с самим просмотром.

Современные системы все чаще заменяют или дополняют эти подходы глубоким обучением. NVIDIA описывает методы, такие как нейронная коллаборативная фильтрация, которая объединяет факторизацию матриц с многоуровневыми нейронными сетями для захвата нелинейных отношений между пользователями и элементами, и модели на основе последовательностей, используя рекуррентные сети или Transformers для изучения закономерностей в порядке, в котором пользователь смотрит или слушает вещи.

Что платформы говорят о том, на что их алгоритмы оптимизированы

Компании редко публикуют свой полный код ранжирования, но некоторые описывают цели и сигналы, стоящие за ним. TikTok Newsroom заявляет, что его лента «Для вас» ранжирует видео, используя три категории сигналов: взаимодействия пользователей (лайки, репосты, подписки, комментарии и то, что создает человек), информация о видео (подписи, звуки, хэштеги) и параметры устройства или учетной записи (язык, страна, тип устройства). TikTok говорит, что эти сигналы взвешиваются по-разному — сильный сигнал, такой как просмотр длительного видео до конца, считается больше, чем слабый, такой как совместное использование общей географии с другими зрителями.

TikTok явно заявляет, что количество подписчиков и история высокопроизводительных видео создателя не являются прямыми факторами в том, будет ли рекомендовано конкретное видео. Компания также говорит, что она намеренно смешивает контент, выходящий за рамки выраженных интересов пользователя, и избегает показа видео подряд от одного и того же создателя или использования одного и того же звука, описывая это как способ дать людям «дополнительные возможности наткнуться на новые категории контента» вместо того, чтобы ограничиваться узкой лентой.

Официальный сайт YouTube «Как работает YouTube» описывает цель системы рекомендаций как понимание того, что нужно зрителю, и предоставление просмотра, который оставит его довольным, а не просто максимизацию времени просмотра. Он перечисляет входные данные, питающие рекомендации, как поведение при просмотре и историю просмотров, явное взаимодействие, такое как лайки и дизлайки, подписки и прямую обратную связь, репутацию канала и качество, а также более широкие тенденции среди более широкой аудитории, а не только историю одного человека. YouTube говорит, что он дополняет поведенческие данные опросами удовлетворения и внешними командами оценивающих, чтобы проверить, является ли рекомендуемый контент действительно высокого качества, и что по чувствительным темам, таким как новости, финансы, здоровье или наука, он уделяет дополнительный вес авторитетным источникам.

Почему две люди никогда не видят одинаковую ленту

Поскольку коллаборативная фильтрация сравнивает поведение пользователя с другими пользователями, а фильтрация контента сравнивает элементы с собственной историей человека, никакие два аккаунта не несут идентичное сочетание сигналов — разные истории просмотров, разные подписки, разные устройства и местоположения. TikTok прямо заявляет, что никакие два пользователя не будут видеть одинаковую комбинацию видео на своей ленте «Для вас». Как YouTube, так и TikTok также говорят, что система продолжает обновляться с каждым новым взаимодействием, поэтому лента, наблюдаемая утром, может уже выглядеть иначе к вечеру на основе того, что было просмотрено, пропущено или отмечено как «не интересует» между ними.

Насколько точными люди считают эти системы?

Исследование того, как люди фактически воспринимают алгоритмическую персонализацию, более ограничено, чем инженерная литература. Опрос Pew Research Center, опубликованный 16 января 2019 года, опросил пользователей Facebook об интересах и категориях черт, которые платформа назначила им для таргетинга объявлений. Обнаружилось, что 74% пользователей не знали об этом списке черт до того, как опрос указал на него, и только 12% были в курсе заранее. Получив доступ к своим категориям, 59% сказали, что метки в разумной или очень высокой степени отражают их реальные интересы, а 27% не согласились; 51% сказали, что чувствовали себя некомфортно, когда платформа компилировала такие списки, даже когда они считали их точными. Опрос охватил 963 пользователей Facebook в США в возрасте 18 и старше, опрашиваемых с 4 сентября по 1 октября 2018 года.

Могут ли пользователи влиять или ограничивать алгоритм?

Обе компании описывают элементы управления для пользователя. На официальной странице YouTube отмечается, что пользователи, вошедшие в систему, могут в любой момент остановить, отредактировать или удалить историю поиска и просмотра, которая напрямую питает то, что система рекомендаций изучает. TikTok говорит, что лайки, подписки, комментарии, изучение хэштегов и явные нажатия на кнопку «Не интересует» все регулируют будущие рекомендации, в дополнение к категориям интересов, которые человек может выбрать при первой настройке учетной записи.