此语言为机器翻译,尚未经过人工审核。

人工智能 · 文章

推荐算法的工作原理:塑造你信息流的人工智能

发布:

要点

推荐算法通过预测特定用户观看、点击或与内容互动的可能性来对内容进行排名,这些预测基于用户过去的行为、相似用户的选择和内容本身的属性。YouTube和TikTok等平台直接描述了这一点:YouTube优化的是观看者的满意度,而TikTok对视频完成度等信号的权重比点赞要重。结果是每个用户看到的信息流都不同,采用的方法包括研究人员所称的协同过滤、基于内容的过滤,以及越来越多的深度学习。

此版本是原文(English)的机器翻译。 阅读原文

每当有人打开YouTube、TikTok或类似的应用程序时,软件会在几分之一秒内对数千个可能的视频、歌曲或帖子进行排名,并决定首先显示哪几个。这就是推荐系统:一套旨在预测特定用户最可能想要的项目的算法,这些项目来自一个太大而无法让任何人手动浏览的目录。

每个推荐系统背后的两个基本思想

根据NVIDIA的推荐系统技术术语表,大多数引擎结合两种基本方法。协同过滤假设如果人们过去做出了相似的选择,他们将来也可能同意,所以系统寻找具有匹配行为模式的用户,并推荐这些相似用户喜欢的内容。基于内容的过滤则查看项目本身的属性——类型、演员、音频特征、标签——并建议与用户已经互动过的项目相似的项目。

NVIDIA的术语表添加了某些平台使用的第三层:上下文过滤,它考虑了设备类型、一天中的时间或位置等情境细节。作为例子,它提到了Netflix的做法,即在考虑观看本身的同时,还权衡了标题被观看的国家、设备、日期和时间。

现代系统越来越多地用深度学习来替代或补充这些方法。NVIDIA描述了神经协同过滤等方法,它将矩阵分解与多层神经网络相结合,以捕捉用户和项目之间的非线性关系,以及使用循环网络或Transformers的基于序列的模型来学习用户观看或收听事物顺序中的模式。

平台称其算法优化的目标是什么

公司很少发布其完整的排名代码,但有些公司描述了其背后的目标和信号。TikTok的新闻室表示,其For You信息流使用三个信号类别对视频进行排名:用户交互(点赞、分享、关注、评论和一个人创建的内容)、视频信息(字幕、声音、话题标签)和设备或账户设置(语言、国家、设备类型)。TikTok表示这些信号的权重不同——强信号,如完整观看较长的视频,的权重比弱信号,如与其他观众共享一般地理位置,要大得多。

TikTok明确表示,粉丝数量和创作者过去的高表现视频不是决定给定视频是否被推荐的直接因素。该公司还表示,它故意混入用户表达兴趣之外的内容,并避免显示来自同一创作者或使用相同声音的连续视频。公司将此描述为一种方式,为人们提供发现新内容类别的额外机会,而非被局限在狭窄的信息流中。

YouTube官方的YouTube如何运作网站将其推荐系统的目标定义为了解观看者的需求,并提供一种观看体验,让他们感到满意,而不是简单地最大化观看时间。它列出了支持推荐的输入:观看行为和观看历史、显式互动(如点赞和点踩)、订阅和直接反馈、频道的声誉和质量,以及更广泛受众中的更广泛趋势,而不仅仅是一个人的历史。YouTube表示,它用满意度调查和外部评估员团队来补充行为数据,以检查推荐的内容是否真正是高质量的,并且对于新闻、金融、健康或科学等敏感主题,它对权威来源施加了额外的权重。

两个平台如何描述其排名系统
平台声明的最高信号平台声称不计的因素官方目标
YouTube总体观看者满意度,根据行为和调查推断平台自己的页面上没有指定用户不会后悔的观看体验,而不仅仅是更多观看时间
TikTok视频的完成率(观看到最后)粉丝数量和过去的视频表现个性化信息流,同时限制过滤气泡效应

为什么两个人永远看不到相同的信息流

由于协同过滤将用户的行为与其他用户进行比较,内容过滤将项目与一个人自己的历史进行比较,没有两个账户携带相同的信号组合——不同的观看历史、不同的关注、不同的设备和位置。TikTok直接声明,没有两个用户会在其For You信息流上看到相同的视频组合。YouTube和TikTok都表示,该系统随着每一次新的互动而不断更新,因此早上观看的信息流到晚上已经可能看起来不同,这基于期间观看、跳过或标记为不感兴趣的内容。

人们认为这些系统有多准确?

关于人们如何实际感知算法个性化的研究比工程文献要有限得多。皮尤研究中心在2019年1月16日发布的一项调查要求Facebook用户回答平台为广告定位分配给他们的兴趣和特征类别。调查发现,74%的用户在调查指向他们之前不知道这个特征列表的存在,只有12%事先知道。一旦显示了自己的类别,59%的人说这些标签相当或非常准确地反映了他们的现实生活兴趣,而27%表示不同意;51%说即使他们认为准确,他们也对平台编制这样的列表感到不舒服。调查涵盖了963名美国Facebook用户,年龄18岁及以上,于2018年9月4日至10月1日进行民调。

用户能否影响或限制算法?

两家公司都描述了面向用户的控制。YouTube的官方页面注意到,已登录的用户可以随时暂停、编辑或删除其搜索和观看历史,这直接输入推荐系统学到的内容。TikTok说点赞、关注、评论、话题标签浏览和明确的不感兴趣点击都会调整未来的推荐,除了一个人在首次设置账户时可以选择的兴趣类别之外。

将多样化的视频引入您的For You信息流可以为您提供发现新内容类别、发现新创作者以及在滚动浏览您的信息流时体验新观点和想法的额外机会。

— TikTok新闻室,关于为什么某些推荐视频会超出用户常见兴趣

常见问题

推荐算法实际使用什么数据?
根据YouTube和TikTok自己的描述,系统将显式信号(点赞、关注、评分、不感兴趣点击)与隐式行为信号(观看时间、完成率、搜索历史、跳过)以及项目或上下文数据(如视频标签、设备类型、语言和位置)结合在一起。
推荐算法是否会产生过滤气泡?
TikTok说它故意混入用户常见兴趣之外的视频,并避免来自同一创作者或声音的连续剪辑,特别是为了减少这种效果;它将其描述为给用户发现新内容类别的机会,尽管它没有发布衡量这种有效性的数据。
为什么我的信息流与朋友的相同应用程序的信息流看起来不同?
因为协同过滤和基于内容的过滤将结果个性化为每个账户自己的历史、设备和上下文,并且根据TikTok的说法,即使在同一平台上同时,也没有两个用户会看到相同的视频组合。
Netflix的因为你观看了行与YouTube或TikTok的信息流是同一种系统吗?
NVIDIA的技术术语表以Netflix为例,将基于观看历史的协同过滤与上下文过滤(国家、设备、观看日期和时间)相结合,这在概念上是与YouTube和TikTok描述的相同系列技术,尽管每家公司的调整方式不同。
我能找出平台分配给我的类别是什么吗?
在Facebook上,用于广告定位的兴趣和特征类别可以在广告偏好页面上查看;2019年皮尤研究中心的一项调查发现,大多数用户(74%)在被展示之前不知道这个页面或其上的特征列表的存在。

来源

  1. TikTok Newsroom — "How TikTok recommends videos #ForYou"
  2. YouTube — "How YouTube Works: Recommendations"
  3. NVIDIA — "What is a Recommendation System?"
  4. Pew Research Center — "Facebook Algorithms and Personal Data" (Jan. 16, 2019)

本文由人工智能撰写,发布前已通过自动来源核查。如发现错误,请申请更正。 申请更正或回应 · 我们如何制作

相关文章