基于模型的多智能体短视频推荐系统已经为数亿用户提供服务

该论文介绍了一个先进的短视频推荐系统，通过使用多个智能体同时工作，每个智能体关注不同的用户偏好，如观看时间、点赞、评论等，共同协作以优化整个会话的用户体验。 在这种推荐系统中，多智能体的设置允许在不同的偏好和目标之间进行协调和优化。 每个智能体可以负责不同类型的用户互动（如观看时间、点赞、评论等），并通过基于模型的方法预测和优化这些互动。 为用户提供更精准、个性化的内容推荐，从而提高用户满意度和平台的整体性能。 该推荐系统已在实际的大规模短视频分享平台部署，服务了数亿用户 ，我怀疑是抖音平台！ 系统还特别处理了一个常见问题——如何在用户未明确反馈的情况下改善推荐，通过模拟这部分未反馈的用户数据来训练更智能的推荐模型。这个系统已经在一个大型视频平台上得到应用，有效提升了用户的观看时间和满意度。 主要特点 多智能体协作 ：该系统通过多智能体的形式来模拟和优化用户的多方面偏好。这些智能体分别针对不同的用户偏好目标进行优化，通过协作来共同提高整体的用户满意度和观看时间。

长期奖励最大化 ：系统通过强化学习方法，考虑每个推荐行为的长期回报，而不仅仅是即时的点击或互动，从而在整个会话中最大化用户的累积满意度和观看时间。

解决样本选择偏差（SSB）问题 ：在工业推荐系统中，样本选择偏差是一个普遍存在的问题，该系统通过引入非印象样本并使用反馈拟合模型来模拟用户反馈，有效缓解了这一问题。这种方法有助于更准确地预测用户对未直接互动内容的潜在反应。

基于模型的学习方法 ：通过构建一个基于模型的学习框架，系统能够预测并模拟用户行为，提高推荐算法的整体效率和准确性。

实时部署和优化 ：该系统已在实际的大规模短视频分享平台中部署，并通过在线A/B测试进行不断的优化和调整，确保推荐系统在实际应用中能够有效提升用户体验和平台绩效。

技术方法 系统采用多智能体的方法，其中每个智能体负责不同的用户偏好维度。通过马尔可夫决策过程（MDP）扩展到多智能体设置，形成多智能体的Markov Decision Processes（MDPs）。每个智能体不仅要最大化自己的目标（如观看时间、点赞、评论等），还需要与其他智能体协作，共同优化整体用户体验。 多智能体协作形式：

多智能体角色分配： 系统采用多个智能体，每个智能体专注于优化特定的用户偏好维度，如观看时间、点赞、评论等。这些智能体需要协同工作，共同优化整体的推荐效果，使得每个用户的观看体验尽可能满足其个人喜好。 协作机制： 使用注意力机制来处理多个智能体间的协作，允许智能体之间通过共享的状态和动作信息来互相学习。 注意力机制允许每个智能体评估其他智能体提供的信息对其决策的重要性，以优化其行为策略。

模型基础的学习方法：

为了解决样本选择偏差问题，MMRF采用了基于模型的学习方法。通过建立一个模拟用户反馈的模型，使用非印象样本（即那些没有获得用户实际反馈的样本）来训练和优化推荐系统。 现实中，很多视频并不会直接收到用户的反馈（如点赞、评论）。为了改善这种情况，系统采用了一个模拟模型来“预测”用户可能对这些未反馈视频的反应。通过这种方式，即使没有直接的用户反馈，系统也能够理解并预测用户的偏好。 引入非印象样本： 对于没有直接用户反馈的视频样本（非印象样本），系统通过模拟反馈来进行学习，以此减轻样本选择偏差，这对于提高推荐系统的整体性能非常关键。 反馈拟合模型： 通过反复迭代优化的反馈拟合模型，来预测和模拟用户对未互动视频的潜在反应，帮助系统更全面地理解用户偏好。 强化学习优化策略：

利用强化学习框架，特别是确定性策略梯度（DPG）算法来优化推荐策略。在这个框架中，每个智能体都试图通过其行动来最大化长期奖励。 每个智能体都有自己的演员（actor）和评论家（critic），用于生成推荐动作并评估这些动作的预期回报。 系统会不断地通过实际用户互动数据来学习和调整推荐策略。这个过程类似于不断迭代的优化，通过实际表现来微调系统，以期达到更高的用户满意度和更优的推荐效果。 确定性策略梯度算法： 用于连续动作空间的优化，使智能体能够在推荐过程中根据实时反馈调整推荐策略。 多阶段训练流程： 包括在线和离线两种模式，通过多阶段训练允许模型在不直接影响用户体验的情况下学习和优化。 评估结果 针对该推荐系统，进行了一系列离线和在线实验，以评估其性能。

离线实验结果：

数据集： 使用了两个主要的数据集进行测试，包括一个公共的基准数据集和一个真实的大规模生产数据集。 与基线方法的对比： 系统与几种常用的推荐方法进行了对比，包括传统的监督学习方法和其他多目标/多智能体强化学习方法。结果显示，在主要目标（观看时间）上，MMRF实现了最高的性能，相比其他方法在GAUC和NCIS上分别提升了7.3%和7.1%。 多维度性能： 在辅助目标（如点赞、关注、评论等）上，系统也显示出较高的性能，MMRF也在多个维度上排名前二。证明了其在不同用户反馈维度上的有效性。 研究还表明，通过引入非印象样本和使用反馈拟合模型，MMRF能有效缓解样本选择偏差问题，提升数据的代表性和模型的预测能力。 在线A/B测试结果：

测试设置： 在实际的视频分享平台上，随机分配用户到不同的测试组，比较了本系统与其他推荐策略的实际效果。 主要指标提升 ：

MMRF在观看时间、浏览深度、关注和评论数方面均实现了性能提升。 特别是在观看时间这一最重要的指标上，MMRF比LTR基线模型提升了0.55%，相比TSCAC也显示出更优的表现。对于视频平台来说具有重要的商业价值。 这一提升对于平台来说极其重要，因为即使是小幅度的改善也能在用户基数庞大的情况下带来显著的影响。 持续性能监控 ：

在测试期间，MMRF的表现在多个连续天中都稳定超过了LTR基线，显示了其稳定性和可靠性。 系统部署和效果：

实际部署： 该推荐系统已在真实的大规模视频分享平台部署，服务了数亿用户 ，有效提升了用户的观看体验和满意度。 系统影响： 实验结果表明，通过引入非印象样本和优化多智能体的协作机制，该系统能够更准确地捕捉和满足用户的多样化需求，提高了整体的推荐质量和用户互动。 论文： https://arxiv.org/abs/2405.01847