Meta 首创工业级生成式推荐系统。
Meta 借鉴 LLM 思想重塑推荐系统的工作 HSTU《Actions Speak Louder than Words: Trillion-Parameter Sequential Transducers for Generative Recommendations》于 2024 年 2 月发 表。该工作第一次脱离了过去 10 年工业级主流的深度学习推荐系统架构，使用 LLM 思想 探索生成式推荐系统，并首次验证了大语言模型的 Scaling Law 同样适用于推荐系统，是 工业级推荐系统生成式推荐与大规模 scaling 的开创性工作。 工业界主流的深度学习推荐模型（DLRM）依赖大量的特征和海量用户行为，但难以 进一步对模型规模 scaling。Meta 最大的创新点是提出了生成式推荐器 GR 取代 DLRM。 1) Meta 对 DLRM 中的异构特征空间进行统一，将推荐系统的召回排序重新表达为 GR 中的序列参数。这使得模型可以以生成式的方式进行，在相同计算量的情况 下训练更多数据。
2) 用新的编码器 HSTU（Hierarchical Sequential Transduction Unit）将 GRs 扩展到大 型、非平稳词汇表的工业级推荐系统。核心创新点包含： 用单个模块替换 DLRM 的异构模块，通过 HSTU 层实现成对注意力 （Pairwise attention）和目标感知池化（target-aware pooling）。 引入新的点向聚合归一化注意力机制，并通过随机长度（SL）提高用户历史 序列的稀疏性，最小化激活内存使用量，并提出 M-FALCON 算法，在排序 任务中使得模型复杂度跟传统 DLRM 排序对象数量呈线性增长，实现了在推 理预算不变的情况下，虽然模型计算复杂度高出了 285 倍，但是模型的吞吐 量(QPS)提高了 1.5-3 倍。 3) 从实验结果来看：在具有数十亿日活跃用户的大型互联网平台部署，验证了方法 的有效性（排序模型和召回模型分别相比于 DLRM 提升 6.2%和 12.4%)，且成功 验证了推荐算法上的 scaling law，证明了 GR 显著更好的可扩展性。
Meta 在 2025 年 8 月发表的最新文章《Realizing Scaling Laws in Recommender Systems：A Foundation–Expert Paradigm for Hyperscale Model Deployment》，该文章在继 2024 年提出生成式推荐器 HSTU 之后，进一步探索如何将 Scaling Law 高效的落地到工业 级推荐系统部署，并提出了“Foundation–Expert Paradigm”替代监督微调/知识蒸馏，旨在 解决超大规模推荐系统中基础模型部署的效率和扩展性难题，并提高了模型的泛化能力。 核心创新点包含： 1) Foundation–Expert 两阶段范式：将通用的“Meta Knowledge”获取集中在基础 模型（FM）中，然后再通过目标感知嵌入有效的转移到轻量级专家模型中提升效 率，实验显示指标迁移率高达 0.64-1.0。 基础模型：HSTU 作为共享的基座模型，建模用户长期跨平台历史数据和候 选物品，生成“目标感知 embeddings”； 专家模型（加快迭代周期、专注特定优化）：接收基础模型的“目标感知 embeddings”，专家模型也有自身轻量级的 HSTU 捕捉短期的、不同业务场 景（广告、电商、视频推荐等）的信号； 融合模块：FM 融合模块将代表长期兴趣的处理后嵌入与专家自身 HSTU 模 块输出的代表短期兴趣的嵌入相结合。
2) 构建 HyperCast 端到端基础设施系统：实现了 FM 和专家模型的迭代解耦、支持 在线流式训练，能实现了几分钟内刷新模型，且不中断服务。 3) 实验结果显示：模型性能优势突出、FM 向 Expert 知识传递率达 0.64-1.0，且泛化 能力验证有效。在 “点赞、分享、视频完播” 等核心任务中，TAE 的 NE 降低 幅度（2.13-3.02%）是传统用户嵌入（0.64-1.15%）的 2.8-3.3 倍。并且在 Meta 大规模推荐场景 AB Test 中，点击率（CTR）、转化率（CVR）和收益指标全面 提升。参数冗余降低超过 30%，推理延迟也保持在毫秒级。
2020-2024 年期间，Meta 广告收入增速受“苹果隐私新规”影响降速后，后靠自身推 荐系统改善恢复高速增长，且增速超过 Google。 Google 与 Meta 在苹果隐私新规出台后的表现分化明显。2021 年 iOS 14.5 推出 App Tracking Transparency（ATT）政策后，Meta 广告业务受冲击最大，精准投放能力下降， 2022 年广告收入增速大幅下滑至 3.3%。相比之下，Google 广告业务更多依赖搜索和 YouTube 等自有生态的数据，受影响相对较小，韧性更强。 2023-2025 年, Meta 广告收入增速维持双位数，持续优于谷歌，其业内首个生成式推荐 系统 HSTU 通过精准推荐、拉长用户时长、提升广告转化效率，构建“内容-推荐-广告”协 同闭环，成为驱动增速领先的核心引擎，体现 AI 驱动的广告效率提升。 根据 Meta 公布的 2025 二季报，AI 驱动的广告推荐模型提升效率，Instagram 广告转 化率提升 5%、Facebook 提升 3%；生成式 AI 广告贡献可观收入，对小型广告主价值显 著。
