本周共 78 篇(去重后),覆盖 4 天:11-03、11-04、11-05、11-06。缺 11-02、11-07、11-08(无日报且未补抓)。
本周概览
主线:SID 从「语义压缩码」变成「效用与接口载体」:UAGR 把分享、长播、完播等曝光后行为分桶写入离散位,并改写 beam 打分;PACERec 用协同前驱证据校准冻结的 LLM 物品嵌入;CAP-Mix 以软原型混合替代硬 Semantic ID(六个公开基准平均 HR@5 +6.9%、NDCG@5 +13.6%);BRIDGE 则把 RVQ-VAE 到 decoder 的 Semantic Quantization Gap 拆成三个 gap,线上 eCPM +0.65%。本周的共同判断是:生成式推荐的瓶颈已不在「能否自回归生成」,而在「码里该装什么、两阶段接口如何对齐」。
主线:竞争重心转向系统工程——slate 级解码、供给约束与 serving 成本:OneTrans-GSR 把重排与混排统一为单个 decoder-only 策略的约束自回归,SPADE 把 CTR/CVR 与曝光归一化项构成的业务价值权重注入 BPE 合并分数,RTP-LLM 把生产过滤量从 56.86% 降到 9.70%、幻觉过滤从 120 降到 0,但 QPS=20 时客户端均值延迟上升 69.2%;LLM serving 受控实验显示配置匹配后容量差距消除 78%、延迟差距消除 30–67%。线上侧 URED 类目 +3.47%、内容丰富度 +8.47%,但总 VV +0.36% 不显著;淘宝序列级重排商业收入 +3.67% 并已全量部署,说明收益真实,但成本必须与效果一起报。
主线:Agent 与可信研究从「能力展示」转向「可评估、可拦截、可归因」:E-GenRM 基于一个月 120+ 类真实购物行为建模,并配套 373 条专家标注决策步的 E-GenRM-Bench;PMRecBench 让各智能体在诊断池上的 NDCG@1 普遍下降 0.20–0.26,When Category Means Move 用随机插入日志做配对审计。安全侧 Voluntary Servitude 证明伪造安全警告可让 agent 主动排除合法选项,What Gets Hacked 则显示冻结 CF 奖励中不依赖用户的 item-mean 成分会让 Beauty Semantic IDs 的 distinct top-1 从 1317 塌到 837;评测与防御本身正在成为一等贡献。
一、物品表示与语义 ID:从语义压缩到效用与接口对齐
本周表示层工作形成一条清晰链路:UAGR 把曝光后效用写进离散位,PACERec 用协同前驱证据校准冻结的 LLM 嵌入,CAP-Mix 用软原型混合替代硬 Semantic ID,BRIDGE 与 LatentRec 则分别从量化接口与潜在推理侧修复信息流失。共同点是都在回答「码里该装什么、解码时该信什么」,而不是继续堆语义 tokenizer。线上 eCPM +0.65% 与 CAP-Mix 六个基准 HR@5 +6.9% 说明表示层改动可以直接兑现为业务与检索指标。
Utility-Aware Generative Recommendation: Utility-Enriched Semantic Codes and Utility-Guided Decoding(未披露)
UAGR 指出传统 SID 只编码多模态语义,没有显式编码分享、长播、完播等曝光后行为所反映的物品效用,导致语义相近但效用不同的物品难以区分,而生成式 beam search 又会在中间步骤过早剪掉高效用候选;为此,UAGR 从 SID 构建与自回归解码两端同时对齐下游的多目标效用。方法上,UE-SID 用 LFQ(B 维二值码 + 熵正则 + commitment loss)重设计最后一层量化以减少 SID 碰撞,并用分桶得到的效用码替换区分度最弱的 B_u 个语义位,因而在不增加 SID 长度与词表的前提下把物品级效用写入离散标识;UGD 复用解码器隐状态,经 stop-gradient 与共享 MLP 为每种曝光后行为设置 token-wise 预测头,beam 打分改为“累积对数似然 + λ·Σ w_m·Norm(q_m)”,训练目标为 L_NTP + β·L_utility。在 KuaiRand 与 OneRec-1.7B 骨干(3×8192 SID、beam 200)上,UAGR 取得 Recall@3 2.7741、NDCG@3 2.2740,较最强基线分别提升 7.74% 与 16.52%,UE-SID 同时录得最低 Gini 0.00500 与最高 code entropy 8.0918,消融中 UGD 的单项增益最大(Recall@3 2.578 对照 Base 2.111)。快手线上 A/B(p<0.05)中视频观看时长 +0.206%、App 使用时长 +0.074%、播放量 +0.164%,QPS 仅 −0.03%,说明这种轻量、可插拔的双端效用对齐已在工业级部署中兑现收益。↗
PACERec: Progressive Adaptation of LLM Item Embeddings with Collaborative Evidence for Recommendation(蚂蚁集团)
论文针对冻结的 LLM 物品嵌入只能捕捉静态内容相似性、无法建模用户序列偏好转移的问题(K=20 时语义近邻对训练前驱的覆盖率仅 1.59%–5.22%,远低于频繁前驱参考的 57.09%–68.65%),提出不依赖物品 ID 的渐进适应框架 PACERec。方法上以 lag-l 前驱交互的指数衰减权重池化构造行为目标,经 norm matching 与半径 ρ 裁剪固定后,用频率加权 flow matching 从交互充足的物品学习共享的、以语义为条件的速度场,再以 S=2 步 Euler 积分对全目录物品做渐进表示适应,打分时融合意图残差与冻结 LLM 空间中的无参数语义相似度。实验在 Beauty、Food、Yelp 三个数据集与 SASRec、FMLP-Rec、LRURec 三个序列主干上全部 9 个设置均取得最优,Overall Hit@10 提升 7.14%–27.00%、Overall NDCG@10 提升 7.28%–28.41%(平均 13.53%),Tail NDCG@10 平均提升 33.31%,消融中移除共享适应物品表示会使 Tail NDCG@10 下降约 73.2%–85.6%。其价值在于共享速度场可为零交互物品直接生成适应表示,提供了一种从可靠行为证据泛化到长尾的、不依赖物品 ID 的表示适应范式。↗
Item Representations Matter: Bridging Hard Semantic IDs and Soft Prototype Mixtures for Generative Retrieval(Meta、Texas A&M University)
针对离散 Semantic ID(SID)量化会丢失信息、产生碰撞,而连续推荐器虽免除量化却使用扁平物品表、缺乏跨物品参数共享这一矛盾,论文追问连续模型能否在不引入离散瓶颈的前提下获得共享结构,并提出流式生成推荐器 CAP-Mix。该方法把物品表表示为「共享原型软混合 + 物品专属向量」,软分配由低维瓶颈特征经跨码本注意力块映射后由 softmax 得到,训练与推理全程保持软分配、不使用 argmax 或直通估计器,并在 FlowRec 主干上以推荐目标、代码匹配损失 L_match 与原型利用率平衡损失 L_bal 单阶段联合训练;既支持从零训练,也可用离线 SID 后验作软先验或用完整内容嵌入初始化。在 Amazon Beauty、Industrial、Office、MovieLens-1M、Yelp-2022、Steam-2018 六个公开基准的全目录排序上,相比各数据集最强基线平均 HR@5 提升 +6.9%、NDCG@5 提升 +13.6%,仅给离线 SID 时比同一分词器硬表高 4.45%–14.90%,从零训练比扁平表高 +2.08%/+4.73%/+0.72%(Beauty/Industrial/Steam),推理吞吐为离散基线的 1.4–161×。结论是原型混合能在不把物品转成离散 token 的前提下实现跨物品参数共享,完整内容嵌入可用时仍带来增益,而冻结的硬语义划分在稀疏 Amazon 数据上反而退化,为连续生成式推荐给出了兼顾共享参数与连续表示的实用路线,且物品表只物化一次、不增加每查询计算。↗
BRIDGE: Bridging the Semantic Quantization Gap for Generative Recommendation(快手)
- 场景:生成式推荐,应用于快手电商广告。
- 线上效果:线上 A/B 用 5% 流量跑一周,eCPM 提升 0.65%。离线三个 Amazon 基准的 Recall@10 与 NDCG@10 平均提升 10.9% 与 9.7%,最高 12.6% 与 10.7%。
- 问题:RQ-VAE 用量化质心、邻域几何和层级熵构造 SID,但 decoder 只收到离散 code 下标,于是首层预测缺语义锚点,one-hot 监督丢掉 item 间相似度并加剧 teacher forcing 的 exposure bias,各层还均分算力。
- 动机:量化阶段与生成阶段存在被忽视的结构性不对称,应把丢弃的量化结构在生成前、监督信号和层级算力分配三个位置重新注入。
- 贡献:① 识别并形式化 Semantic Quantization Gap,拆解为 grounding gap、neighborhood gap 和 difficulty gap。② 提出 BRIDGE,用 CGLR、PESD、EAR 三个架构耦合组件分别闭合三个 gap。③ 三个 Amazon 基准平均提升 10.9% 与 9.7%,一周线上 A/B 的 eCPM 提升 0.65%。
- 做法:共享 loop decoder 走双通道,Pass A(CGLR)用 level-1 码本质心再聚类得到的 256 个冻结粗原型做 prototype CE 与 cosine 回归,得到潜在推理表示 r。Pass B(EAR)以 r 替代 [BOS],按 (4,2,1) 递减循环预算逐层生成 SID,PESD 再用 EMA teacher 注入目标 top-k 语义邻居均值做蒸馏。
- 局限:仅在三个 Amazon 数据集和单一广告平台验证,catalog 更大时(如 Sports)增益明显变小。↗
Do Recommenders Need to Think in Words? Latent Reasoning for Efficient LLM-Based Recommendation(腾讯)
- 场景:生成式推荐,仅在 Amazon 公开数据上离线评估。
- 线上效果:无线上 A/B,仅离线:三个 Amazon 基准 HR@10 为 0.0656/0.0668/0.0309,较 CoT SFT 基线相对提升 5.0%/4.5%/4.0%,batch=1 推理时延 0.59s 对 10.80s(18.3×)。
- 问题:现有 LLM 推荐器每次预测前生成 CoT 文本,多耗数十至数百 token,latent reasoning 方法也仍把推理开销留在推理时。SID 场景中隐藏态与输入 embedding 存在约 14× 范数差,直接回灌会让逐步 logits 漂离 SID 词表并发散。
- 动机:推理能力可由训练时的逐步骤监督注入,而不必在每次请求时生成。K=0 推理时模块完全不参与前向仍能提升,说明收益来自训练期多步 PRL 对 LoRA 适配器的塑形。
- 贡献:① 提出 LatentRec,用训练期 per-step 头部监督替代推理期的文本或 latent 推理产物。② 设计 Per-step Reasoning Loss 与 Soft Token Selection,仅增 2.5M 参数(<0.2%),部署时可丢弃。③ 较同主干 CoT 蒸馏基线 HR@10 相对提升 4.0–5.0%,batch=1 时延降低 18.3×。④ 机制分析表明提升主要由逐步骤监督在 K=0 时贡献。
- 做法:以 CoT 预训练的 Qwen3-1.7B 加 LoRA 为起点,Continuous Thought Module 在训练时迭代 K_train 步,每步用 64 个 soft token 的凸组合投影回输入 embedding 分布。PRL 经共享 LM head 按逐步退火温度 T_k 监督每个隐状态预测目标 SID 首 token,推理时设 K=0 并丢弃该模块。
- 局限:仅验证单一 Qwen3-1.7B 主干、单一 GPT-4 teacher、三个 Amazon 电商域与 SID 生成范式,跨主干、教师、域及非 SID 推荐尚未验证。↗
横向对比表:
方案 | 机构 | 提升幅度 | 部署状态 | 数据规模 | 场景泛化 | 置信度 |
UAGR(UE-SID) | 未披露 | 未披露 | 未披露 | 未披露 | 生成式推荐的多目标效用 | 低(无量化结果) |
PACERec | 蚂蚁集团 | 未披露 | 未披露 | K=20(诊断实验) | 无物品 ID 的序列推荐 | 中(有诊断实验,收益未披露) |
CAP-Mix | Meta、Texas A&M University | HR@5 +6.9%、NDCG@5 +13.6%;吞吐 1.4–161× | 离线评估 | 六个公开基准 | 生成式检索 | 中高(多基准离线) |
BRIDGE | 快手 | 线上 eCPM +0.65%;离线 Recall@10 +10.9%、NDCG@10 +9.7%(最高 12.6%/10.7%) | 线上 A/B(5% 流量一周) | 三个 Amazon 基准;快手电商广告 | 生成式推荐/电商广告 | 高(线上 A/B + 多基准) |
LatentRec | 腾讯 | HR@10 相对 +5.0%/4.5%/4.0%;batch=1 时延 10.80s→0.59s | 仅离线 | 三个 Amazon 基准 | LLM-based 推荐 | 中(离线) |
趋势判断: 未来 6-12 个月,SID 研究重心会从「重造 tokenizer」转向「量化-生成接口的联合设计与可度量 gap」;BRIDGE 的三 gap 拆解会催生更多以 gap 诊断为主贡献的工作。离线 HR/NDCG 之外,线上 eCPM、吞吐与延迟将成为表示层论文的标配证据。
二、生成式排序与在线系统:slate 解码、供给约束与 serving 效率
本周生成式排序的系统侧贡献密集:OneTrans-GSR 把重排与混排统一为约束自回归,SPADE 把业务价值注入 BPE 词表与解码,RTP-LLM 在请求级编译供给约束,LLM serving 受控实验则提醒引擎对比必须匹配配置。URED 与淘宝序列级重排给出了线上答案:类目 +3.47%、商业收入 +3.67%,但 RTP-LLM 在 QPS=20 时延迟上升 69.2% 也说明收益与成本必须成对报告。
OneTrans-GSR: A Generative Slate Ranking Paradigm Unifying Reranking and Mix-Ranking with One Autoregressive Transformer(未披露)
论文把重排与混排从依赖手工规则和专用低容量模型的流程,重构为统一的约束自回归策略学习问题,用单个 decoder-only 策略端到端生成曝光 slate。方法上以 OneTrans 为共享骨干,先在长用户行为序列上做 next-token prediction 预训练,再用 GMR-PO 结合列表级奖励模型做多目标后训练,硬业务约束则下沉到解码期的掩码与加性 logit 调整,并以共享 prefill KV cache 并行采样多份 slate。实验未报告公开数据集(仅说明部署于大规模工业电商推荐系统),线上 A/B 中 GMV/u 提升 2.63%、广告主价值提升 2.06%、复购率提升 2.03%,重排与混排端到端延迟降低 13%,KV cache 使训练吞吐提升 2.09×、服务吞吐提升 4.52×。结论表明 slate 生成可脱离人工规则、把排序阶段转为随数据与算力持续提升的学习问题,为生成式推荐的规模化优化提供了可扩展路径。↗
SPADE: Spatiotemporal Preference Alignment and Diversity Enhancement for Local Search(未披露)
论文针对本地生活服务 App 首页主动查询推荐这一开放集生成任务,指出长尾覆盖、时空对齐、偏好对齐与解码多样性常被孤立处理,提出端到端生成框架 SPADE,将词表构建、上下文编码、偏好对齐与解码四阶段联合设计。方法上以 OA-BPE 把 CTR/CVR 与曝光归一化项构成的业务价值权重注入 BPE 合并分数,STAR 用多尺度六边形正弦空间编码与小时时间编码经两层 MLP 融合后以零初始化软门控注入编码器前 K 个占位位置,训练先做温度缩放交叉熵预训练、再用 MARS-DPO(排序位置、LLM 判定检索质量与最近 POI 距离三项复合奖励)做偏好对齐,解码端用 SDBS 的位置感知偏移奖励提升意图覆盖。实验基于某大型本地服务平台 10 万用户 30 天日志(148 万唯一查询、Stage1 779 万样本、Stage2 308 万样本),相比最强基线 AIGQ 的 HR@5 +5.6%、MRR@5 +5.2%、GeoC@5 −40.3%、Exec@5 +1.9%,长尾意图 HR@5 增益 +13.5%,一周线上 A/B 的 Module CTR +1.88%、Search Volume +0.177%、Search DAU +0.105%,论文称延迟开销可忽略(P50/P95 具体数值未报告)。结论表明开放词表查询推荐中业务对齐分词、细粒度时空编码、生产反馈偏好对齐与多样性解码可相互叠加而非冲突,但点式偏好对齐在列表多样性上仍有不足,需由 SDBS 在解码期补回。↗
From Waste to Discovery: Recycling High-Scored Unexposed Candidates in Taobao Feed Recommendation(阿里巴巴淘宝天猫集团)
这篇论文在生产数据上诊断出朴素探索提权失败的根因:冷启动候选缺乏用户信号,排序模型只能回退到群体先验,导致预测系统性高估,候选之间的排序也不可靠(PCOC 1.147 vs 1.042,RMSE 0.368 vs 0.325)。据此提出免训练的召回阶段系统 URED:保留每次排序后未曝光的 top-200 高分候选,在 30 天滑窗内按用户聚合去重,并按“过去 d 天未曝光类目”过滤后写入 Redis,请求时作为额外召回通道注入最多 k=1000 个候选;整个流程无需重训模型,单次 O(1) KV 查询,线上端到端延迟开销低于 1%。线上 A/B(数千万 DAU、峰值超 1 万 QPS)显示,类目 +3.47%、内容丰富度 +8.47%、完播 VV +2.62% 均显著,总 VV +0.36% 不显著;将窗口缩至 1 天时增益跌到 +0.55%(仅保留 16% 效果),随机注入仅 +0.12% 且总 VV −0.17%。结论是探索与互动的权衡并非本质,而是注入了模型不理解的候选造成的假象,只在高分可信区域探索即可兼顾发现性与互动,这一“数据管线废料再利用”范式可推广至新鲜度、创作者公平与长尾曝光。↗
A Controlled Experimental Evaluation of Configuration and Cache Architecture in LLM Serving Engines(未披露)
论文针对“vLLM 与 SGLang 默认部署性能差距常被归因于 KV 缓存粒度”这一混淆,指出默认配置中还包含 chunked prefill 这一与缓存无关的差异,并提出受控分解,把差距拆成配置造成的部分与匹配后的残余部分。实验在 GKE 单张 24GB NVIDIA L4 上进行,分别以厂商默认配置和匹配 chunked prefill(2048 token 预算)运行 vLLM 0.6.3 与 SGLang 0.4.1,两组之间只改变 vLLM 的一个设置,SGLang 两组配置相同,充当内部对照;负载由种子化多智能体负载生成器构造(Gamma 到达 CV=1.5、planner/4 worker/aggregator DAG、共享前缀加唯一后缀),共 99 次运行、63,288 个请求。默认配置下,8,192 token 提示(90% 共享)时 vLLM 中位 TTFT 为 SGLang 的 64.1 倍、饱和附近为 36.4 倍,持续吞吐为 1.40 对 1.94 req/s;匹配 chunked prefill 后,容量差距消除 78%、延迟差距消除 30–67%,但吞吐相当时,SGLang 仍保留 2.4–6.4 倍的 p95 TTFT 优势。论文据此主张,引擎选型基准必须记录实际生效的配置,并把延迟与吞吐成对报告,否则饱和区的 TTFT 只是在测量队列增长,而非引擎速度。↗
Optimal Re-Ranking Depth(未披露)
论文挑战“固定重排深度”这一常见假设,利用 LLM 自动相关性判断,首次支持按 query 大规模分析重排深度,发现许多 query 存在明确的最优深度,超过该深度后效果停滞甚至跌到初始排序之下。方法上把深度建模为 query 级预测问题,用基于百分位的非参数校准把预测器取值映射为深度,并以基于 LLM 判断的首阶段排序质量指标 IR-DCG@10(GPT-4o-mini 按 UMBRELA 框架产出判断)作为预测器,与 11 种标准 QPP 方法对比。在 MSMARCO v1 passage(880 万文档,采样 1000 条 query、53,936 条判断)与 TREC DL 2019 上,BM25+Mono-T5 配置下 IR-DCG@10 在阈值 0.80 时把平均重排深度降低 3 倍且维持检索效果,最佳 QPP 基线 RSD 在阈值 0.89 时仅降低 2 倍;若用 oracle 为每个 query 选择最优深度,效果可提升超 7%、平均深度降低 5 倍。结论是重排深度是 query 特有的属性,标准 QPP 信号无法可靠预测,深度预测既关乎效率,也关乎效果,论文还公开了判断数据、代码与实验产物。↗
4. WISE: An Agentic Framework for Whole-page Multimodal Search Experience Attribution(快手、独立研究者(杭州))
论文提出「系统质量诊断(SQD)」这一新任务,把质量评估从「识别坏结果」扩展到「将质量问题归因到系统各算法组件」,填补了该方向缺乏统一问题形式化与基准的空白。WISE 将诊断智能体形式化为 A=(H, πθ):LLM 策略负责推理与决策,harness 管理上下文、证据、工具与状态并强制证据隔离,同时配套 ReTrace(证据一致的轨迹监督)与 AHPO(失败引导的 harness–policy 自适应优化)。在包含 12,000 个快手真实搜索案例的 WISE-BENCH 上,Qwen3.5-4B 的 E2E EM 从 20.25% 升至 SFT 后的 58.25%、再经 AHPO 达 69.85%,Qwen3.5-35B-A3B 从 35.25% 升至 69.80% 与 75.20%;ReTrace 与全量重生成效果持平,但教师生成 token 从 32.0k 降至 20.4k(降 36.25%);生产端约 120K 例/天,25.60 元/千例的成本较人工的 5,714.29 元/千例降低 99.55%。结果表明即使冻结权重、仅优化 harness 也能带来增益,生产部署还提升了下游相关性模型的离线指标与人工 GSB 4.16%,而在线 A/B(IQRR、CTR)的具体数值未报告。↗
Generative Retrieval under Real-Time Supply Constraints in Local Commerce(未披露)
论文解决本地生活/外卖场景中生成式检索产出“目录内合法、但当前请求不可服务”的 SID(供给幻觉)问题:位置、天气、路况会实时改变可用供给,事后过滤又会浪费已经花掉的 beam 容量与推理算力。方法是在 RTP-LLM 中实现请求级约束编译:上游供给服务物化可服务的 SID 集合,CPU 工作线程在 model prefill 期间解析排序并编译为 CSR 前缀索引后上传 GPU,所有 beam 共享该不可变索引,每一步只允许合法扩展进入前沿,同时保留掩码前的全词表 log-sum-exp 归一化以维持原始对数概率,并让父 gather 先于状态转移执行,使 KV 缓存与约束状态随 beam 重排同步传播。生产记录显示,在相同 beam 调度下,总过滤量从 170/299 降至 29/299(56.86%→9.70%),存活商户 129→270,幻觉过滤 120→0;但 QPS 为 20 时,客户端均值从 27.6 ms 升至 46.7 ms(+69.2%),p99 从 30.7 ms 升至 55.9 ms。论文建立了可运行的请求级供给约束实现并定位了集成瓶颈,但明确尚未在匹配检索质量的前提下证明计算节省,请求级相对日级约束的增量收益仍待受控实验验证。↗
Beyond Independent Predictions: Learning the Browsing Journey for Sequence-Level Re-ranking(阿里巴巴)
- 场景:电商推荐重排,作为淘宝「猜你喜欢」信息流 Generator–Evaluator 框架中的评估器。
- 线上效果:线上 A/B 用 5% 流量跑 14 天,曝光 +0.58%、点击 +0.70%、商业收入 +3.67%、LT-14d +0.23%,RT 增加 <0.5ms,已全量部署。离线六个 backbone 全面提升,如 Transformer 的 GAUC_ITCTR 从 62.53 升至 73.91,SeqAUC 从 81.31 升至 85.84。
- 问题:现有 evaluator 遵循 IBM 范式,把连续浏览旅程拆成逐 item 独立预测。点击必须发生在曝光之后、item 之间又竞争有限注意力,这两点物理现实被忽略后,尾部 item 效用被系统性高估,未曝光 item 还会污染表征。
- 动机:序列级效用不是 item 的静态属性,而是沿展示序列的浏览旅程动态实现的;应显式建模 display→impression→click 因果链,用 browsing depth 约束曝光概率单调递减,并用序列级点击分布匹配刻画注意力竞争。
- 贡献:① 形式化当前序列级评估的系统性偏差,提出物理一致的 JBM 范式。② 提出 backbone-agnostic、plug-and-play 的 ICE 框架,可无缝增强多种工业 evaluator。③ 在六个 backbone 上离线验证,并完成 14 天淘宝线上 A/B 与全量部署。
- 做法:多任务架构用 Comp-I 的浏览深度分布累计出曝光概率 p_itr,保证曝光概率单调递减,并用 Comp-II 对未曝光上下文做动态掩码。Comp-III 对 click logits 做温度 softmax 后与归一化点击分布算 KL 散度,总损失为 ITR、CTR 与 λ 倍点击分布项之和。
- 局限:当前仅建模 impression 与 click 二值行为,未来才扩展到 dwell time 等更丰富信号并作为生成式重排器的 reward。↗
横向对比表:
方案 | 机构 | 提升幅度 | 部署状态 | 数据规模 | 场景泛化 | 置信度 |
OneTrans-GSR | 未披露 | 未披露 | 未披露 | 未披露 | 重排+混排统一 slate 生成 | 低(无量化结果) |
SPADE | 未披露 | 未披露 | 未披露 | 未披露 | 本地生活首页主动查询推荐 | 低(无量化结果) |
URED | 阿里巴巴淘宝天猫 | 类目 +3.47%、内容丰富度 +8.47%、完播 VV +2.62%;总 VV +0.36%(不显著) | 线上(免训练召回补充) | 排序后未曝光的 top-200 候选 | 淘宝 Feed | 高(线上) |
LLM Serving 受控评估 | 未披露 | 容量差距消除 78%、延迟差距消除 30–67%;SGLang 保留 2.4–6.4× p95 TTFT 优势 | 离线受控实验 | vLLM vs SGLang | LLM serving 引擎对比 | 中(受控实验) |
Optimal Re-Ranking Depth | 未披露 | 阈值 0.80 时平均深度降 3 倍;oracle 再提升超 7% | 未披露 | 未披露 | query 级重排深度 | 中(离线) |
RTP-LLM 供给约束 | 未披露 | 过滤量 56.86%→9.70%、幻觉过滤 120→0;QPS=20 时客户端均值延迟上升 69.2% | 生产(RTP-LLM) | 未披露 | 本地生活生成式检索 | 中(生产数据,延迟代价显著) |
序列级重排 | 阿里巴巴 | 曝光 +0.58%、点击 +0.70%、商业收入 +3.67%、LT-14d +0.23%;RT 增加 <0.5ms | 已全量部署(5% 流量 14 天 A/B) | 六个离线基准(原文截断) | 淘宝「猜你喜欢」 | 高(线上+全量部署) |
趋势判断: 6-12 个月内,生成式推荐的论文门槛会从离线 HR/NDCG 转向「延迟-效果-成本」三联表;slate 级生成、请求级约束编译和配置感知的 serving 评测会进入系统章节的标准件。未报线上指标或延迟代价的工作,影响力将明显受限。
三、训练信号工程:蒸馏、数据预处理与奖励审计
训练信号与数据侧,HERO 用冷热双教师纠正 on-policy distillation 的流行度偏差,Preprocessing 证明仅规范化物品标题就能把 HR@10 从 10.67% 提到 12.47%,What Gets Hacked 则揭示协同奖励中不依赖用户的 item-mean 成分会让 Beauty Semantic IDs 的 distinct top-1 从 1317 塌到 837。三篇共同说明:当骨干与 SID 方案趋同,边际收益来自「向谁学、用什么数据、奖励里有什么」。
Diverse-Teacher On-Policy Distillation for Generative Recommendation(未披露)
HERO 针对生成式推荐中 on-policy distillation(OPD)会加剧流行度偏差的问题:教师反馈偏好热门物品 token,而学生 rollout 也偏向热门物品,两者相互强化,使冷门物品的 SID 路径很少被生成与监督。方法上采用异构教师蒸馏,即分别训练擅长热门与冷门物品的两个教师,按 ground-truth 物品的流行度分组把每个样本路由到匹配的教师,学生则沿自身生成的 SID 学习对应教师的概率分布;同时用多样性感知的物品 rollout 把冷门物品的真实 SID 纳入训练,覆盖学生罕至的 SID 路径,推理阶段仅保留学生。离线实验在工业数据集与三个公开数据集上验证了有效性、多样性与鲁棒性(具体数值未报告)。该工作在 1688 首页“Guess What You Like”模块的 15 天在线 A/B 中带来 GMV +3.412%,表明在获得 OPD 稠密监督的同时,可以抵消流行度偏差带来的多样性损失。↗
Preprocessing Choices in Fine-Tuning Data Matter: Utility and Demographic Sensitivity in LLM-Based Recommendation(未披露)
论文把微调数据预处理本身当作被忽视的设计因素,在受控的目录约束 LLM 推荐框架下,考察物品标题表示(原始 vs 规范化)、人口统计平衡(观察分布/性别平衡/年龄平衡)与辅助物品知识增强三项选择如何同时影响推荐效用与公平性相关行为。技术路线为 Llama-3-8B-Instruct + QLoRA(4-bit NF4、rank 16、α=32),用 `<SOI>/<EOI>` 标记物品跨度、scope-masked 交叉熵训练与前缀树约束解码,并以 37 个语义等价的提示模板(六族)降低对提示措辞的依赖;公平性评估采用配对提示比较,用 Jaccard 重叠、SNSR 与 Neutral Gap 度量人口统计提示敏感性。在 MovieLens-1M(时间切分后保留 4,995 用户、99,900 条推荐微调样本)上,原始标题把 HR@10 从 10.67% 提升到 12.47%、Coverage@10 从 41.36% 提升到 47.88%,目录约束管线消除了目录外物品并保证完整十项输出;年龄平衡与知识增强能缩小群体效用差距且基本保持效用,性别平衡则降低效用却未改善所评估的性别相关指标。结论是预处理不是单纯的技术准备步骤,而是会影响推荐性能与公平性行为的关键设计选择;只关注准确率会漏掉效用与公平性之间的权衡,而这些干预也并不能消除公平性担忧。↗
What Gets Hacked in a Collaborative Reward for LLM Recommenders: The Part That Does Not Depend on the User(UC San Diego、Google Research、University of Virginia)
- 场景:学术(无业务场景),生成式推荐中 LLM 序列推荐的 RL 后训练。
- 线上效果:无线上 A/B,仅离线:standardization 的 distinct top-1 达 CF 奖励的 1.6–9.8 倍(Sports Semantic IDs 169→1652),centering 为 1.5–4.1 倍(Beauty 837→1830),HR@10/NDCG@10 与 CF 奖励接近。
- 问题:冻结 CF 模型的分数直接作 RL 奖励会造成 exposure collapse,Beauty Semantic IDs 的 distinct top-1 从 1317 降到 837,而同一 CF 模型直接排序本身仍能给出用户差异化结果。
- 动机:CF 分数中跨用户共享、不依赖当前用户的 item-mean 成分最容易被策略在 RL 中利用,减去该成分、保留用户相关残差,应能恢复跨用户曝光多样性。
- 贡献:① 通过分别训练 item-mean 与残差的受控干预,识别出 item-mean 成分是 collapse 元凶(单独用 m̂ 训练仅剩 32/15 个 distinct top-1,单独用残差达 1830)。② 提出 per-item centering 与 per-item standardization 两种奖励修正,无需重训 CF 模型即可拓宽曝光。③ 在两个数据集、两种 ID 方案、四种 CF 架构和三种 LLM backbone 上验证增益。
- 做法:把 CF 奖励分解为 r(u,i)=m(i)+ε(u,i),RL 前用 4000 条训练历史离线估计并固定 m̂ 与 σ̂;centering 用 r−m̂,standardization 再除以 max(σ̂,s0)(s0 取 σ̂ 的 10% 分位),CF 冻结、GRPO 训练 400 步。
- 局限:仅在离线、critic-free RL 与冻结 CF scorer 设定下验证,长期曝光和推荐质量未评估;与 HiLaR 按用户候选集标准化的做法不同,本文用同一参考用户历史分布估计每个 item 的统计量。↗
横向对比表:
方案 | 机构 | 提升幅度 | 部署状态 | 数据规模 | 场景泛化 | 置信度 |
HERO(异构教师 OPD) | 未披露 | 未披露 | 未披露 | 未披露 | 生成式推荐/流行度偏差 | 低(无量化结果) |
Preprocessing Choices | 未披露 | HR@10 10.67%→12.47%(标题规范化) | 离线受控实验 | Llama-3-8B-Instruct + QLoRA | LLM 推荐微调 | 中(受控实验) |
What Gets Hacked | UC San Diego、Google Research、University of Virginia | standardization 的 distinct top-1 达 CF 奖励 1.6–9.8 倍(Sports 169→1652);item-mean 成分使 Beauty 1317→837 | 仅离线 | 未披露 | LLM 序列推荐 RL 后训练 | 中(离线机理研究) |
趋势判断: 未来 6-12 个月,训练信号工程会进一步前置为独立议题:异构教师、数据预处理与奖励分解会被纳入统一的偏差-效用分析框架;「奖励审计」可能像今天的离线评测一样成为投稿必填项。
四、Agent 记忆、奖励与自我演化
Agent 侧本周聚焦记忆与奖励的工程化:RecGroupMemory 把队列记忆的构建与反馈修订分离,E-GenRM 基于一个月 120+ 类真实购物行为建模并配套 373 条专家标注决策步的基准,DualEvolve 用 promotion gate 与固定 grader 约束自我改进,MEMOIR 以零 LLM 调用的写路径把记忆成本压到中位 6.8ms。共同趋势是把 agent 的「经验」变成可更新、可审计、可低成本维护的对象。
RecGroupMemory: Feedback-Aware Cohort Memory for E-Commerce Recommendation(未披露)
RecGroupMemory 针对延迟反馈下的队列记忆面临的矛盾:队列记忆的指导需要随反馈更新,而原始观测又必须保留;为此该框架把记忆构建与反馈修订分离,为编排 LLM 提供由多源观测衍生的队列画像 Profile 与建议 Advise。具体流程是:Evidence Extractor 抽取观测并形成 Shallow Memory,Memory Builder 把观测合并为队列记忆记录,Memory Refiner 再按 Memory ID 左连接,拿到带符号的相对变化 δ=q/q_base−1(其中 q_base 由平台首猜推荐流中同画像全量流量计算,缺失值视为无证据而非中性或正向);只有当反馈唯一匹配,并通过画像有效性、基线匹配与反馈资格检查,且七个源值与当前记录 C_T 一致时,Memory Refiner 才按 a'_q=clip(a_q+Δ_q) 更新建议强度(至多一次),否则回退原记录并输出完整 JSON 而非补丁。淘宝低购买力用户在线实验中,不启用反馈修订的记忆相对其无记忆基线把交易 UV 提升 1.58%(订单 +0.80%、PCVR +1.60%),带反馈记忆相对自身基线提升 1.78%(订单 +2.05%、PCVR +1.95%),曝光与点击类指标与基线基本持平。收益集中在交易类结果上,但两组配置各自对比自身基线,因此无法直接估计反馈修订在 M 之上的增量,而且语义正确性仍依赖 LLM 与提示,实验也限于特定人群。↗
E-GenRM: Generative Reward Modeling for Open-Ended E-Commerce Shopping Agents(Taobao & Tmall Group of Alibaba、Technische Universität Wien)
E-GenRM 面向电商购物智能体缺乏可验证奖励信号的问题,以及能力—轨迹反馈循环、奖励聚合与需求级信用分配带来的两重限制,把购物 App 中自然发生的用户行为反向拆解为长程轨迹,以真实购物模式提供开放式监督。数据侧覆盖一个月内 120+ 类行为,平均每条轨迹跨 3.8 个 session、含 162 个行为事件与 4.6 个决策步,由教师模型归纳任务特定加权评分标准与证据支撑的评估链(专家抽检 500 条、通过率 94.2%);训练依次经历行为锚定 SFT、准则引导的 GRPO(事实反馈权重 λ=0.25)与个性化难负样本训练(135 条难例),并以 ReAct 式主动检索补全缺失的电商信息。在含 373 条专家标注决策步(Standard 262、Hard 55、OOD 56)的 E-GenRM-Bench 上,E-GenRM-27B 平均准确率 82.57%、超最强基线 2.14 个百分点,加入检索后达 87.40%、领先 6.97 个百分点,SRB 评分标准生成任务上 Sem-F 72.53、RL-F 28.67。淘宝 14 天在线 A/B 中有效购物辅助率提升 1.39 个百分点、用户满意度提升 2.33 个百分点,把购物场景的奖励建模从点级相关性推进到轨迹级、准则级且证据可核查的判断。↗
DualEvolve: Dual-Level Self-Evolution of Mechanism and Orchestration for Recommendation(未披露)
DualEvolve 针对现有 LLM agent 自动改进推荐模型时“只按任务分数选更新、缺乏对实验质量本身的优化信号”的问题,提出在冻结 LLM 参数的前提下协同演化推荐机制与 agent 开发工作流的双层框架。内层由 diagnoser、proposer、coder、analyst、refiner 五个冻结 LLM 角色迭代诊断并改写模型与训练代码,经低保真 beam 筛选加高保真验证产生候选,再由噪声与成本感知的 promotion gate 决定是否替换 incumbent;外层用固定 GLM-5.2 grader 按决策质量、实验严谨性、分析深度、新颖性四维打分(权重 0.35/0.15/0.30/0.20),以延迟残差更新各动作类型的正态后验,并用 Thompson sampling 在 KEEP、EDIT HARNESS、EDIT SKILL 间选择,同时把评估器与准入规则固定在可编辑范围之外。在 4 数据集 × 4 方法共 16 个设置、64 个 setting–metric 比较中全部超过 Base、OpenEvolve 与 DeepEvolve,相对 DeepEvolve 宏平均 HR@5 提升 7.6%、NDCG@5 提升 9.0%,相对 Base 的 N@5 提升 17.1%、N@10 提升 14.3%;grader 人工一致率 83.1%、Cohen's κ=0.432,动作频率为 KEEP 54%、EDIT HARNESS 25%、EDIT SKILL 21%。消融中 Fixed Rules、w/o TS、w/o Wiki 均落后 Full(Baby/NGCF 上分别差 0.0411–0.0534、0.0139–0.0217、0.0107–0.0160),说明把实验设计与决策质量确立为独立于任务分数的优化信号,能让 agent 的递归自我改进保持稳定、可审计且可约束。↗
MEMOIR: A Training-Free Memory Lifecycle for Long-Horizon LLM Agents(印度信息技术学院阿拉哈巴德分校、印度理工学院巴特那分校)
- 场景:学术,面向长程 LLM agent 的免训练记忆管理,无业务场景。
- 线上效果:无线上 A/B,仅离线:LoCoMo 上完整 RECALL-Q 栈的证据 Recall@5 较余弦检索提升 11.92 个百分点。LongMemEval-S 500 条冷启动下,Llama-3.1-70B 取得 81.20% acc 与 85.10% recall。
- 问题:现有系统把写入与检索割裂处理,记忆的重要性在写入时定死、用后不再修订。这造成两种耦合失败:压缩在看似冗余处毁掉未来查询所需的证据,检索则持续偏向与 query 相似却从未真正帮助回答的陈旧记忆。
- 动机:压缩会改变检索信用所依附的对象,而检索反馈又能反过来揭示压缩该保护哪些内容,因此应「压缩前筛查、使用后归因」。作者把 testing effect 等认知记忆性质当作设计约束,而非生物学同构主张。
- 贡献:① 提出统一的「前瞻证书门控压缩 + 回溯结果归因」免训练记忆生命周期。② 设计 TRACE-UCB,用计数式探索缓解曝光锁死,置信门控自主反馈提升 1.50 个百分点、参考答 oracle 提升 1.84 个百分点、多跳提升 8.05 个百分点。③ 证书式 merge 使文本证据召回从 58.82% 变为 59.08%、活跃库缩减 1.42%,100 次审计合并 0 损失。④ 在线写路径零 LLM 调用、中位 6.8ms,提供可配置的质量–延迟权衡。
- 做法:在线用 TRACE 以答案对记忆的 unigram recall 更新重要性,并加 UCB 探索奖励;RECALL-Q 融合归一化余弦、BM25、相关性、新近性与 MMR 多样性。离线睡眠期做证书门控 MERGE,三套措辞的 LOSSLESS judge 一致率、检索覆盖与长度比达标才接受合并。
- 局限:证书只是经验性安全门而非形式保证,1.42% 的库缩减有限,结果集中于 10 个 LoCoMo store,且 LongMemEval 无法检验反馈循环。↗
横向对比表:
方案 | 机构 | 提升幅度 | 部署状态 | 数据规模 | 场景泛化 | 置信度 |
RecGroupMemory | 未披露 | 未披露 | 未披露 | 未披露 | 电商延迟反馈队列记忆 | 低(无量化结果) |
E-GenRM | Taobao & Tmall Group of Alibaba、Technische Universität Wien | 未披露 | 未披露 | 一个月 120+ 类行为;373 条专家标注决策步;平均 3.8 session/轨迹、162 行为事件 | 电商购物智能体奖励建模 | 中(真实行为数据) |
DualEvolve | 未披露 | 未披露 | 未披露 | 未披露 | LLM agent 自演化推荐开发 | 低(无量化结果) |
MEMOIR | 印度信息技术学院阿拉哈巴德分校、印度理工学院巴特那分校 | 证据 Recall@5 +11.92 个百分点(LoCoMo) | 免训练;无线上 A/B | LongMemEval-S 500 条冷启动;LoCoMo | 长程 LLM agent 记忆 | 中(离线多基准) |
趋势判断: 6-12 个月内,agent 记忆会从「向量库 + 摘要」走向带生命周期与反馈修订的结构化记忆;奖励建模与自我演化将更多引入固定 grader、promotion gate 等约束,避免能力-轨迹反馈循环。真实业务轨迹(如 E-GenRM 的 120+ 类行为)会成为差异化数据资产。
五、评测、审计与安全:从打分到归因与拦截
评测与安全本周从「打分」转向「归因与拦截」:PMRecBench 用需求理解 U 与偏好遵循 P 拆解个性化失衡,When Category Means Move 用随机插入日志做配对审计,IntentGEO 揭示学习式 GEO 优化反而把 RecGEO 的 0.95 降到 0.67;安全侧 Voluntary Servitude 证明伪造安全警告可让 agent 主动排除合法选项。Terminal-style 数学建模基准则把 agentic 可验证评测扩展到非推荐场景。
Voluntary Servitude: Weaponized Safety Warning Mechanisms for Controlling AI Agents(Technion、Zenity)
论文揭示 agent 会依据公开来源的信息行动,攻击者可借伪造的“安全警告”让 agent 主动排除合法选项、转向攻击者目标,形成 payload 不含面向模型指令的“自愿奴役”(voluntary servitude)攻击。方法上在公开平台发布四段结构(写手与访问背景、对提供商的主张、把攻击者 listing 说成更优及理由、推荐)的普通评论,构造 Safety、Authority、Attribute 三个攻击家族,以 ASR、pass rate 与 ASRfilt 评价,并提出仅在系统提示加一句“佐证要求”的免训练防御。实验覆盖十个旅行服务领域共 500 条查询与六个模型:无过滤时 Safety 家族 ASR 为 60.4%、指令注入为 66.0%,在 ProtectAI 与 Lakera 检测器下 Safety 家族有效成功率为 60.4% 与 47.1%,对应指令注入为 35.7% 与 10.6%(提升 1.7–4.4 倍),攻击可迁移到四个生产浏览器 agent,检索管线端到端成功率为 1.0–57.0%,防御使 ASR 从 68.4% 降至 3.6%、排除提供商比例从 90.9% 降至 4.0%。结论指出被安全对齐赋予的 harm-avoidance 本身成为攻击面,佐证要求能在 agent 仍读到伪造危害时阻止其据此排除提供商,但该防御针对非自适应攻击者,其代价与“制造佐证”的自适应攻击仍有待评估。↗
IntentGEO: Intent-aware Generative Engine Optimization for Recommendation(未披露)
论文提出 IntentGEO 评估框架,从需求具体度(P1–P5)与决策进程(Q1–Q5)两个维度考察同一份共享改写在不同用户意图下的可见性,揭示现有 GEO 方法增益随意图波动、学习式优化平均反而低于手写种子(MetaOpt-Rec 把 RecGEO 的 0.95 降到 0.67),并把问题定位为“提示漂移”。方法上提出 AMO(Anchored Meta-Optimization),把重写提示拆成固定的推荐核心 C 与可学习的追加策略 A,只在 A 上搜索并以引用反馈迭代更新、逐轮在验证集选优,保证推荐核心始终保留。实验在 Books、Retail、Videogames 与 Ragdoll 四域的十个 P/Q 状态共 200 实例、2000 个请求上进行,AMO 全状态平均增益 1.12,较 RecGEO 高 18%、较最强学习式基线 MetaOpt-Prog 高 35%,top-5 引用率较 Base 提升 13.98 个百分点,agentic 检索流程 Pass@5 达 43.48%(Base 33.85%),Doubao 上平均增益 1.048、Pass@5 58.34% 均为最高。结论表明用户意图会显著改变改写收益、GEO 需按意图维度评估,而锚定式优化把“学习什么”与“不可动的推荐要求”分开,避免优化漂移。↗
When Category Means Move: A Paired-Support Audit of Recommendation Logs with Random Insertions(未披露)
论文针对生产推荐日志的内容品类看板受投放策略影响的问题,提出一套条件配对支持审计协议而非新因果估计器,量化生产日志品类均值与随机插入参考之间的差距,并配套支持误差账本、防泄漏前瞻校准与决策感知推断。方法上在同一批用户与视频上对齐随机插入日志与常规投放日志,报告绝对 MAE、中心化形状 MAE、最大误差、排序相关与 top-10 重叠,以 CE/RW 用户去均值加随机总均值锚定、Kitagawa 式分解 D_k=W_k+M_k 与 Shapley 归因拆解误差来源,并用同步用户聚类 bootstrap 构造区间。实验基于 KuaiRand 随机插入日志(12,472 用户、5,486 视频、38 个品类、467,919 条随机插入行与 180,645 条常规行)及 100 个已知真值半合成基准:朴素品类均值绝对/中心化 MAE 为 0.1935/0.0491、排序相关 0.7833,CE 去均值加随机锚定后绝对 MAE 降至 0.0387(降 80.0%)但中心化仅改善 21.0%,Shapley 归因显示绝对差距中组内视频残差占 72.8%、视频混合占 27.2%,前瞻冻结测试中品类校准 MAE 0.0251 优于标量校准 0.0531(差值 −0.0280 [−0.0296, −0.0172])。结论指出生产日志品类均值与随机参考的差异主要在水平而非排序,去均值加锚定能大幅压低绝对 MAE 但对形状与排序改善有限,top-10 决策改进的族式区间含零、视频混合对品类形状贡献约一半且任何分配均非因果,审计结论应限制在日志设计所允许的范围内。↗
PMRecBench: A Benchmark for Personalization in Recommendation Agents under Multimodal Queries(未披露)
现有个性化推荐基准只用纯文本查询,多模态基准又只评测查询匹配、不检验推荐是否反映真实用户历史中的偏好,论文据此提出首个在多模态查询下评测推荐智能体个性化能力的基准 PMRecBench,并揭示「个性化失衡」(personalization imbalance)现象。数据侧从真实用户记录按需求挖掘、参考图检索(Gemini 3.1 Pro 检查属性在图中是否可见、置信度≥0.75)、查询生成(Claude Opus 4.8 与 GPT-5.5 评分取最优)与查询验证四步构造 510 条图文查询;评测侧设计含目标项、19 个随机候选与 10 个竞争者的诊断池(5 个偏好对齐竞争者、5 个需求满足竞争者),用需求理解 U 与偏好遵循 P 两个相互独立的代理指标分别检验两项能力。在 Amazon 服装(258 条、198 位用户)与 MovieLens-1M(252 条、179 位用户)上对比 8 个骨干模型,随机池上 ReAct + Gemma-4-31B 的 NDCG@1 为 0.578 与 0.659,换到诊断池后各智能体 NDCG@1 普遍下降约 0.20–0.26;诊断池上 U 为 0.85–0.95 而 P 仅 0.71–0.84,加入多模态查询使平均 P 在服装降 0.046、电影降 0.042(95% CI 均不含 0),商用模型 U 达 0.90–0.93 接近饱和,P(服装 0.68–0.72、电影 0.77–0.80)却仍低于 Gemma-4-31B 的 0.76/0.83。说明智能体面对多模态查询时会优先依赖参考图相似等查询线索、从而「挤出」偏好遵循能力,且单纯升级更强商用骨干无法消除该失衡,PMRecBench 及其公开代码与数据为诊断这一核心挑战提供了评测基础。↗
Terminal-style Mathematical Modeling Bench: The First Agentic and Verifiable Benchmark for Mathematical Modeling(IDEA Research、香港科技大学、DataArcTech Ltd)
- 场景:学术基准,无业务场景。
- 线上效果:无线上 A/B,仅离线:18 题×7 个多模态模型/harness×3 seeds,GPT-6 Astra+codex 的 O-EVAL 为 64.58±2.93,Fable 5.1+claude-code 为 63.11±1.33。DeepSeek-Flash+opencode 为 59.81±1.25 且成本仅 2.54 美元,per-seed 偏差达 2.93pp。
- 问题:现有基准要么只评 solver 可消费的形式化片段,要么用 LLM judge 给报告打分,报告中的数字是否正确、是否物理可行从未被核验。单锚点评分还把某一队的假设当成 ground truth,方向不对称时反而惩罚超过论文的答案。
- 动机:建模没有唯一正确答案,应参照多篇人类 O 奖论文而非单一锚点。锚点比较既可能奖励抄袭,又可能漏掉数值看着合理但违反物理约束的答案,所以需要方向感知单边评分加独立可行性层。
- 贡献:① 首个同时 agentic、可验证、终端化且多模态的建模基准,含 18 道 2023–2025 年 CUMCM/MCM 真题与逐题 JSON artifact。② 提出方向感知单边评分 O-EVAL 与 MULTI-BO,并配退化带、单位不可比等可审计规则。③ 设计两层可行性验证,覆盖 18/18 任务的六类不变式程序门加 624 条 Lean 4 核验义务。④ 完成七个多模态模型/harness 各 3 seeds 的实证、成本–鲁棒性分析与案例研究。
- 做法:每题封装为容器化终端任务(网络隔离、2 CPU/8GB/无 GPU/4 小时),agent 只交 schema 受限 JSON。O-EVAL 对 99 篇 O 奖论文面板逐篇在其实际报告字段上计算加权分并取均值,程序门与 Lean 4 验证可行性,门失败则 O-EVAL 清零、MULTI-BO 记 −1。
- 局限:仅 18 题且面板规模 1–18 篇不等,外部物理真值仍需独立重放才能判定。↗
横向对比表:
方案 | 机构 | 提升幅度 | 部署状态 | 数据规模 | 场景泛化 | 置信度 |
Voluntary Servitude | Technion、Zenity | 未披露 | 未披露 | 未披露 | Agent 安全/伪造安全警告 | 中(攻击机理研究) |
IntentGEO | 未披露 | MetaOpt-Rec 把 RecGEO 的 0.95 降到 0.67 | 未披露 | P1–P5 × Q1–Q5 意图网格 | GEO/推荐可见性 | 中(评估框架) |
When Category Means Move | 未披露 | 未披露 | 生产日志审计 | 同一批用户与视频的配对日志 | 推荐日志品类均值审计 | 中(审计协议) |
PMRecBench | 未披露 | 诊断池 NDCG@1 普遍下降 0.20–0.26 | 基准发布 | 未披露 | 多模态查询推荐智能体 | 中(基准) |
Terminal-style 数学建模基准 | IDEA Research、香港科技大学、DataArcTech Ltd | GPT-6 Astra+codex O-EVAL 64.58±2.93;Fable 5.1+claude-code 63.11±1.33 | 基准发布;无线上 A/B | 18 题 × 7 模型/harness × 3 seeds | 数学建模 agent | 中(可验证基准) |
趋势判断: 未来 6-12 个月,基准的竞争力将从覆盖模型数量转向「能否指出错在哪个环节」;带置信区间、允许弃权、可复现的反事实评测会成为区分论文质量的关键变量。安全防御也会从内容过滤前移到检索准入与任务状态层。
值得关注的方向
SID 之后是接口层:量化-生成联合设计:UAGR、PACERec、CAP-Mix、BRIDGE、LatentRec 五篇从不同侧证明瓶颈在两阶段接口而非 tokenizer 本身;BRIDGE 把 Semantic Quantization Gap 拆成三个 gap,LatentRec 用 batch=1 时延 10.80s→0.59s 证明推理期计算可被训练期吸收。预期影响:6-12 个月内会出现更多「gap 度量 + 训练期对齐」的工作,tokenizer 重造让位于接口修补与联合训练。
成本前移与「效果-成本成对报告」:LatentRec 把 batch=1 时延从 10.80s 压到 0.59s,MEMOIR 在线写路径零 LLM 调用、中位 6.8ms,LLM serving 受控实验显示配置匹配可消除 78% 容量差距与 30–67% 延迟差距,而 RTP-LLM 在 QPS=20 时延迟上升 69.2%。预期影响:延迟、显存与供给过滤率会进入主结果表,只报离线指标的生成式推荐论文影响力将受限。
可信性成为独立研究对象:奖励审计、评测归因与检索准入:What Gets Hacked 证明冻结 CF 奖励中不依赖用户的 item-mean 成分会让 Beauty distinct top-1 从 1317 塌到 837,Voluntary Servitude 显示伪造安全警告可武器化 agent,PMRecBench 与 When Category Means Move 则把评测推进到归因与配对审计。预期影响:奖励审计、记忆污染检测与检索准入防御会成为系统设计的默认模块,而非论文末尾的 future work。
本周论文速览
物品表示与语义 ID:从语义压缩到效用与接口对齐
- UAGR — 机构未披露,提出 UE-SID:将分享、长播、完播等曝光后行为分桶写入离散位,并用效用引导的 beam 解码,解决语义相近但效用不同的物品难以区分的问题。
- PACERec — 蚂蚁集团,提出不依赖物品 ID 的渐进适应框架,用 lag-l 前驱交互的指数衰减权重池化构造行为目标,校准冻结的 LLM 物品嵌入;诊断显示 K=20 时语义近邻对训练前驱的覆盖率仅 1.59%–5.22%(频繁前驱参考为 57.09%–68.65%)。
- CAP-Mix — Meta、Texas A&M University,提出软原型混合物品表以替代硬 Semantic ID;六个公开基准平均 HR@5 +6.9%、NDCG@5 +13.6%,推理吞吐为离散基线的 1.4–161×。
- BRIDGE — 快手,把 RVQ-VAE 到 decoder 的信息流失形式化为 Semantic Quantization Gap 并拆成三个 gap;线上 5% 流量一周 eCPM +0.65%,离线三个 Amazon 基准 Recall@10 +10.9%、NDCG@10 +9.7%(最高 12.6%/10.7%)。
- LatentRec — 腾讯,提出用潜在推理替代 CoT:K=0、推理时完全丢弃 Continuous Thought Module 仍取得 HR@10 相对 4.0–5.0% 提升,batch=1 时延从 10.80s 降到 0.59s。
生成式排序与在线系统:slate 解码、供给约束与 serving 效率
- OneTrans-GSR — 机构未披露,提出以单个 decoder-only 策略端到端生成曝光 slate,统一重排与混排,并在 GMR-PO 中结合列表级奖励模型处理多目标。
- SPADE — 机构未披露,提出本地生活首页主动查询的端到端生成框架,以 OA-BPE 把 CTR/CVR 与曝光归一化项构成的业务价值权重注入 BPE 合并分数,联合设计词表、编码、偏好对齐与解码。
- URED — 阿里巴巴淘宝天猫,提出免训练召回补充系统,复用排序后未曝光的 top-200 高分候选;线上类目 +3.47%、内容丰富度 +8.47%、完播 VV +2.62%,总 VV +0.36% 不显著。
- LLM Serving 受控评估 — 机构未披露,拆解 vLLM 与 SGLang 的默认配置差距:匹配 chunked prefill 后容量差距消除 78%、延迟差距消除 30–67%,SGLang 仍保留 2.4–6.4× p95 TTFT 优势。
- Optimal Re-Ranking Depth — 机构未披露,提出按 query 预测最优重排深度;IR-DCG@10 在阈值 0.80 时把平均深度降 3 倍且维持效果,oracle 选择可再提升超 7%。
- RTP-LLM 供给约束 — 机构未披露,在 RTP-LLM 中实现请求级供给约束编译;生产过滤量 56.86%→9.70%、幻觉过滤 120→0,但 QPS=20 时客户端均值延迟上升 69.2%。
- 序列级重排 — 阿里巴巴,提出对浏览旅程做序列级建模,作为淘宝「猜你喜欢」Generator–Evaluator 框架中的评估器;线上 5% 流量 14 天 A/B 中曝光 +0.58%、点击 +0.70%、商业收入 +3.67%、LT-14d +0.23%,已全量部署。
训练信号工程:蒸馏、数据预处理与奖励审计
- HERO — 机构未披露,提出异构教师 on-policy distillation,分别训练擅长热门与冷门物品的两个教师,按 ground-truth 流行度路由样本,缓解 OPD 的流行度偏差。
- Preprocessing Choices — 机构未披露,在 Llama-3-8B-Instruct + QLoRA 框架下考察物品标题表示、人口统计平衡与辅助知识增强;仅把物品标题从原始改为规范化,就把 HR@10 从 10.67% 拉到 12.47%。
- What Gets Hacked — UC San Diego、Google Research、University of Virginia,分析协同奖励中不依赖用户的 item-mean 成分导致的奖励攻击;standardization 的 distinct top-1 达 CF 奖励 1.6–9.8 倍(Sports Semantic IDs 169→1652),item-mean 成分使 Beauty 从 1317 塌到 837。
Agent 记忆、奖励与自我演化
- RecGroupMemory — 机构未披露,提出反馈感知的队列记忆框架,把记忆构建与反馈修订分离,为编排 LLM 提供由多源观测衍生的队列画像 Profile 与建议 Advise。
- E-GenRM — Taobao & Tmall Group of Alibaba、Technische Universität Wien,把购物 App 中自然发生的用户行为反向拆解为长程轨迹,用真实购物模式提供开放式监督,并配套 373 条专家标注决策步的 E-GenRM-Bench。
- DualEvolve — 机构未披露,在冻结 LLM 参数的前提下协同演化推荐机制与 agent 开发工作流,用 promotion gate 与固定 grader 约束自我改进。
- MEMOIR — 印度信息技术学院阿拉哈巴德分校、印度理工学院巴特那分校,提出免训练的记忆生命周期;LoCoMo 上证据 Recall@5 较余弦检索提升 11.92 个百分点,在线写路径零 LLM 调用、中位 6.8ms。
评测、审计与安全:从打分到归因与拦截
- Voluntary Servitude — Technion、Zenity,揭示攻击者可在公开平台发布伪造的「安全警告」,让 agent 主动排除合法选项、转向攻击者目标,形成 payload 不含模型指令的「自愿奴役」攻击。
- IntentGEO — 机构未披露,提出意图感知的 GEO 评估框架,从需求具体度 P1–P5 与决策进程 Q1–Q5 两个维度考察可见性;学习式优化 MetaOpt-Rec 反而把 RecGEO 的 0.95 降到 0.67。
- When Category Means Move — 机构未披露,提出条件配对支持审计协议,用随机插入日志作为参考量化生产日志品类均值偏差,并配套支持误差账本、防泄漏前瞻校准与决策感知推断。
- PMRecBench — 机构未披露,发布首个多模态查询下的推荐智能体个性化基准;诊断池上各智能体 NDCG@1 普遍下降 0.20–0.26,并揭示需求理解 U 与偏好遵循 P 的失衡。
- Terminal-style 数学建模基准 — IDEA Research、香港科技大学、DataArcTech Ltd,发布首个 agentic 且可验证的数学建模基准;18 题×7 模型/harness×3 seeds 上 GPT-6 Astra+codex 的 O-EVAL 为 64.58±2.93,Fable 5.1+claude-code 为 63.11±1.33。
本周报由 AI 汇总日报生成,解读观点仅供参考。