一、📊 趋势分析
🔥 全链路改造的两条路线同时跑通线上:Yuanbao Search 用同一套 rubric 统一检索、排序与选择,在 5% 流量、14 天的 A/B 中把答案质量的 GSB 提升到 +8.52%,但组件增益之和(9.16%)高于端到端(8.52%),说明各环节的收益高度重叠;COTTI 走的是相反路线,把促销适配拆成 CPC、RW、ABA 三个对象与阶段,在 25% 流量下实现 CVR +3.14%、RPM +2.68%,代价仅是 p99 增加 2.2ms。一个收敛监督面、一个分解适配对象,却都拿到线上正收益——关键不在于“统一还是分层”,而在于信号是否落在真正生效的那一层。
🔥 奖励工程从“标量设计”转向“信用分配”:More Than a Score 指出低奖励无法区分“偏好不匹配”与“重复推荐”,因此改用 LLM 模拟器的语言化反馈做显式探索,Cell Phones 的 H@10 从 0.0477 提升到 0.0525,代价是 1.47 倍的训练成本;专利检索则用行级 narrowing credit 替代策略级标量,NetCapture 从 SFT 的 0.4346 提升到 0.5952,迭代五轮后达到 0.6774,最小命中集合中位数 48.5,专家为 282。Yuanbao 的 best-rollout distillation 与 GuardAgent 的失败对反思也都在回答同一问题:让 reward 指认出是哪一步做错了。
💡 成本核算单位从 token 转向轮次、重编码与可读集合:DealRank 用 2 轮、6 次调用、31k token 达到滑窗方案 9 轮、46k token 同等的 nDCG@10(57.6 对 57.9,差异不显著),并把 BlitzRank 的修复调用从 59% 降到 14%;LinkedIn 在生产回放上把闭环吞吐提高 3.63–5.57×,VIBRA 用单 encoder 免去 gallery 重编码、比 SLERP 少 7.4–8.2ms。评测侧也在换口径:专利检索的 NetCapture 以“每条引用被命中的最小集合”计分,SIMQ 则用单张图索引绕开质心交互矩阵——效率与可审计性正从附录走到摘要。
二、📋 今日速览
▍工业界(1 篇)
方法 | 机构 | 关键结果 | 证据 | 部署 |
阿里巴巴、华为 | 提出COTTI三组件框架,线上CVR+3.14%、RPM+2.68% | B | A/B |
▍学术界(19 篇)
方法 | 机构 | 关键结果 | 证据 | 部署 |
腾讯 | 用查询级 rubric 统一监督检索、排序、选择全链路,元宝答案质量 GSB 提升 8.52%。 | A | 未部署 | |
浙江大学、阿里巴巴、淘宝 | 在端到端生成式检索四个阶段注入 query 意图,Recall@10 超最强基线 8.11%/11.96% | B | 离线验证 | |
Meta | 以多视图 barycenter 为教师训练单 encoder,五个基准、五次升级共 50 个设置全最优,R@1 最高提升 5.6 点。 | B | 离线验证 | |
亚马逊 | 用 Amazon 评论语义+时间特征监督回归 item 共现相似度,同域→跨域 R² 从 -4.00 升至多域联合 0.32 | A | 离线验证 | |
领英 | Trie-Head 将 trie 约束内化为模型原生输出接口,配共享上下文注意力,闭环吞吐最高提升 5.57×。 | C | 未部署 | |
腾讯 | 语言化反馈指导候选精修并联合 GRPO 优化,Cell Phones H@10 较 MiniOneRec 提升约 10% | C | 未部署 | |
mixedbread、代码仓库 mixedbread-ai、dealrank | 提出 DealRank:按检索排名发牌切分 + 两轮调度,质量媲美最佳、比 BlitzRank 快 1.1–1.4 倍。 | B | 未部署 | |
— | 提出 MIPR 多模态意图检索基准,最佳 embedding 检索 nDCG@10 仅 49.23% | B | 离线验证 | |
同济大学、蚂蚁集团、西安交通大学 | 用采样式数据感知聚类+单质心图索引近似MaxSim,免交互矩阵与GPU,五基准验证 | C | 离线验证 | |
Hyperbots、印度理工学院孟买分校 | 提出 RICoT:滑窗内逐页交错推理、跨窗递推状态,GLM-5 在 TABME-250 达 DocF1 0.847、边界 F1 0.915 | C | 离线验证 | |
亚马逊 | 公开元数据+XGBoost回归预测音乐相似度,零样本拉丁NDCG@10=0.477≈域内0.480 | C | 离线验证 | |
亚马逊 | 提出 CG2R,把语义簇先验直接加入 item 打分,Recall@10 较最好基线提升 37%–127%,延迟仅毫秒级 | C | 离线验证 | |
圣母大学 | 提出 receiver-conditioned 澄清框架,HoosierHelp 成功率 57.8%,超最强基线 3.7pp 且 token 少 5.1% | C | 未部署 | |
新南威尔士大学、CSIRO、莫纳什大学 | 提出记忆增强 agentic 循环检测框架 GuardAgent,Amazon 数据集 F1 达 0.92 | C | 未部署 | |
澳大利亚国立大学、悉尼科技大学、伦敦大学城市圣乔治学院 | 联合生成 backbone 与工具–技能组合,67.73% 查询前十候选恢复完整参考配置,约为最强基线两倍 | C | 未部署 | |
锡斯坦-俾路支斯坦大学计算机系、德黑兰大学数学统计与计算机学院 | 用混沌注入加模糊门控双残差增强 GraphSAGE,Actor 上 AUC 98.10%,超过次优方法 8 个百分点以上 | C | 离线验证 | |
Introduction | 提出免训练的支持比统计量,量化尾部标签对伴随标签的依赖,最高掩盖18.4%尾部命中 | C | 离线验证 | |
蚂蚁集团 | 提出 328 簇 1,103 例中文医疗上下文学习基准,全上下文较仅问句高 11.83–31.76 分 | C | 离线验证 | |
Kyoto Institute of Technology, Kyoto、Guardian Robot Project, RIKEN, Kyoto、Nagaoka University of Technology, Nagaoka | 用 JPO 检索报告教 LLM 写布尔策略,行级收窄信用把引用集合中位数从 768 降至 48.5。 | C | 未部署 |
三、🎯 今日主题
全链路对齐:把监督信号放到真正生效的那一层
问题背景。 模型能力已不是瓶颈,监督信号在链路中被稀释、错位或重复支付才是。四个位置暴露了同一矛盾:
- 集合级 rubric 评的是整个答案,检索与排序却需要逐文档标签,Yuanbao 必须先用轻量 labeler 把它摊销成 0–3 级的 utility。
- 促销适配被当成一个整体,COTTI 指出无条件的历史一致性会压制促销期有用的行为变化。
- query 意图只出现在输入端,IntentGR 发现已有方法忽略用户行为历史,tokenization 与 generation 两个阶段都缺少意图指导。
- 约束落在错误的层:LinkedIn 把输出合法性交给 Python 回调,VIBRA 的双 encoder 每查询多付 7.4–8.2ms,连续分块的并行调度让 BlitzRank 在 59% 查询上触发修复调用。
代表方案对比。 六篇论文切口不同,但都在重新安排“目标—信号—注入点”的对应关系。
- Yuanbao Search(腾讯):切口是以集合级 rubric 作为全链路唯一监督面,做法是 Qwen3-4B labeler 从 235B 教师蒸馏、加 GRPO,选择端用 8 条 rollout 的组归一化优势走 GRPO 或 best-rollout distillation(λ=0.5),线上 GSB +8.52%、排序 PNR 3.807→3.959。
- COTTI(Alibaba、Huawei):切口是把促销适配拆成训练期 CPC(τ=0.07)、样本加权 RW(γ=1.5)与服务期 ABA(M=10 head dropout)三个对象,线上 CVR +3.14%、RPM +2.68%,ABA 只增加 2.2ms p99。
- IntentGR(浙江大学、阿里巴巴、淘宝):切口是在输入、优化、训练分布、解码四处注入 query 意图,做法为 QBR 历史聚合、QSA 双向对比、LQE 长尾重采样(γ=2)与 QAM cross-attention(α=0.8),AE 上 Recall@10 +11.96%,但仅离线。
- VIBRA(Meta):切口是旧 gallery 不动、部署只跑单 encoder,做法为 relevance matching、三视图球面 barycenter 教师与 rank-8 LoRA 蒸馏,五次升级共 50 个设置全部 R@1 第一,比旧模型高至多 18.0 点。
- Wide-Beam Generative Retrieval(LinkedIn):切口是把 SID trie 变成模型原生的 GPU 张量工件并复用 prompt K/V,做法为 grouped GEMM、流式 log Z 与 shared-context attention,生产回放闭环吞吐提升 3.63–5.57×,p95 ≤1.2s 下服务 28 vs 3 QPS。
- DealRank(mixedbread):切口是让重排调度对齐检索器排名分布,做法为按检索排名轮转发牌(w=20)、每手取 q=4 后仅一次最终排序,nDCG@10 57.6 与滑窗 57.9 无显著差异,但只用 2 轮、6 次调用、31k token。
核心差异。 两条轴线:监督信号从哪来,以及注入发生在哪个阶段。
- 信号来源:Yuanbao 把外部 rubric 摊销为逐文档标签,VIBRA 用多视图教师 barycenter 定义目标,COTTI 用常规/促销历史视图的对比构造正对,DealRank 直接用第一阶段检索排名当先验——都不再依赖单一人工标签。
- 注入位置:IntentGR 在输入、对比目标、采样分布与 cross-attention 四处同时注入,LinkedIn 把约束下沉到 LM head 与 attention kernel,VIBRA 把兼容性做成训练期蒸馏,COTTI 则把训练期正则与服务期调分彻底分离;IntentGR、LinkedIn 属单阶段内对齐,VIBRA、COTTI 属跨阶段或跨模型代际兼容。
- 验证强度:六篇中只有 Yuanbao 与 COTTI 有真实线上流量,其余为离线或回放;Yuanbao 组件增益之和 9.16% 高于端到端 8.52%,说明全链路收益有重叠,不能把各模块增益简单相加。
趋势判断。 全链路对齐的下一站不是“加更多监督”,而是“证明增益来自哪一层、升级成本可接受”。
- 增益分解与饱和预警:Yuanbao 的 rubric 与人判断一致性上限 79.3%、utility 已接近饱和,边际收益将转向找出仍未对齐的错位点,而非继续堆 rubric。
- 从训练期对齐转向服务期可调:COTTI 的 ABA 以 2.2ms p99 换来事件条件调整,但该文自认缺少分组与分布鲁棒性保证,这条线仍需补统计保证。
- 兼容性会与精度并列成为指标:VIBRA 的 50/50 设置与 LinkedIn 的吞吐收益表明,下一代工业论文的卖点可能是升级旧系统的增量成本;IntentGR 的 +11.96% 与 DealRank 的调度收益仍停在离线,还需生产验证。
四、📰 逐篇解读
1. From Relevance to Utility: Rubric Alignment in Yuanbao Search(腾讯)
- 场景:搜索场景,腾讯元宝的 agentic search 中,LLM 基于文档集合合成答案,覆盖检索、排序、选择三段链路。
- 线上效果:线上 A/B(5% 流量、14 天):答案质量 GSB +8.52%,组件级检索 +0.40%、排序 +3.94%、选择 +4.82%;离线四基准 Recall@1K 提升 +11.2~+14.2 点,labeler PNR 4.50→4.82,排序 PNR 3.807→3.959,选择 Utility 9.45→9.73。
- 问题:已有工作要么只定义证据质量(rubric 评估器)而不训练,要么只在选择阶段做 RL、上游检索排序仍与答案质量不对齐;且 rubric 天然是集合级评估,无法直接给单文档打标签。
- 动机:应把 rubric 作为全链路唯一监督面——用轻量 labeler 把集合级 rubric 摊销成逐文档 utility 标签训练检索排序,用 rubric 条件评估器产生集合级 reward 训练选择器,让所有阶段对齐同一目标。
- 贡献:① 提出 rubric-as-reward 公式化,以查询相关、集合级 utility 作为全链路唯一监督面,并用轻量 labeler 摊销为语料级逐文档 utility 标签。② 提出双分支 RL 选择训练,用 GRPO 加 best-rollout distillation 在稀疏集合级 reward 下稳定收敛并解决信用分配。③ 在元宝搜索工业部署,离线与线上实验验证各组件及端到端系统有效性。
- 做法:rubric 由三模型粗抽候选 criteria 后 merge 去重、再锚定生产 top-15 文档细化为可核验子 criterion;Qwen3-4B labeler 从 235B 教师蒸馏加 GRPO,输出 0–3 级 utility 标签。检索端 Qwen3-Embedding-0.6B 先在 610M 生产 query-doc 对上做双向 InfoNCE 预训练再按高 utility 标签微调,排序端 Qwen3-4B 四打分头(utility/authority/freshness/quality),选择端 Qwen3-7B policy 按 PE Judge 的 rubric 分、以 8 条 rollout 的组归一化优势分走 GRPO 或 best-rollout distillation(λ=0.5)。
- 局限:rubric 与人判断一致性上限 79.3%、组件收益存在重叠(个体之和 9.16% 高于端到端 8.52%)、utility 已接近饱和,且与 SARA 只在选择阶段学习文档子集、把上游检索排序当给定不同,本文用同一 rubric 同时监督检索与排序。↗
2. IntentGR: Enhancing Intent for End-to-End Personalized Generative Retrieval in Search(浙江大学、阿里巴巴、淘宝)
- 场景:搜索场景,AliExpress 电商个性化搜索下的端到端生成式检索(GR)。
- 线上效果:无线上 A/B,仅离线:AOL4PS 上 Recall@10 77.99%、NDCG@10 74.33%,较 ETEGRec-Q 提升逾 8%;AE 上较最强基线 Recall@10 +11.96%,长尾 query 增益更强。
- 问题:现有端到端 GR 把 query 仅当输入特征,不用于指导 SID 学习与序列生成;ASI++ 虽编码 query 但只用于对齐与平衡 ID 分配且完全忽略用户行为历史,导致 tokenization 与 generation 两阶段的意图指导都弱,生成 SID 偏向高频 token 模式。
- 动机:把 query 相关行为证据加入输入就能带来明显提升,说明输入级意图证据有效;但仅加输入不够,还需在对齐、训练分布、解码三处配套机制才能充分利用这些证据。
- 贡献:① 提出 QBR,把查询级历史点击聚合成 query 级协同过滤证据拼入输入。② 用 QSA 双向对比损失让 query 语义对齐 tokenizer 的 item 表示,并用 LQE 对长尾 query 重采样加 rewriting 修正训练分布。③ 用 QAM 在解码端把 query 表示池化广播后再做 cross-attention,实现输入、优化、分布、解码四处注入意图。
- 做法:基于 RQ-VAE item tokenizer 加 T5 生成式 retriever,QBR 将上下文从查询与用户历史扩展为查询、query 级历史、用户历史三段拼接;QSA 用 query token 经映射后与重建 item 表示做双向对比,LQE 对频率低于阈值的长尾 query 重复采样并构造语义变体(γ=2);QAM 将 query 表示池化为向量广播后参与 cross-attention(α=0.8)。
- 局限:仅在两个离线数据集评估、未报告线上 A/B,且与 ETEGRec 面向序列推荐、不含 query 信息不同,本文显式用 query 语义同时指导 tokenization 与 SID 生成并引入用户行为历史。↗
3. VIBRA: Backward-Compatible Cross-Modal Retrieval with Consensus Barycenters(Meta)
- 场景:学术场景(无业务场景),跨模态图文检索召回系统的 encoder 升级,且旧 gallery 不重编码。
- 线上效果:无线上 A/B,仅离线:五个基准、五次升级共 50 个设置全部 R@1 第一,比最强兼容基线高至多 5.6 点、比旧模型高至多 18.0 点(平均 +6.5 点),比双 encoder 的 SLERP 高 2.3 点;部署延迟基本等于新 encoder,比 SLERP 少 7.4–8.2 ms。
- 问题:现有兼容方法要么拟合同一条输入的旧 query(query-side map),目标里没有纠正旧模型错误的机制、精度只能贴近旧模型;要么像 SLERP 每次查询同时跑新旧两个 encoder,抬高延迟。
- 动机:瓶颈在训练目标——由旧 query 定义的目标最多复现旧模型的排序连同其错误,而由相关性(旧 gallery 上应被检索到的条目)定义的目标才可能超越它;不同模型在不同条目上犯错,因此单 encoder 可以向融合新旧与辅助模型的教师学习。
- 贡献:① 提出 VIBRA,旧 gallery 不变、部署只跑单个 encoder,教师由检索目标导出并取多视图的球面 barycenter。② 建立兼容目标理论,Proposition 1 证明各视图最难无关条目不同时 barycenter 的 margin 比各视图平均多出 dispersion 增益 D,并刻画单 encoder 能继承的投影份额。③ 在五个基准、五次升级的 50 个设置中全部排名第一。
- 做法:三阶段——relevance matching 在旧 gallery 上用 listwise 损失拟合真实相关性 one-hot 与新模型分布的混合目标(λ=1/2),线性头与正交 Procrustes 映射按 β=0.75 平均得初始 query;consensus correction 把新、旧、LAION CLIP ViT-H/14 辅助三视图按最小方差组合加权成球面 barycenter 作教师;consensus inheritance 对图像塔 attention 的 query/value 投影加 rank-8 LoRA 蒸馏,文本 query 由初始映射与对比映射的 barycenter 直接给出。
- 局限:单 encoder 只能继承增益的投影部分、文本侧无 student 因而收益较小,教师仍需训练时可得的新、旧、辅助三类 encoder;与 BCT 面向带类标签图像检索且通常从头训练不同,本文微调跨模态预训练模型且不重编码任何 gallery。↗
4. COTTI: Contrastive Training and Time-Aware Inference for Robust Industrial Recommendation under Promotional Drift(Alibaba、Huawei)
- 场景:电商推荐场景,飞猪旅行促销期的 CVR 预估。
- 线上效果:线上 A/B(12 月 1–10 日、25% 流量,对 HDR):CVR +3.14%、RPM +2.68%,ABA 增加 2.2 ms p99(p99 38.9 ms、吞吐 14,700 req/s);离线 AUC 0.8127,高于 TEN 的 0.8101 与 TEN+ABA 的 0.8123。
- 问题:常规流量上增量更新的模型对促销短时峰值响应过慢;HDR/TEN 把适应当作一个整体,未分离训练时的历史正则与服务时的事件分数调整,无条件的历史一致性会压制促销期有用的行为变化,过度适应瞬态交互又会削弱稳定偏好。
- 动机:常规历史提供参照、促销交互混杂低意向浏览与有价值发现、活动日程提供前瞻上下文,三者作用于不同对象;表示一致性管不住单个促销样本的影响,训练时加权在参数冻结后也无法响应事件时机,故应分层:训练期控影响、服务期调分数。
- 贡献:① 提出三组件框架:跨周期表示对齐 CPC、按历史距离的样本加权 RW、固定服务参数下的事件条件分数调整 ABA。② 分析指数加权对训练目标平衡的影响,并推导 ABA 引起的概率偏移与成对排序变化上界。③ 通过组件消融、跨品类分析、校准对照、服务成本测量与线上 A/B,识别聚合预测、新品类发现与部署成本的权衡。
- 做法:训练期 CPC 用同一用户常规与促销历史视图作 InfoNCE 正对(τ=0.07)并按视图方差自适应加权反传,RW 按样本与历史表示的平方距离做 batch 标准化指数加权(γ=1.5)且对权重施加 stop-gradient;服务期冻结预测器,ABA 用 head dropout(M=10)的预测方差作不确定性代理,乘高斯事件核(峰值来自公布日程)单侧上调 logit,校准参数在验证集网格搜索。
- 局限:聚合预测与业务收益伴随新品类召回下降、服务成本上升,且论文未提供分组或分布鲁棒性保证;与 HDR/TEN 把适配当整体不同,本文把适配拆成用户历史视图对齐、单个促销样本加权、事件条件 logits 调整三个对象与阶段。↗
5. Learning Cross-Domain Media Similarity from Amazon Reviews(Amazon)
- 场景:电商推荐场景,Amazon 书与电影跨品类 item-to-item 相似度,属离线学术研究。
- 线上效果:无线上 A/B,仅离线:CROSS→CROSS R²=0.96、GLOBAL→GLOBAL 0.85、GLOBAL→CROSS 0.32,而直接跨域迁移 SAME→CROSS 为 -4.00。
- 问题:item 相似度依赖平台私有的海量用户交互日志,学术与独立系统难以获取;跨域场景常无重叠用户,仅用域内数据学到的规则完全无法泛化。
- 动机:把私有共现信号不再视为不可得,而是当作明确的监督回归目标,用公开评论文本与时间特征去拟合;直觉是域内相似度靠语义重叠,而跨域需靠行为热度对齐。
- 贡献:① 将 item 共现预测形式化为基于公开评论文本与时间信号的监督学习任务,无需私有交互数据。② 设计并验证跨异构媒体域泛化的相似度框架。③ 通过 SHAP 与块级特征消融揭示结构性迁移:域内依赖语义约 68%、跨域转向行为热度约 69%。④ 提供对标真实私有共现数据的完整可复现评测。
- 做法:以 item 对共享用户数定义共现,10-core 过滤后同域取 k≥5、跨域取 k≥2,用 item-based cosine 作连续标签;特征为评论文本与标题聚合后 TF-IDF 取关键词再经 SBERT 编码、活跃年份 Jaccard、流行度差与评分差四块拼成 775 维向量,输入 XGBoost 回归,训练集按 100 bins 做随机欠采样。
- 局限:纯离线回归、无线上验证,零样本跨域迁移仍失败,且强依赖 Amazon 数据与桥接用户;与从共购网络元数据构图并预测新边的工作不同,本文不假设推理时已有共购图,直接用评论语义与时间特征。↗
6. Efficient Wide-Beam Generative Retrieval with Model-Native Trie Decoding and Shared-Context Attention(领英)
- 场景:生成式推荐与召回,服务 LinkedIn Hiring Assistant 的招聘候选人召回和 Qualification Retrieval Platform 的会员资质检索。
- 线上效果:无线上 A/B,仅离线:生产流量回放闭环吞吐提升 3.63–5.57×(QRP)与 1.98–2.69×(LHA),开环在 p95 ≤ 1.2s、完成率 ≥ 98% 下最高服务 28 vs 3 offered QPS。
- 问题:现有 Python CLP 基线先把 LM head 物化成全词表 N×V 分数张量(FP32 占 4NV 字节),再经 Python 约束回调和全词表掩码丢弃绝大多数,CPU–GPU 协调与显存带宽开销大。且每行 beam 都重复对同一 prompt 做 attention,共享 K/V 被反复读取。
- 动机:目录结构应由模型原生承载而非外部回调——只投影当前 codebook 的紧凑候选、同时流式保留全词表归一化项 log Z,即可免重训练保住有效 token 分数与跨行全局排序;注意力侧共享 prompt K/V 每 tile 只需读一次。
- 贡献:①把完整 SID trie 打包为与预训练权重配套的版本化 GPU 张量工件,输出路径只投影当前 codebook 候选、在 GPU 上做 trie membership 并流式保留全词表归一化,实现免重训练的精确紧凑打分。②提出 shared-context attention,在宽 beam 自回归 SID 解码中复用 prompt K/V、保留各 beam 私有尾部并以 online softmax 精确合并。③在 SGLang 中集成两套机制,从输出合法性、数值一致性、吞吐、尾延迟与显存多维度评估。
- 做法:Trie-Head 把去重排序后的 SID 集合编码为 CSR root/prefix/offset/terminal 张量,按 active codebook 分组投影(SM90 BF16 grouped GEMM),在 LM head 分块上流式求 max 与 log-sum-exp 得 log Z,有效 token 取 z_t − log Z;shared-context attention 用 Triton kernel 按 beam tile 复用 prompt K/V,把 prompt 与私有尾部的部分 softmax 状态 (m,z,o) 精确合并。
- 局限:仅支持三 token 等长连续 codebook 与兼容的因果 attention/KV 布局,有限精度下排序不保证逐位一致,且只验证两个负载和单张 H200。↗
7. More Than a Score: Reinforcement Learning with Verbalized Feedback for Generative Recommendation(腾讯)
- 场景:生成式推荐的学术研究,在 Amazon 评论数据上做离线实验,无线上业务场景。
- 线上效果:无线上 A/B,仅离线:Cell Phones H@10 为 0.0525 对 MiniOneRec-SFT 的 0.0477,Baby H@10 为 0.0279 对 0.0247,两个 backbone 上多数指标最优。
- 问题:现有 RL for GR 只用标量奖励,低奖励只说明推荐失败,无法区分"偏好不匹配"还是"重复推荐"等具体错因,也不指出下一步怎么改,策略只能靠反复试错做隐式探索。
- 动机:自然语言反馈能点明失败原因并给出改进方向,可由 LLM 用户模拟器依据用户历史偏好和候选画像生成个性化语言化反馈作为显式探索信号;但反馈是离散文本无法反传,需折入 rollout 与奖励联合优化。
- 贡献:①将个性化语言化反馈形式化为生成式推荐 RL 中的显式探索信号。②提出 VerRec,集成用户模拟器反馈生成、反馈条件候选精修与原始/精修候选联合 GRPO 优化。③在 3 个 Amazon 数据集、2 个生成式推荐 backbone 上验证准确率与排序提升,并分析反馈对探索多样性与训练奖励的影响。
- 做法:Qwen3-30B-A3B 模拟器依据用户历史评论的 aspect 与均分、候选 item 的他人评论摘要生成"评分+点评"式反馈,Qwen2.5-3B 策略以"原 prompt + 原候选 + 反馈"精修候选,原始与精修合成 2G 扩展组按 log-prob 重排打分。CLIP 只作用于原候选,精修候选用借鉴 LUFFY 的 policy shaping 缓解低概率 token 的高方差更新,推理时移除模拟器。
- 局限:仅在离线 Amazon 数据验证、未做线上 A/B,训练耗时约为基线的 1.47×。↗
8. Deal With It: On Better Schedules for Listwise Reranking(mixedbread)
- 场景:搜索 retrieve-then-rerank 第二阶段的 listwise LLM 重排,纯学术基准,无线上业务线。
- 线上效果:无线上 A/B,仅离线:nDCG@10 为 57.6,对滑窗的 57.9 与 BlitzRank w=20 的 57.8 均无显著差异。但仅需 2 轮、6 次调用、31k token,滑窗为 9 轮、46k。
- 问题:并行调度把候选切成连续块并每块只推进固定配额,块内前十条段落多于配额时好段落被切掉,须追加昂贵的修复调用,BlitzRank 平均在 59% 的查询上触发认证调用。且已有工作只比 token 数,忽视真正决定等待时间的并行轮次深度。
- 动机:重排前必有第一阶段检索器,相关段落集中在检索排名靠前处,按检索排名轮转发牌能让每手恰好持有 top Hq 中的 q 个,配额永不溢出,且在任何检索器深度上都均衡。
- 贡献:①在简单检索器模型下证明任何等配额切分在期望切掉真实 top-10 的数量上都不优于发牌,且连续分块随检索器变强反而切得更多。②提出 DealRank,即发牌切分加两轮固定调度,质量与最佳调度的差距在噪声内而轮数/调用/token 最少。③证明发牌在配额会生效的调度中普遍有效,BlitzRank 修复调用从 59% 降到 14%,层级化后在 1000 候选上仅 3 轮且比滑窗快 11 倍。④开源实现与全部核心实验复现代码。
- 做法:把第一阶段 top-N 按检索排名轮转发牌成 H 手(w=20),各手并发用 RankGPT prompt 排序,每手取前 q=4 进入唯一一次最终排序调用,按手内位次再按检索排名排列。500/1000 候选用层级发牌,全程 2–3 轮、无修复轮。
- 局限:最坏情况保证只覆盖 top-q(10 中的 4),在单个 LLM 上仍可能落后约 1 分,相对并发 BlitzRank 的提速较温和(1.1–1.4×)。↗
9. MIPR: A Benchmark for Reasoning-Intensive Multimodal Intent-to-Product Retrieval with Multi-Category Solutions
- 场景:电商推荐中的多模态"意图到商品"检索评测基准,纯学术,无线上业务线。
- 线上效果:无线上 A/B,仅离线:最强 embedding 检索器仅 49.23% nDCG@10、多解 query 上 55.86% recall@10,加 reranking 后提升到 60.11% 与 67.00%,仍明显低于 candidate-pool oracle。
- 问题:现有 multimodal 检索基准大多假设目标商品相对明确,对"一个意图存在多个类别解决方案"的检索场景探索不足,而真实电商 query 常只表达意图、不指名具体商品。
- 动机:单个用户意图可由多个类别的商品来满足,因此需要一个能刻画 reasoning-intensive 检索、多类别解且带细粒度相关性标注的基准来诊断检索器能力。
- 贡献:①提出 MIPR 基准,含 3,522 条多模态 query 与 30,731 个商品的共享 corpus。②具备 reasoning-intensive 检索、multi-category solutions、fine-grained relevance labels 三大特性。③实验显示最强 embedding 检索器仅 49.23% nDCG@10,与候选池 oracle 仍有显著差距。
- 做法:构建多模态 query 配共享商品 corpus 的检索基准,提供细粒度相关性标注,统一评测 embedding 检索与 reranking,并以 candidate-pool oracle 作为上界参照。
- 局限:摘要与提炼分析未提及具体局限。↗
10. SIMQ: A Single Graph-based Index for Multi-Vector Query(同济大学、蚂蚁集团、西安交通大学)
- 场景:搜索中的多向量稠密检索与召回索引,学术基准评估,无线上业务场景。
- 线上效果:无线上 A/B,仅离线:以 Recall、吞吐量与构建时间为主指标,但论文片段未提供实验章节的具体数值,也未列出数据集名称(未报告)。
- 问题:PLAID 类方法每次查询都要计算 K 与 query token 数的完整质心-查询交互矩阵,K 小则候选过滤代价高、K 大则矩阵计算代价高,且海量 token 做 k-means 通常需要 GPU。MUVERA 类 LSH 划分数据无关,随机超平面会把语义不同的 token 混进同一 cell,recall 不稳定需重复多次划分补偿。
- 动机:让每个 query token 沿图直接导航到最相关质心,就能天然跳过无关质心,在不物化交互矩阵的前提下使用远多于 PLAID 的细粒度质心;同时直接对数据均匀采样初始质心(PAG 思路)可避免全局迭代 k-means,获得贴合数据分布、语义一致的簇。
- 贡献:①指出现有方法的双重瓶颈——质心交互矩阵与数据无关划分的不稳定性,并形式化问题。②提出 SIMQ,即采样式数据感知聚类加逐 token 图导航近似 MaxSim,无需交互矩阵与 GPU 加速聚类。③理论证明在流形、簇分离与成功 cell 检索等假设下,数据感知划分的期望近似误差小于 MUVERA 的 LSH 划分。④提出 SIMQ+ 的计数打分与动态候选集,在五个基准上验证效率与效果。
- 做法:基于 PAG 均匀采样 α 比例 token 作初始质心,建临时图做图引导分配并对超过阈值 T 的簇局部递归切分,随后在质心上建单张 HNSW 图。查询时对每个 query token 图搜 nc 个最近质心汇总候选,取内积最大的已检索质心作近似分并累加得近似 MaxSim,再对 top-kr 候选取原始 token 向量精确重排;SIMQ+ 改用计数打分并按计数降序收集候选至 Nmin。
- 局限:仅离线基准评估,理论误差优势依赖流形、簇分离与成功检索到 cell 等条件假设,目前已集成进蚂蚁开源的向量检索库 VSAG。↗
11. RICoT: Recurrent Interleaved Chain-of-Thought for Page Stream Segmentation(Hyperbots、印度理工学院孟买分校)
- 场景:学术(无业务场景),面向金融 AP/AR 单据流(发票、采购订单、回单等)的 Page Stream Segmentation 文档智能任务。
- 线上效果:无线上 A/B,仅离线:TABME-250 上 GLM-5 RICoT 达 DocF1 0.847、B-F1 0.915;FinancePSS-205 最强提示配置 0.832 DocF1,蒸馏 Qwen-3.5-2B 学生达 0.785。
- 问题:pairwise 方案存在上下文隔离与每页重复编码的计算冗余,windowed 分类受固定窗口边界限制,全流处理又会随长度增长而退化。
- 动机:让模型像人读文件一样顺序推进——滑窗内先逐页推理再立即下边界决定,跨窗只携带一份紧凑的“已读记录”,在单次调用成本有界的前提下维持文档级连贯。
- 贡献:①对窗内逐页交错 CoT 推理、跨窗递推状态的 RICoT 滑窗框架,支持任意长流;②将其蒸馏进 2B 学生模型,含与不含页级推理的两模式效果相当;③发布 205 条真实脱敏 AP/AR page stream 基准 FinancePSS-205;④组件消融量化页级推理、状态传播、决策 schema、expand 后处理各自贡献。
- 做法:按 token 预算 3600、页上限 6、一页重叠的贪心打包构造滑动窗口,逐页交错生成 think 与结构化 decision;跨窗递推最近 k=6 条思考-决策对(永久保留活跃段起始两条)与活跃段摘要,辅以决策缓存、纠错调用、规则兜底和 expand 后处理。
- 局限:仅评测英文与单一金融域,基准规模小且由团队自标、无标注一致性研究,递推状态还使单条流必须严格顺序处理。↗
12. Music Similarity Learning in Sparse Latin Scenarios(Amazon)
- 场景:学术(无业务场景),音乐相似度估计与 similar-item 推荐,聚焦拉丁美洲稀疏、欠代表场景。
- 线上效果:无线上 A/B,仅离线:零样本 Global→Latin 的 NDCG@10 为 0.477,与域内 Latin→Latin 的 0.480 基本持平。
- 问题:深度多模态/音频方法依赖需许可的音频与专有特征、训练部署成本高;原始 cosine 在稀疏共现下会把仅少数共现的样本打成接近 1.0 的虚高相似度。
- 动机:公开元数据与评论文本已含足够信号,item-based CF 框架配合按共现比例动态收缩的 regularized cosine,即可在稀疏、欠代表区域上泛化。
- 贡献:①提出仅用公开元数据与评论、结合内容过滤与经典 item-based CF 的轻量可解释混合回归框架;②设计以共现次数占单项交互数比例作逐对动态惩罚项的 Regularized Cosine 作为回归目标;③以 Global→Latin 零样本评估验证跨区域泛化;④用 SHAP 揭示域间特征依赖从 Other Metadata 向 Review Data 迁移。
- 做法:三阶段流水线,以 Regularized Cosine 为监督目标用 XGBoost 回归,特征含 Jaccard 结构/时序重叠、SBERT 文本相似度、艺术家名精确匹配与缺失标志,按 item 级 80/20 划分防止泄漏。
- 局限:Latin 划分仅靠 categories 中的 latin 标签、Global 过滤至 ≥10 评论而 Latin 未过滤,跨域指标不可直接比较,且仅在 Amazon 元数据上验证、未用流媒体行为或 Last.fm/MSD 检验。↗
13. Cluster-Guided Decoding with Trust-Region Constraints for Personalized Recommendation(Amazon)
- 场景:召回(一阶段低延迟检索),学术基准评估,无线上业务场景。
- 线上效果:无线上 A/B,仅离线:MovieLens-20M 的 Recall@10 达 0.3799(较最强基线 LLMRec 0.2090 提升 82%),Steam 0.4067、Google Local-WA 0.1577,单 GPU 端到端延迟 1.6–2.5 ms(LLMRec 为 53.3–55.8 s)。
- 问题:现有推荐器对目录中每个 item 独立打分,不显式建模推荐属于哪个语义区域;而能提供这种控制的神经/LLM 模型推理太慢,无法在全目录上做在线一阶段检索。
- 动机:应把语义簇结构做进推荐器本身,用 K 个簇质心(K≪N)训练簇级先验来引导排序,既可控又低延迟,且冷启动用户无历史时先验仍定义良好。
- 贡献:①提出把簇先验加到语义相关性分上的 cluster-guided decoding 打分规则;②层次且上下文地构造先验,融合用户-簇亲和度与历史簇分布;③在 decoder 加性偏置与目标函数 KL 惩罚两处表达 trust region;④把簇引导强度 γ 做成由训练决定的标量。
- 做法:用 Qwen3-Embedding-4B 加 RQ-VAE 层次量化得到语义 ID 与簇层级,因果 Transformer 预测下一 item 表示并与质心相似度得簇分布 q;训练打分规则为语义相关性分 ⟨x̂u,fi⟩ 除以温度 τ 再加 γ·log q(簇先验)。
- 局限:仅在三个公开离线基准上评估,hard trust region 与冷启动回退等生产特性未验证,且 β=0 时只走了解码器路径。↗
14. Receiver-Conditioned Clarification for Multi-Agent Food Assistance(圣母大学)
- 场景:对话式推荐,食品援助场景:需求侧社会服务资源导航与个性化营养推理,供给侧供餐与配送/转运站点选址规划,属多智能体(MAS)交互式信息获取。
- 线上效果:无线上 A/B,仅离线:HoosierHelp 成功率 57.8%、Resource EM 72.1%、28.2k tokens/episode(较最强基线高 3.7pp 且省 5.1% token);NGQA 二分类准确率 0.778;FoodGo exact-site-set 成功率 97.2%。
- 问题:现有 VOI 澄清方法只面向单一决策者,而 MAS 中同一未决前提被多个证据需求不同的接收方消费;handoff 会丢失备选解释,多个 agent 引用同一上游证据还会被误当成独立确认而虚高置信度。
- 动机:澄清问题的价值应按其对下游接收方决策(可行决策集合与未满足证据义务)的影响来衡量,而非按前提自身的不确定度,且必须在 handoff 间保留备选解释与证据来源。
- 贡献:①构建并部署据作者所知首个同时覆盖食品援助需求侧与供给侧的会话式助手;②提出 receiver-conditioned clarification 框架,把单决策 VOI 扩展到相互依赖的接收方决策;③在同一交互预算下联合评估信息澄清、fallback 接受及其预期后续交互;④在三个任务上全面超过所有基线并做原子问题与组件消融。
- 做法:纯推理时运行,用时间展开依赖图记录 agent 调用与作用域内前提,共享前提跨 handoff 保持同一身份;规划器为每个接收方返回 decision signature(可行决策集与剩余证据义务),对每条问题模拟回复并用完整任务效用差 ΔU 减去含后续交互的期望成本 C 排序,仅净价值为正才发问,且只执行续链第一步。
- 局限:全部结论来自三个基准/自建任务且用户为模拟,主实验与消融采用不同协议不可直接比较,框架还依赖冻结骨干与固定的共享交互/推理预算。↗
15. GuardAgent: A Memory-Augmented Agentic Framework for Adaptive Detection of Adversarial Promotions in LLM-Based Recommendation(新南威尔士大学、CSIRO、莫纳什大学)
- 场景:生成式推荐(学术研究),面向 LLM-based 推荐系统中以推广目标物品为目的的对抗攻击检测,无线上业务。
- 线上效果:无线上 A/B,仅离线:Amazon 上 ACC 0.93、F1 0.92、Recall 0.88(次优检索式 ICL 为 0.87/0.86/0.79),Yelp 上 ACC 0.84、F1 0.81。
- 问题:现有 LLM 检测器采用静态、一次性判定,无法适应持续演化的攻击策略;传统防御只针对训练期数据投毒,对推理时的 prompt 扰动无效;且检测器多为黑盒,不暴露可理解的决策过程。
- 动机:把对抗检测建模成 Perception-Action-Reflection-Memory 的认知循环,让 agent 通过反思自身误判持续演化文本化决策策略并沉淀到记忆,从而既自适应未见攻击、又输出可审计解释。
- 贡献:①首个系统研究 LLM-based 推荐系统中推广式对抗攻击检测;②将对抗检测形式化为带持续学习与自演化的认知 agent 循环;③提出 GuardAgent,以显式文本策略与推理轨迹给出可解释检测结果;④在真实数据集上稳定超越 SOTA 基线并展现强泛化。
- 做法:行动阶段用三步结构化 CoT 让 LLM 对 benign–malicious 候选对估计对抗概率并取高者,判错触发反思;反思阶段对一批失败案例做失败对内成对对比加批内聚合对比的两级分析,以 in-context learning 修订文本策略;记忆按 STM/LTM 与证据、轨迹、策略三层组织,推理时用 MiniLM 余弦检索 top-k 记忆增强判定。
- 局限:仅在两个离线数据集上验证,Yelp 召回率只有 0.68,实际部署效果未评估。↗
16. What Does an Agent Need? Bundle-Aware Agent Resource Composition(澳大利亚国立大学、悉尼科技大学、伦敦大学城市圣乔治学院)
- 场景:学术研究,没有业务场景;为任务组合 backbone 与 tool–skill bundle 的 agent 资源推荐。
- 线上效果:无线上 A/B,仅离线:在 AgentSelect 上,RDCR@10 为 65.88、CR-Hit@10 为 67.73%(最强基线 RAG-Kimi-K2.6 仅 36.73%),top-1 执行分 8.78(Oracle 为 9.38)。
- 问题:现有方法把工具绑定为训练词表中的学习 token/code,只能从训练目录中选择,新资源需要重训;retriever/router 又对工具或 backbone 逐个独立打分,忽略资源之间的互补与重复。
- 动机:增加一个工具带来的效用增益取决于 backbone 和已有 bundle(非可加),因此单个资源的相关性不等于组合后的任务适用性;应当按整体配置联合选择,并从资源描述中学习组合规律,让新资源一入库即可使用。
- 贡献:① 提出 AgentComposition 任务,给定任务与上下文,联合选择 backbone 并组装至多 Lmax 个工具,以最大化端到端执行效用,并指出 bundle 层面的非可加、组合爆炸与动态目录挑战。② 提出 retrieval-grounded、bundle-aware 框架,检索相似任务资源与历史配置,微调生成器再经约束 beam search 重组,bundle-level critic 以 LLM teacher 和历史成功配置为代理训练。③ 构建 AgentSelect-Exec(5,060 条已执行配置),从参考恢复、离线执行、跨域迁移与在线执行四方面验证组合能力可学习、可迁移。
- 做法:生成器以 Meta-Llama-3-8B + LoRA 初始化,读取资源描述并约束解码到检索到的合法组件,用 proposal 预算 P=5、剪枝宽度 W(η)=min{η, bmax, max(bmin, ⌈rkeep·η⌉)} 逐工具扩展;critic 将任务、答案与证据编码后接标量头,仅对完整配置做 K=10 重排。
- 局限:受检索召回上限约束,无执行反馈时 critic 只能依赖代理信号;与 ToolGen、ToolWeaver 的 token 绑定以及 AgentSelect 的现成配置排序不同,本文为新任务联合生成配置。 ↗
17. DLS: Dual-Logic Graph Neural Networks with Chaos-Fuzzy Residuals for Robust Link Prediction(锡斯坦-俾路支斯坦大学计算机系、德黑兰大学数学统计与计算机学院)
- 场景:学术研究,没有业务场景;面向同质或异质网络的链路预测。
- 线上效果:无线上 A/B,仅离线:Test AUC 为 Cora 99.78±0.03、Squirrel 97.99±0.38、Chameleon 99.59±0.06、Actor 98.10±0.52,其中 Actor 上超过 NCNC(89.73)逾 8%。
- 问题:MPNN 的递归聚合本质上是一种低通滤波,深层网络在最小化图信号的 Dirichlet 能量时会导致 over-smoothing,使同一连通分量内的节点嵌入收敛到同一点;在链路预测中,h_u≈h_v 会让 P(A_uv=1) 对所有节点对趋于均匀,这在异质图上尤其严重。
- 动机:把非线性动力学引入特征空间——混沌映射对初始条件敏感,可把因平滑而人为接近的嵌入重新拉开、恢复可区分性;但混沌会放大 aleatoric 不确定性,因此再用模糊逻辑的 tanh 软阈值只保留高置信信号,形成“受控不稳定”。
- 贡献:① 提出 Controlled Instability 策略,将 Logistic Map 引入链路预测,以放大细微特征差异、提升嵌入空间分辨率,缓解 over-smoothing。② 提出 Uncertainty-Aware Gating,用可微的模糊逻辑模块作可学习滤波器,权衡特征可区分性与信号鲁棒性。③ 在高度异质的 Actor 等图上验证有效性,同时保持关于边数与节点数的 O(E+N) 线性复杂度,避免子图挖掘开销。
- 做法:采用双通道特征投影——混沌通道取 r·x·(1−x)(r=3.9,处于正 Lyapunov 指数区),模糊通道取 tanh(α·x);两路辅助特征经 adapter 分别注入隐层,形成顺序残差,解码器用 σ(MLP(z_u⊙z_v)) 做端到端 BCE 训练。
- 局限:混沌率 r 是固定于全图的超参数,未做节点自适应,且未验证连续时间动态图;与 BUDDY、NCNC 依赖结构挖掘不同,本文只在特征侧做扩张与门控。 ↗
18. When the tail is earned by its companions: measuring label dependence in long-tailed multi-label classification
- 场景:学术研究,没有业务场景;用于长尾多标签分类的评测诊断。
- 线上效果:无线上 A/B,仅离线:在 6 个估计量可定义的语料上,独立召回全部更低,Ohsumed 有 18.4% 的尾部 TP 在无伴随召回率下消失,其他大词表语料为 3.0%–7.6%。
- 问题:现有诊断都依赖已训练模型的错误,无法在选定基准、投入算力之前判断语料是否会发生该失败;而 macro-F1 等一切由每标签混淆计数构建的指标,对召回命中落在“带伴随”还是“无伴随”样本上完全不敏感。
- 动机:罕见标签很少单独出现,分类器可以靠频繁共现的伴随标签认出它,却根本没学会该标签本身;因此需要一个训练前就能算出的统计量,刻画聚合指标到底能掩盖多少。
- 贡献:① 提出仅由训练标签计算的筛选统计量 π̄,在训练前给出报告尾部 recall 相对独立 recall 的膨胀上界。② 提出标签内效应 d=R_S−R_I 与共报判读规则,只有独立召回上升时的依赖下降才算纠正,而不是损伤模型。③ 证明每标签 recall 可精确分解为支持与独立两部分,并且所有基于混淆计数的指标对该分配不变。④ 审计 23 个语料、7 种训练目标与 5 类标签相关机制,发现训练目标不改变依赖,而“由其他标签预测推导尾部分数”的架构则强依赖。
- 做法:由训练标签估计尾标签的伴随集合 C(l)(条件概率阈值、lift、entailment cutoff),把正例划为 supported 与 independent 两部分,由 R=πR_S+(1−π)R_I 定义支持比 π 与 d;筛选上界为 R−R_I≤π。
- 局限:估计量仅在 23 个语料中的 6 个可定义,π̄ 只约束报告 recall 的膨胀,而不约束 d 本身;与 SCUMBLE、REMEDIAL 不同,本文把统计量绑定到指标可掩盖的召回膨胀。 ↗
19. HealthCLBench: Evaluating Context Learning in Health Conversations through Controlled Case Clusters(蚂蚁集团)
- 场景:学术研究,没有业务场景;作为中文医疗健康对话的开放问答评测基准。
- 线上效果:无线上 A/B,仅离线:GPT-6 Astra 的全上下文 case/cluster 得分 75.03/60.42,居首;八个系统在 Full–Query 条件下相差 11.83–31.76 case 分、10.87–38.97 cluster 分;人工复核 700 条回答,rubric 项级一致率达 90.5%。
- 问题:现有中文医疗基准分别覆盖多轮问诊、病例专属 rubric、长对话或文档,但没有一个同时整合显式上下文困难刻画、共享背景下的受控病例变体、开放式回答与逐成员评分标准。
- 动机:复杂健康问答必须结合个体信息与当前有效证据,同一主诉在不同检查证据、患者状态或任务目标下应给出不同结论;受控变体明确了“改了什么、目标行为该如何响应”,把上下文学习转成可逐项判分的任务。
- 贡献:① 构建 328 簇、1,103 例、4,931 条 rubric 的中文受控病例簇基准,覆盖 5 类医疗场景与 4 类 14 子类上下文困难。② 设计成员专属的 P0、P1、P2 三级 rubric,由 70 人医学团队(90% 执业医师)全量标注,并进行 25% 质控、10% 验收。③ 给出 7 个通用模型与蚂蚁阿福在全上下文、仅问句两种条件下的参考结果,并揭示模型在核对历史信息、表达不确定性、遵守必要条件上的失败。
- 做法:将病例建模为 x_i=(C_i, q_i, R_i, z_i),簇内成员共享背景,并经 Diffusion 沿证据变化、任务变化两个方向受控扩展,各成员独立作答与评分;评分包含 case score 与几何 cluster score,低分成员会拉低簇分。
- 局限:跨条件分数差异仅描述所报告评测设置下的分数变化,不能外推为能力因果结论;与 HealthBench 的英文非受控簇、MedEinst 的配对选择题不同,本文是中文受控簇加开放作答。 ↗
20. Teaching Language Models to Narrow Boolean Patent Searches from Search Feedback(京都工艺纤维大学、RIKEN Guardian Robot Project、长冈技术科学大学、爱知工业大学、大阪大学)
- 场景:搜索,是针对专利 prior-art 检索的学术研究。
- 线上效果:无线上 A/B,仅离线:一步行级信用 NetCapture 0.5952(SFT 0.4346),迭代 5 轮后 0.6774、Recall 0.8752、Min-hits 中位数 48.5(专家 282、SFT 768)。
- 问题:现有查询生成工作只优化单条查询的检索指标,而不是能自我精化的查询序列;prompted LLM 虽然语法有效、召回甚至超过专家,却把引用留在数百到上千篇的集合里,无法进入人工筛查规模。
- 动机:真实 prior-art 检索是迭代的——先放宽发现新面向,再收窄到可通读的集合,成功标准是相关文献落在足够小的集合内;策略级标量分数只说明哪条策略更好,不说明哪一行完成了有用的收窄,因此要用搜索观测直接给每一行记信用。
- 贡献:① 构建 38,397 份 JPO 检索报告数据集(425,405 条可执行布尔查询行、109,717 次引用)与可重放搜索环境。② 定义 screening-aware 的 NetCapture,测量每条引用被命中的最小集合,并证明 prompted LLM 找得到引用却收窄不到可读集合。③ 提出策略级 NetCapture 学习与行级 citation-preserving narrowing credit 两种离线适配生成器的方法。④ 共享 rollout 对照表明,行级信用在筛查指标上优于策略级分数与同批数据均匀模仿。
- 做法:三阶段解耦:先用报告策略做 SFT(Qwen3.5-9B + LoRA)学格式语法,再对 256 篇训练报告各采 8 条 rollout 在搜索环境逐行执行,最后把“保留引用且缩小集合”的行信用 δ_t 转成 token 权重,做一轮加权交叉熵。
- 局限:评估只取每条引用的最小集合,而非整场检索的并集阅读量;策略退化为纯文本改写,丢失专家赖以覆盖的分类号与集合代数,迭代也会侵蚀召回。 ↗
本日报由 AI 自动生成,解读观点仅供参考。