一、📊 趋势分析
🔥 工业论文的“结果”栏正在分裂:系统指标与约束满足率取代单一效果指标:RecoGEM 用集群峰值 60,000 QPS、P99 低于 35ms、吞吐提升 2.88× 和 9 个月稳定运行证明生产可用,通篇没有一个 CTR 数字;TS-GEAR 则同时报出广告收入 +4.2% 与 ValidRate@50 95.8% 这类“约束满足”指标。判断:生成式推荐进入生产后,评价体系必须同时容纳“跑得多快”和“约束守得多严”,只报离线 HR 的 GR 论文会越来越难被工业界采信。
💡 审计与复现集中爆发,矛头全部指向“默认值”:TTP 基准审计发现 4 个实例租金被存成 R=0.00 而退化为 0-1 背包,导致 dsj1000 上 9 个方法里 5 个报告同一个值 144,219;热舒适复现把 CCM 的 F1-macro 打到 0.31/0.29,低于均匀随机的 0.333;Likert 间距审计显示 α=2 时候选人 top-1 切换率达 37.7%。判断:社区的问题意识正从“模型不够好”转向“指标到底在测什么”,而这些工作共享同一根因——未公开、未做敏感性分析的编码选择足以改写结论。
💡 Semantic ID 成为新的建模战场,业务先验被写进 token 空间:TS-GEAR 的 GSID 用 3 个 geohash-6 地理 token 加 3 个语义 token,把配送可达性从生成后的硬截断变成解码约束;RecoGEM 把 SID 步间的异构形状保留为 runtime 与 engine 的架构边界;Pinterest 则用平均 2000 的簇把 VLM 标注成本压到 0.05%。判断:SID 不再只是压缩工具,而是承载地理、成本、语义等价类的可微接口——谁定义 ID 结构,谁就定义了模型能表达什么约束。
二、📋 今日速览
▍工业界(2 篇)
方法 | 机构 | 关键结果 | 证据 | 部署 |
快手、北京大学 | 生产级 GR 服务系统 RecoGEM,单实例 1000+ QPS、P99<35ms,吞吐提升 2.88× | A | 全量 | |
INTRODUCTION | GLOC 用图像 embedding 层次聚类、VLM 只标簇代表图,pivot CTR 较基线 +69.5%。 | A | A/B |
▍学术界(17 篇)
方法 | 机构 | 关键结果 | 证据 | 部署 |
淘宝 | 面向淘宝闪购即时配送搜索广告的生成式召回框架,线上曝光+3.8%、收入+4.2%。 | A | 未部署 | |
网易 | 提出 NDL,用表征一致性主动去噪,Recall@5 较 DAR 最高提升 17.95% | A | 离线验证 | |
上海人工智能实验室、复旦大学、中国科学院计算技术研究所 | 三条流水线分别用结构保留解析、agent 搜索与双模态 VLM,TableIE 以 0.6566 夺冠。 | A | 未部署 | |
阿里巴巴 | 提出 DcLBC,用 AMS 与 CKR 校准文档内块边界,ConTEB 最高提升 2.45 点 | C | 未部署 | |
阿里巴巴 | ShopMind 以心理世界模型模拟电商用户,个性化+18.0%、真实感+19.6% | C | 未部署 | |
约翰霍普金斯大学、Cohere、乔治梅森大学 | 构建 NarrativeBench 基准评测 14 个 LLM,发现跨语言叙事覆盖与信息对等存在显著缺口。 | C | 离线验证 | |
巴黎-萨克雷大学 LISN、CNRS、格勒诺布尔-阿尔卑斯大学 LIG | 逐臂取 UCB1/UCB-V 系更紧 bonus,异构方差 regret 799 最低 | C | 离线验证 | |
沙特阿拉伯 Prince Sattam bin Abdulaziz 大学、突尼斯斯法克斯大学 ENET'Com 电子与电信国家学院、斯法克斯大学理学院数据工程与语义研究组 | 发现TTP基准4个实例租金为0实为背包问题,5/9方法报同一值,重定租金并发布ttplib库 | C | 离线验证 | |
新加坡国立大学、PyroWis AI | 构建 CHO-Bench 离线基准,119 万次配对评测显示 context hints 使广告排名平均提升 0.56–1.16 位 | C | 离线验证 | |
哥本哈根信息技术大学、Pioneer Centre for AI | 审计丹麦 VAA:Likert 间距 α 翻倍使 37.7% 候选人首选推荐改变 | C | 未部署 | |
Across Physcis(北京)科技有限公司 | 冻结生成/4D重建/SLAM串联,MHAC使265个RoboTAP视频AJ较B0提升0.061 | C | 未部署 | |
Introduction | 复现 CCMs:修订协议后 cohort 模型不及简单分布基线,原性能提升不成立 | C | 未部署 | |
麦吉尔大学、佐治亚州立大学、俄亥俄大学 | 用 ATC 层级量化漏诊严重度并后验校准预测集阈值,MIMIC-IV 上平均严重度 0.2439 贴近 α=0.25。 | C | 未部署 | |
SAP | 客户监督微调检索器与必要性 scorer 融合,complete@15 最高 89.5%,超混合搜索 39–64 点 | C | 离线验证 | |
TrueGradient AI | 同类SKU池化弹性曲线并净除促销后回落,39个SKU四周促销units+20.6%、收入+6.9%、毛利持平。 | C | 未部署 | |
University of Cambridge, Cambridge、XSci, London | 一致性≠正确、验收只给 precision;池外审计把 recall 区间收到 13%–44% | C | 未部署 | |
美国贝斯以色列女执事医疗中心(BIDMC)数字精神病学部门与精神科、哥伦比亚哈维里亚那天主教大学医学院精神病学与心理健康系、德国柏林夏里特医学院精神病学与心理治疗系 | 审计41个LLM三视角心理健康干预推荐,模型多推荐自评高分项,但621项中83项负分仍入选 | C | 未部署 |
三、🎯 今日主题
约束内化:把边界从后处理搬进结构
问题背景。 推荐系统的业务约束与结构先验长期活在模型之外,用过滤器、阈值或人工规则兜底,代价是约束不可微、证据链断裂,或把成本转嫁给线上。
- 配送可达性只能靠生成后不可微的硬截断过滤,beam 中的候选被成片浪费(TS-GEAR)。
- 去噪方法以训练 loss 作噪声信号,噪声必须先误导模型产生误差才会被识别(RCD)。
- 块级检索的块边界只用于编码后池化,最终层注意力并不感知检索单元(DcLBC)。
- 企业 schema 命名隐晦且跨库数百张表,LiveSQLBench-Large 上 search top-100 仅覆盖 51.7% 的参考表(NIFT-SQL)。
代表方案对比。 六篇工作分别在解码、训练、注意力、索引四个位置把约束前移,路径各异但目标一致——让约束在计算内部生效而非事后补救。
- RecoGEM(快手、北大):切口是 SID 步间异构与在线更新一致性,做法是把 step 边界固化为 runtime–engine 的架构与编译边界、以 contract gate 加原子指针切换热更新,结果单实例超过 1000 QPS、P99 低于 35ms、吞吐提升 2.88×,集群峰值 60,000 QPS。
- TS-GEAR(淘宝):切口是即时配送的可达性,做法是把地理编码为 3 段 geohash-6 前缀加 3 个语义 token 的 GSID、解码时把前两个地理 token 约束在用户 4 位 geohash 的 3×3 邻域,结果线上 7 天曝光 +3.8%、收入 +4.2%,HR@50 0.8080 对 OneLoc 0.5929。
- RCD(网易):切口是让噪声信号脱离预测误差,做法是用交互表示与用户历史质心的余弦一致性、按活跃度融合 loss 并转成维度自适应掩码,结果 Recall@5 较 DAR 提升 +12.33%/+17.95%/+5.63%,且推理输出与 LightGCN 完全一致、不增线上开销。
- DcLBC(Alibaba):切口是查询–文档对的异质边距与块边界,做法是 AMS 实例级缩放把优化力度集中到 hardest sibling、CKR 把块路由注入 post-RoPE Keys,结果 ConTEB 八任务宏平均 NDCG@10 上 ModernBERT-large 78.61 对 InSeNT 76.70。
- GLOC(Pinterest):切口是 VLM 标注成本,做法是用层次 K-means 选簇代表图标注、在线按簇归属查 KV store,结果 pivot feed engagement 较 control +146%、标注成本降至 0.05%。
- NIFT-SQL(SAP):切口是企业 schema 的客户特异性,做法是用客户验证问题微调逐表必要性 scorer 并与 hybrid search 融合、全程不调生成式 LLM,结果 complete@15 达 69.2%/89.5%/85.6%,而 hybrid search 仅 30.4%/41.0%/21.8%。
核心差异。 真正的分野不在“要不要前移”,而在约束落在哪一层、以及它是硬保证还是软偏好。
- 沿“约束载体”轴:TS-GEAR 落在 token 空间、解码时生效,RCD 落在损失与表示、仅训练回路生效,DcLBC 与 RecoGEM 落在注意力与运行时架构,GLOC 与 NIFT-SQL 落在检索键与打分器。越靠近解码端越能保证可行性,越靠近索引端越依赖监督信号质量。
- 沿“约束硬度”轴:TS-GEAR 是结构性硬约束,ValidRate@50 因此从 35.4% 升到 95.8%;RCD 用维度掩码软限维、冷启动时回退 loss;NIFT-SQL 则完全是学出来的概率偏好,没有任何硬保证,其增益也因此最依赖客户标签量(21–69 条问题的学习曲线)。
趋势判断。 约束内化已是共识,但各家都只内化了一段,下一阶段的竞争是让多个约束在同一层联合可行。
- 单一约束走向联合约束:地理之外的库存、预算、时效等约束仍普遍留在后置模块,把多组业务约束编进同一组可解码前缀、让可行性在 beam search 内一次成型,是 GR 召回最清晰的下一步。
- 评价从效果指标扩到“约束满足率 + 系统开销”:RCD 的“推理输出与 LightGCN 完全一致”和 RecoGEM 的“不停流热更新”会和 ROI 一样成为卖点,因为约束内化的收益只有在不牺牲延迟时才成立。
- 用结构替代规模:GLOC 靠 2000 规模的簇摊薄标注、NIFT-SQL 靠几十条客户问题替代大模型,二者都在证明“找到正确的结构单元”比“堆更大模型”更划算;本日 19 篇中真正带线上效果的三篇(RecoGEM、TS-GEAR、GLOC)无一例外都是结构先行。
四、📰 逐篇解读
1. RecoGEM: A Serving System for Production-Scale Generative Recommendation(快手、北京大学)
- 场景:生成式推荐生产服务。快手搜索、广告、推荐三场景,支撑 OneModel、OneRec-v2、UniSearch 等 10+ GR 模型族,覆盖约 4 亿 DAU。
- 线上效果:无线上业务 A/B,未报告 CTR、eCPM、收入,仅系统指标:单实例超过 1000 QPS、P99 低于 35ms、吞吐提升 2.88×,集群峰值 60,000 QPS、MFU 55.3%,已稳定运行 9 个月。
- 问题:GR 无法复用 LLM/RecSys 栈。解码各步的语义不同,张量形状也不一样,并且步间要按 beam 策略做候选状态转移;而 LLM 引擎只有同构 token 循环,还假设权重、词表、策略在 worker 生命周期内稳定,于是更新只能停流换引擎。执行上 GR 是 many-row 短 KV、步骤形状可预测、大 K Top-K 在关键路径,与长上下文、均匀 decode、小 sampling tail 的 LLM 优化方向相反。
- 动机:GR 步间差异虽异构但可预测(步数、每步前缀长度、beam 宽度在给定部署下固定),应把 SID step 边界显式保留为架构边界与编译边界:runtime 管状态转移与版本一致,engine 只按每步真实出现的窄形状、短 KV 行与大 K 选择做特化。
- 贡献:① 提出 runtime–engine 解耦架构,runtime 管理 SID 步转移、逐请求候选状态与在线更新,engine 只做张量计算,并由自动生成的 deployment contract 固化接口。② 设计 contract gate 加原子指针切换的在线更新,权重、SID 词表与 beam 策略可热更新,且每个请求只跑单一一致版本。③ runtime 用双缓冲 gather-and-copy 把 beam 后稀疏的 self-KV 压成 dense 前缀 KV,并让 KV 拷贝与下一幸存者的地址准备流水重叠。④ 三项执行优化:row-tiled self-attention、step-granular planning、两阶段精确 Top-K。
- 做法:context processor 一次产出 cross-KV 全程复用,self-KV 按 survivor indices 从 active buffer gather 进 standby prefix buffer 作为下一步 past-KV;执行侧把 beam 扩展后的行按 tile 片上融合 score、逐行 softmax 与 value reduction,编译期对 t=1 到 L 干跑推断逐步维度并生成 step-bounded profile,候选选择先在每行 precut 再在幸存者并集上做请求级 Top-K。
- 局限:所给内容只覆盖系统指标与设计,未给出 CTR 等推荐效果收益及与具名基线的逐项对比。 ↗
2. Scaling Taxonomy-Free Image Labeling with Generative AI: A Multimodal
- 场景:搜索。Pinterest 多模态 Hybrid Search 的图像 descriptors 与 pivot 查询建议。
- 线上效果:线上 A/B(美加,时长未报告):pivot feed engagement 较 control +146%、较 text-GPT 基线(BT)+100%,pivot CTR 较 BT +69.5%,descriptor feed engagement 较 control +79%;离线人工评估 pivot 适用性 3.5/4、descriptor 相关性 2.51/3(不相关率仅 4%)。
- 问题:基于 taxonomy 的预测模型受固定标签体系限制,覆盖有限、标注成本高且有人工误差;VLM 逐图生成虽更丰富,但在十亿级图像上推理成本过高、在线延迟不可接受。
- 动机:语义相近的图像可共享同一组 descriptors/pivots,因此只需每簇标一次并泛化到簇内成员,用平均 2000 的簇规模把 VLM 成本摊薄,同时保留 VLM 级描述质量与低延迟在线查找。
- 贡献:① 提出 taxonomy-free 的 GLOC 框架:大规模层次 K-means 聚类、选簇代表图、VLM 标注、在线按簇归属查 KV store。② 设计层次 K-means,把聚类复杂度从 O(N²T/C) 降为 O(NST/C),无需分布式 GPU 集群。③ 在 Pinterest Hybrid Search 落地 descriptors 与 pivots,标注成本降至 0.05%。④ 离线人工评估与在线 A/B 均显示显著优于 taxonomy 基线与 text-GPT 基线。
- 做法:先用 k-means 粗分区使每个分区能放进单卡 GPU 内存,再在分区内二次聚类,用质心最近邻取代表图交 VLM 标注,最后合并所有质心建索引;embedding 采用 Pinterest Unified Visual Embedding,在线以单层神经网络(约 1M 质心)或 ANN 索引做归属查找后查 KV store。
- 局限:簇边界质量略降(成员到质心平均距离可翻倍),且依赖契合具体 insight 类型的高质量 embedding。 ↗
3. TS-GEAR: Taobao Shangou GEnerative Ad Retrieval(淘宝)
- 场景:搜索与生成式召回。淘宝闪购(即时配送)搜索广告召回。
- 线上效果:线上 7 天 A/B:广告曝光 +3.8%、广告收入 +4.2%,0.1B 骨干日均服务 1.5 亿次查询;离线 TS-Delivery 生产半径 20km 下 HR@50 0.8080 对最强基线 OneLoc 0.5929(+36.3%),ValidRate@50 95.8% 对 35.4%。
- 问题:现有 SID 只把地理当软信号,配送可达性只能靠生成后不可微的硬截断过滤,浪费 beam 且无法端到端优化;行为聚合未以实时查询-位置为条件导致兴趣偏差,自回归逐序列训练也缺少集合级信号抑制近重复候选。
- 动机:可达性本质上是空间前缀,应把地理编码成可解码的 GSID 前缀并在解码时结构性约束;召回交付的是一个集合,其价值取决于整体覆盖与多样性,用集合级奖励改写 RL 优势比 token 级似然更对齐业务目标。
- 贡献:① 提出 Geo-Semantic ID(3 段 geohash-6 地理前缀加 3 个语义 token)与前缀级约束解码,把可达性从后置过滤变成生成目标。② 提出 Query-Geo Target Attention,以实时查询和位置为双目标聚合历史行为并支持跨区域兴趣迁移。③ 提出 GMPO,用去重组奖励与边际优势改写 GRPO 优势,无需辅助多样性目标即可优化集合价值并抑制策略坍缩。④ 工业与公开数据集上 HR、ValidRate 全面领先,并在线上取得曝光与收入双涨。
- 做法:encoder 底层 self-attention、上层分地理与语义双路径做 Query-Geo Target Attention 并由门控 α 加权,decoder 为 T5 式自回归且 User-Geo Gate 仅在生成地理 token 时注入实时位置;解码时前两个地理 token 约束在用户 4 位 geohash 的 3×3 邻域内,先点击日志 next-token 预训练再用 GMPO 对齐,beam 300。
- 局限:公开 POI 数据无真实查询与配送半径、Query Fusion 在全量人群上效果几乎不可见,且 geohash 网格尺寸随纬度变化只是近似。 ↗
4. Proactive Dimension-Adaptive Denoising for Graph Collaborative Filtering via Representation Coherence(网易)
- 场景:信息流推荐。网易新闻信息流的 LightGCN 图协同过滤召回通道。
- 线上效果:无线上 A/B,仅离线:Yelp、Amazon-book、MovieLens-1M 上 Recall@5 较最强基线 DAR 分别提升 +12.33%、+17.95%、+5.63%(p 远小于 0.001);目前仅计划监控 CTR 与停留时长。
- 问题:T-CE、R-CE、DAR 等显式去噪方法都以训练 loss 作噪声信号,属被动机制——噪声先误导模型产生预测误差才被识别;且 loss 受训练阶段、负采样随机性和 hard positive 干扰,作为唯一噪声指标不可靠。
- 动机:嵌入空间中噪声交互的表示会偏离用户历史偏好质心,余弦一致性可作为独立于预测误差的主动信号,且与 loss 盲区互补(冷启动用户质心不稳时回退 loss),融合可同时减少漏检噪声与误杀干净交互。
- 贡献:① 提出 RCD,用交互表示与用户历史质心的余弦一致性构建不依赖预测误差的主动噪声信号。② 设计活跃度感知的 RCD/Loss 融合,并转为交互级维度自适应 mask,可靠交互用满维度、可疑交互限维。③ 三个稀疏度差异大的公开基准上全面超越 SOTA DAR,去掉对比学习的核心变体在更稀疏数据上已超 DAR,隔离出 RCD 为主要增益。④ 仅作用于训练回路,推理输出与 LightGCN 完全一致,不增加线上延迟、参数或内存。
- 做法:交互表示 r_ui 取 e_u 与 e_i 的逐元素积,用户历史均值质心每 epoch 用当前嵌入重算,一致性经 sigmoid 得 α_RCD,与 EMA 平滑 loss 得到的 α_loss 按活跃度权重 w_u 融合,再取有效维度 d_ui = ⌊(1−α)d⌋ 与二值掩码对嵌入限维后做预测。
- 局限:假设用户短期偏好稳定、每 epoch 质心计算有额外开销、多兴趣用户场景未解决,线上效果尚待 A/B 验证。 ↗
5. Multi-Modal Agricultural Document Understanding at the DAGRI Task(上海人工智能实验室、复旦大学、中国科学院计算技术研究所)
- 场景:学术评测(DAGRI 的 TableIE 表格抽取、MTMH-QA 多表多跳问答、FiT-QA 图表问答三个子任务),无业务场景。
- 线上效果:无线上 A/B,仅离线:TableIE test exact match 0.6566 排名第一(baseline 0.0576);MTMH-QA 修订后 accuracy 0.8444(初始 0.7350 居首,baseline 0.1682);FiT-QA test BLEU 54.5788 最高,LLM Judge 与人工评估第二。
- 问题:pdftotext 一类解析把复杂表格压平,破坏表头、数值、单位关联,稀疏排班表上纯文本无法对齐数据格与行列头;跨文件 JSON 问答需精确数值匹配而语义检索难以定位证据;VLM 还会读错密集小字,并因语体、单位不一致让语义正确的答案在 BLEU 上大幅掉分。
- 动机:结构保留的 HTML/Markdown 能保住合并单元格、多级表头与表头-数据格对应关系,按经营类型切分长文档可降低输入复杂度并隔离失败;对需精确局部匹配的多表问答,agent 直接用 shell 逐文件探索比语义检索更能保住证据链,OCR 文本与原图互补则既防幻觉又补小字感知。
- 贡献:① 为 TableIE 构建 MinerU 结构保留解析、按经营类型的区域自适应分段、复杂表双模态提取的多阶段流水线,test exact match 0.6566 排名第一。② 为 MTMH-QA 采用 DCI-Agent 以 shell 命令迭代探索 JSON 语料,并用 GPT-5.5 与 Qwen3.7-Max 双 agent 交叉校验与仲裁,修订后准确率 0.8444。③ 为 FiT-QA 设计 MinerU OCR 文本加原图的双模态 VLM 流水线与确定性答案归一化后处理,取得最高 BLEU 54.5788。④ 通过消融揭示 OCR 与后处理各自贡献,并讨论 BLEU 与 LLM Judge 评分分歧反映的评测问题。
- 做法:TableIE 用本地部署的 MinerU(VLM backend)解析出保留 rowspan/colspan 与多级表头的 Markdown,正则按经营类型切分后以关键词过滤加类型专属 schema 交 Qwen3.7-Max 抽取;DCI-Agent 用 ls、find、grep、read 最多 100 轮定位证据;FiT-QA 把 Markdown 与原图一起输入 GPT-5.5(temperature 0.0),再做删模糊限定词、敬体转常体、补单位、合并括号注释的后处理。
- 局限:仅在单一基准上实验、区域与文档多样性有限,跨领域与跨语言泛化性未知。 ↗
6. Calibrating Document-Local Boundaries for Contextual Chunk Retrieval(Alibaba)
- 场景:学术(无业务场景),面向长文档的上下文块级检索。
- 线上效果:无线上 A/B,仅离线:ConTEB 八任务宏平均 NDCG@10 上 ModernBERT-base 74.89(InSeNT 73.49)、ModernBERT-large 78.61(76.70)、ModernColBERT 73.61(71.16);NanoBEIR 上 base/large 较 InSeNT 分别 +0.44/+0.81。
- 问题:InSeNT 以固定逆温度同时控制行内总优化力度与其在同文档兄弟负样本间的分配,无法适配各查询–文档对异质的 gold–hardest 边距;标准 Late Chunking 的块划分只用于编码后池化,最终层注意力并不显式感知检索单元边界。
- 动机:同文档的多个块共享上下文,语义相似的兄弟块难以区分,InSeNT 失败的 6,976 条查询中最高分兄弟块超过 gold 的占 82.21%。因此应以 gold 块与最强同文档兄弟块为分析单元,把条件优化力度集中到困难负样本,并让编码器注意力感知块边界。
- 贡献:① 在查询–文档行级分析 InSeNT,把总 score-space 优化力度与兄弟负样本间的条件分配分离,并推导竞争者熵随缩放因子单调下降。② 提出 DcLBC,结合 AMS(由 gold–hardest-sibling 边距导出的 detached 实例级缩放)与 CKR(把块路由注入 post-RoPE Keys)。③ 在 ConTEB 与 NanoBEIR 上用 ModernBERT、ModernColBERT 验证,并通过组件消融与 CKR 设计实验量化各机制贡献。
- 做法:AMS 以 detached EMA 参考边距 μₜ 与实例 gold–hardest-sibling 边距(下限 ε)之比得到缩放 κᵢ 并截断到 [1, K],κᵢ 仅作用于 InSeNT 文档内损失,等价于实例级温度 τ/κᵢ。CKR 为每个块用 GELU 路由向量生成共享偏移,加到该块所有 token 的 post-RoPE Keys 上,使块注意力质量乘以 exp(b_sc) 而保持块内注意力比例不变,默认路由 Last 2 层。
- 局限:COVID 任务下降、路由层数收益非单调,且仅在两个基准与有限骨干上验证;与 Late Chunking 的差异在于 CKR 在编码时即让注意力按块路由。↗
7. ShopMind: A Mental World Model for Personalized and Realistic E-commerce User Simulation(Alibaba)
- 场景:电商推荐;以淘宝真实购物日志为基础构建用户行为模拟,为推荐系统提供低成本评测环境。
- 线上效果:无线上 A/B,仅离线:个性化平均提升 18.0%、行为真实感(Transition JS)平均相对提升 19.6%,长程真实感 12 项指标全部最优(如 Taobao Transition JS 12.18 对 AlignUSER 16.72);加入 MSR 心理状态后 CTR AUC 0.644→0.716(DeepSeek-V4-Pro)。
- 问题:现有模拟器大多直接从可观测交互历史与当前上下文预测下一动作,忽略驱动行为且随交互演化的心理世界(信念、不确定性、意图),导致同一信息被不同用户做出不同解读的个体差异无法刻画,模拟既难个性化也难行为真实。
- 动机:Theory of Mind 指出行为由信念、意图、不确定性等心理状态驱动,同一折扣信息对价格敏感用户是机会、对质量导向用户可能是降质信号。心理状态还会随浏览交互演化并塑造后续动作,因此应显式建模这一过程而非只映射可观测信号。
- 贡献:① 提出 ShopMind 心理世界模型,结构化建模并持续更新消费者的信念、不确定性与意图。② 用 ShopMind 合成行为–心理状态配对轨迹,训练 Mental State Reconstruction(MSR)从可观测行为反推潜在心理状态。③ 实验显示个性化提升 18.0%、行为真实感提升 19.6%,MSR 重建的心理状态进一步提升消费价值测量与 CTR 预测。
- 做法:方法分三阶段:心理状态建模与转移把状态表示为 Mₜ=(Bₜ,Uₜ,Iₜ,Eₜ),用 update gate 仅在信息足够时触发状态转移,否则保持不变。心理世界 rollout 生成 K=4 个候选动作并各在独立环境副本中展开 L=2 步,再由个性化一致性分与 Qwen3-4B+LoRA 训练的 Behavior Critic 按 top-2 一致性 margin 与阈值共同选择动作,主模型为 DeepSeek-V4-Pro。
- 局限:论文未设局限性讨论,全部评估均基于离线基准;与 Shop-R1、Customer-R1 的差异在于显式建模并更新信念/不确定性/意图,并以心理世界 rollout 与行为 Critic 共同选择动作。↗
8. The Narrative Gap: Can LLMs Help Us Navigate Diverse Narratives Across Languages?(约翰霍普金斯大学、Cohere、乔治梅森大学)
- 场景:学术(无业务场景),面向多语言多元信息寻求的 LLM 能力评测。
- 线上效果:无线上 A/B,仅离线:NarrativeBench 上 Narrative Inclusion(NI)平均 F1 19.9%、Narrative Exclusion(NE)49.3%、Missing Narrative Identification(MNI)recall 56.8%;Gemini 3.8 Flash 的 NI F1 52.5%、MNI recall 82.8%,Diverse Prompt 下最高 recall 74.9%、仍遗漏约四分之一可用叙事。
- 问题:现有信息系统按查询语言、地区和用户历史组织内容,制造 filter bubbles 与 echo chambers;LLM 偏好查询语言来源、在证据冲突时推理不佳,即使被显式要求多样性也难以真正扩大叙事覆盖。
- 动机:多语言 LLM 本应综合跨语言视角、弥合认知分歧,但审计研究显示它们可能复制甚至放大原有信息壁垒,因此需要一个能力导向的基准来检验用户能否真正控制所获得的叙事。
- 贡献:① 将多语言多元信息寻求形式化为「叙事导航」问题,提出 3 项基础能力(narrative inclusion / exclusion / missing narrative identification)与 3 项高阶能力(多样性呈现、确认性查询下的覆盖保持、跨语言信息对等)。② 构建 NarrativeBench,含 1,333 篇新闻、23 种出版语言、23 个争议话题、180 个叙事组与 460 条 Reddit 来源查询。③ 评测 14 个模型、15 种配置、4,800 个案例,得到 72,000 条评分响应,实证揭示系统性能力缺口。
- 做法:遵循 Evidence-Centered Benchmark Design,把 6 类能力映射为可评测任务,其中 FC-1/FC-2/FC-3 分别要求包含、排除与补全指定叙事,HC-1 对比 Baseline 与 Diverse Prompt 的叙事 recall,HC-2 比较 neutral 与 confirmatory 查询的覆盖差,HC-3 以 Δℓ = M(ℓ) − M(English) 衡量跨语言差距。每个案例提供 3 篇/叙事组的文档上下文,模型须用查询语言作答并引用 [Dxxx] 文档 ID,以引用覆盖判定叙事出现并计算 narrative precision/recall/F1。
- 局限:叙事按「来源视角+出版语言」粗粒度划分、语料仅覆盖可检索到的文本,且未处理多模态与来源可信度。↗
9. UCB-min: Combining Bandits Under Variance Heterogeneity (Extended Version)(巴黎-萨克雷大学 LISN、CNRS、格勒诺布尔-阿尔卑斯大学 LIG)
- 场景:学术(无业务场景),多目标 bandit 研究;实验覆盖教育题推荐与 MovieLens/Steam 群组推荐。
- 线上效果:无线上 A/B,仅离线:合成异构方差设置下 cumulative regret 799(UCB-V2 851、UCB1 1373),MovieLens 与 Steam 上 regret 分别为 233、612,与对应最优基算法 234、613 基本持平,教育 A 目标 38.2 与 UCB1 的 38.0 持平。
- 问题:逐臂方差未知且异质时无一致最优规则:UCB1 方差无关、稳健但小方差时 bonus 过松,UCB-V 类仅当方差估计与支撑上界 b 可靠时才紧;归一化在线不可行(尺度未知、非平稳、物理目标无上界),且 b 估大会使所有 bonus 膨胀、regret 近线性。
- 动机:多目标线性标量化后标量方差 wᵀΣw 依赖权重与跨目标协方差,天然产生逐臂异质方差;UCB1 与 UCB-V 的 bonus 都是合法上置信界,取逐臂更小者仍合法且更紧,可自动贴合每臂方差 regime,无需先验、无需归一化。
- 贡献:① 分析多目标 bandit 中方差尺度对 regret 的影响,实验证明 UCB1 与 UCB-V 的相对优劣依赖数据。② 提出逐臂自适应元算法,按臂动态选择方差无关与方差感知探索 bonus,无需方差 regime 先验与归一化。③ 证明 UCB-minV1 的累积期望 regret 与原算法同阶;较大探索常数 c≥4 时逐臂达到两基算法界的最小值(常数因子内),标准 c=1.2 时为两者界之和。④ 在合成、教育、两个群组推荐基准上验证跨方差 regime 稳健追踪最优基算法。
- 做法:对每臂同时计算 UCB1 bonus β(1)=b·√(2·log t/Nₐ) 与方差感知 bonus(UCB-V Eq.5 或 UCB-V2 Eq.6),取 Bₐ(t)=μ̂(s)+min{β(1),β(var)};用 wᵀμ̂、wᵀΣ̂w 得标量统计,每轮 O(K),固定权重时每臂 O(1) 在线更新。初期 β(var) 的 O(1/Nₐ) 项占优,min 自动退回 UCB1,Nₐ 增大后方差项才起作用。
- 局限:理论仅覆盖 UCB-minV1,逐臂 min 的更强保证需 c≥4(实验用 c=1.2 只有和界),UCB-minV2 仅有经验验证,且教育短视界下 UCB1-Normal 的 regret 7.4 显著更低。↗
10. Unmasking Four Knapsack Problems in the Traveling Thief Benchmark(沙特阿拉伯 Prince Sattam bin Abdulaziz 大学、突尼斯斯法克斯大学 ENET'Com 电子与电信国家学院、斯法克斯大学理学院数据工程与语义研究组)
- 场景:学术(无业务场景),TTP(Traveling Thief Problem)基准审计与数据集修正。
- 线上效果:无线上 A/B,仅离线:零租金实例 dsj1000 n999 上,9 个方法中 5 个报告同一值 144,219(最优 144,426);修正后 CoCo+ 10 次运行值各异(std 165–507,均值仅为背包最优的 31%–46%),恢复巡回–装包协同行为。
- 问题:基准文件租金只保留两位小数,4 个实例存成 R=0.00,巡回对目标无影响、退化为 0-1 背包;其中 1 个正是常用的 60 个分类实例之一,该实例上 9 个方法中 5 个报告同一值 144,219,比较实际测的是背包启发式而非巡回–装包协同。
- 动机:租金 R 是连接巡回与装包的唯一纽带,R=0 抹掉了 TTP 想考察的协同;而原始租金因 linkern 种子、最优装包不唯一且参考解未公开无法恢复,故保留原规则、把规则留空的选择全部钉死后重新定义。
- 贡献:① 通读全部 9,720 个 .ttp 文件,找出所有 4 个 R=0.00 实例,并证明其退化为 0-1 背包问题。② 揭示成因是两位小数存储,量化舍入影响:949 个实例相对舍入半宽 >1%、217 个 >5%、100 个 >10%。③ 按原规则与完全指定的参考解重定义 4 个实例租金,并用 CoCo+ 实验证明修正后恢复 TTP 行为。④ 发布 JSON 化数据集、修正文件与开源库 ttplib。
- 做法:扫描所有文件的 RENTING RATIO;新租金取 R=P(S)/T(π,S),装包用按文件顺序的 0-1 背包 DP 且仅在严格提升时装入以固定 tie-breaking(最优利润用 Gurobi 核验),巡回用 linkern 默认参数 seed 1 自仓库出发并按式(2)计算旅行时间。租金以双精度而非定点小数存储;ttplib 将 9,720 个实例转为 JSON,修正版单独目录存放,距离惰性计算并在首次使用时下载、本地缓存。
- 局限:新租金并非原始值、不能与旧结果直接比较,且生成器代码缺失使成因无法严格证明。↗
11. CHO-Bench: How Do Context Hints Affect Ad Rankings in LLM Advertising?(新加坡国立大学、PyroWis AI)
- 场景:LLM 对话式广告的广告排序,采用离线基准评测。
- 线上效果:无线上 A/B,仅离线:Δ Rank 提升 0.56–1.16 位、Δ Win 提升 5.42–14.40 pp。
- 问题:现有工作要么优化排序模型 f,要么改写广告创意或外部网页内容,而 ChatGPT Ads 新增的 context hint 输入该如何构造才能提升排名尚无研究,其有效性与预算影响均不清楚。
- 动机:用户需求常超出显式产品搜索(如 “How can I build muscle?” 下展示餐食广告),context hints 能在不改动 ad card 与排序函数的前提下让广告表达与多样对话关联,营销框架则可系统化选择 What/Who/When 信息。
- 贡献:① 将 CHO 形式化为固定 ad card 与排序函数 f、在预算 k 下构造 context hints 以最大化广告排名的优化问题;② 基于 Value Proposition Canvas、Customer Journey 提出 7 个信息维度策略及 Unified 组合策略;③ 提出 CHO-Bench 离线基准,用 embedding 相似度与 LLM listwise 两种 ranker 做受控配对评测;④ 完成 520 组配置、超 119 万次配对评测,揭示策略、排序模型与 hint 预算的影响。
- 做法:7 个 Hint Collectors 从 ad corpus 抽取七维候选语句,共享 Hint Aggregator 按 OpenAI 指南聚合成预算受限 hints;embedding ranker 用 s=λ·sim(q,ad)+(1−λ)·max sim(q,h)(λ=0.5,h 遍历候选 hints),LLM ranker 先选最相关 hint 再 listwise 排序,并在同 query、同候选池下与无 hint 对照配对比较。
- 局限:仅在离线 ranker 上评测,未涉及真实拍卖与线上反馈,且各策略平均差异只有 0.07–0.24 位,提示需 model-specific hint selection 与 budget-aware 生成聚合。↗
12. Hidden Distances: How Likert-Scale Spacing Shapes Algorithmic Voting Advice(哥本哈根信息技术大学、Pioneer Centre for AI)
- 场景:学术(无业务场景),面向丹麦大选 VAA Kandidattest 的候选人匹配。
- 线上效果:无线上 A/B,仅离线(100 万合成代理选民):α=2 时候选人 top-1 切换率 37.7%、政党切换率 21.9%;α=1/2 时为 28.2% 与 16.6%,并估算 175 个席位中 4–13 个席位受影响。
- 问题:VAA 把有序的 Likert 选项当作等距数值计算曼哈顿距离,但“同意”到“强烈同意”相对于“中立”到“同意”应取多大并无实证依据,这一未公开的编码选择此前未被审计。
- 动机:Likert 响应只是序数而非等距,不同个体和群体选择极端选项的倾向存在系统性差异;量化假设不透明时,同样合理的编码会给出不同推荐,因此应在全国选举规模部署前审计其后果。
- 贡献:① 识别出 Likert 选项间距是 VAA 中此前未被审视、未被记录却会改变推荐结果的设计选择;② 提出从真实候选人回答加噪生成代理选民、统计 top-1 推荐切换频率的审计方法,并应用于丹麦 Kandidattest;③ 揭示参数 α 对政党、持强或温和立场候选人以及性别的差异化影响,估算 175 个席位中 4–13 个席位的潜在选举后果;④ 呼吁 VAA 公开量化选择并开展敏感性分析,指出结论也适用于约会平台、室友分配等基于 Likert 的匹配系统。
- 做法:将“中立–(不)同意”距离固定为 1、把“(不)同意–强烈(不)同意”参数化为对称 α,曼哈顿距离由两侧温和立场项加 α 倍强立场项构成,dist_max=2(1+α)×29;按 2026 年大选全国得票率抽取政党与该党选区候选人,10 个选区各 1000 名共 1 万名代理选民,以 0.4 触发概率、0.5 转移概率的马尔可夫链加噪最多 4 轮,共 100 次实现、合计 100 万用户。
- 局限:没有真实用户数据、只能用合成代理选民,席位影响只是粗略估计,且只审计了一个 VAA。↗
13. ACROSSVAM3.0: Resource-Bounded 4D Scene Construction and Adaptive Surface Association(Across Physcis(北京)科技有限公司)
- 场景:学术(无业务场景),资源受限的 4D 场景构建与点跟踪。
- 线上效果:无线上 A/B,仅离线:12 场景中位 ATE 0.0170 m、平移 RPE 0.0109 m、事件召回 +0.0993,265 个 RoboTAP 视频 AJ 从 0.1994 提升至 0.2604。
- 问题:视频生成、单目重建与 SLAM 的坐标系、尺度、预处理、置信度和显存剖面各异,拼接脆弱,生成帧还易被误当物理观测;跨窗口严格匹配只提升局部精度,却丢失长程轨迹覆盖。
- 动机:需保留生成与观测的来源区分,用不可变局部窗口加原子 Sim(3) 版本更新协调坐标;局部匹配精度不等于完整轨迹覆盖,应保留多个候选并显式建模缺失状态。
- 贡献:① 构建可执行的三输入系统,保留来源标记,输出显式 4D 点几何、相机轨迹与仅 RGB 的 SLAM 产物,并在实测单 GPU 契约内运行;② 设计版本化协调层,局部 4D 数组不可变,地图修正原子同步更新相机、点、轨迹与坐标元数据;③ 在冻结真实视频上系统评估运动排序、支持感知多帧表面对应与固定预算轨迹保留;④ 由严格链实验失败驱动提出 MHAC,在独立 holdout 与 265 个外部视频上一次性验证,无测试后重选。
- 做法:冻结 Wan2.2 TI2V-5B(17 帧 832×480、12 步)、4RC(16 帧窗口、4 帧重叠)与 MASt3R-SLAM,窗口经 80/20 拟合留出的鲁棒 Sim(3) 对齐、不达标则保留为命名局部系;MHAC 在相邻窗口建查询无关有向格,用 8 维边特征加权打分保留至多 3 个候选,带 missing 状态做有界 DP,阈值 2 px 均值与 4 px 最大重投影、0.15 颜色距离。
- 局限:存在相对尺度、无语义身份与高保真新视角问题,生成仅 17 帧、121 帧动作质量门失败、50 ms 采样可能漏峰,且仅对比 B0。↗
14. Replication of Thermal Comfort Cohort Models: No Support for Improved Thermal Preference Prediction
- 场景:学术(无业务场景),室内热舒适偏好预测,面向建筑 HVAC 设计与运行。
- 线上效果:无线上 A/B,仅离线复现:DORN 上 F1-macro 中位 PCM 0.51,Warm/Cold Start 仅 0.31/0.29,低于均匀随机 0.333;PersonAI 上二者为 0.30–0.31,同样低于随机。
- 问题:原研究每个参与者、每个少数类的数据量都有限,只用对类别不平衡敏感的 F1-micro,缺少简单基线,交叉验证策略不当,且多次出现信息泄漏,使 CCMs 的提升被高估。
- 动机:CCMs 若要在建筑设计与运行中规模化应用,其经验结论必须经得起独立复现;此前既无独立复现,原机器学习流程也未经审查,而加入平凡基线即可暴露原结论的脆弱性。
- 贡献:① 方法学审查指出原研究五大问题:每用户与少数类数据不足、指标对类别不平衡不敏感、缺平凡基线、交叉验证不当、信息泄漏;② 用修订协议(LOO-CV、F1-macro、默认超参、显式特征选择)在原 DORN 数据集复现,CCMs 不再优于简单基线;③ 自建 PersonAI 数据集(83 人招募、72 人完成 4 周)独立复现,结论一致;④ 建议未来采用受控热环境、保证各偏好类别有足够观测的实验设计。
- 做法:沿用 Quintana 等的 CCM 框架与 Random Forest,cold start 用一次性问卷分群,warm start 用 PCM 响应分布相似度与跨模型表现聚类;修订点是以 LOO-CV 替代 100 次随机 80/20、增加 F1-macro、不调超参、以显式特征选择替代排除式逻辑,并加入 Majority、PCM/Cohort Majority、ApproxDistribution、均匀随机 F1=0.333 基线及 Wrong Cluster 对照。
- 局限:结论基于两个小样本现场数据集,席位级外推有限,作者呼吁未来用受控热环境实验补充验证。↗
15. Severity-Controlled Prediction Sets for Medication Recommendation(麦吉尔大学、佐治亚州立大学、俄亥俄大学)
- 场景:学术(无业务场景),医疗用药推荐。
- 线上效果:无线上 A/B,仅离线:CSC-Avg 在 α=0.125/0.25/0.35 时实际严重度 0.1218/0.2439/0.3465,CSC-Upper(β=0.75)为 0.1105/0.2341/0.3449,六点均低于目标;α 增大时平均集合从 28.53 降至 11.66、precision 从 0.315 升至 0.522。
- 问题:现有预测集评估与校准依赖 exact-overlap 指标(recall、F1、Jaccard、FNR),把所有漏诊当作同等严重,忽略漏诊药物与预测药物在 ATC 层级上的远近;且只控制平均严重度时,多数药命中的患者中少数高严重度错配会被掩盖。
- 动机:预测到治疗上更接近的药物,其危害应低于只给出远距离药物,所以严重度该用 ATC 树上的 LCA 深度度量,并在患者级(含最严重错配的上尾)做后验校准,而不重训练预测器。
- 贡献:① 提出后验、model-agnostic 的 CSC 框架,用 ATC 层级 LCA 深度定义错配严重度并控制患者级平均严重度;② 将控制目标从平均严重度扩展到上分位数严重度(CVaR),强调每位患者最严重的错配;③ 在 CRC 框架下给出有限样本期望严重度控制保证(Theorem 3.3),并分析与 FNR 控制的嵌套关系;④ 在 MIMIC-IV 上验证 CSC 能跟踪用户指定容忍度、在单一全局阈值下产生患者自适应集合大小并减少远距离 ATC 分支错配。
- 做法:把 ATC 层级视为深度 D 的树,成对严重度 s(y,k)=1−depth(LCA(y,k))/D,标签级取预测集内最近药物、空集记为 1,患者级用平均或 CVaR 上分位。在嵌套集 Cλ(X)(保留分数不低于 1−λ 的标签)上按 λ 升序扫描 1/400 网格,取首个满足 (1/(n+1))(ΣᵢSβ(Yi,Cλ(Xi))+1)≤α 的 λ 作为阈值,新患者直接套用,无需重训练。
- 局限:仅单中心 MIMIC-IV、300 个标签、两个预测器,保证是依赖 exchangeability 的边际保证,严重度成本与真实临床危害的一致性尚待研究,也未覆盖时间与跨院漂移。↗
16. NIFT-SQL: Customer-Supervised Table Scoring for Enterprise Text-to-SQL Retrieval(SAP)
- 场景:召回。企业 text-to-SQL 的表检索,跨多个数据库、数百至近千张表。
- 线上效果:无线上 A/B,仅离线:BEAVER(463 表/6 库)、LiveSQLBench(244/22)、LiveSQLBench-Large(971/18)上 complete@15 达 69.2%、89.5%、85.6%,hybrid search 仅 30.4%、41.0%、21.8%;高精度模式 72.4%、92.5%、88.6%。
- 问题:企业 schema 往往只有表名、列名与声明键,命名隐晦且跨库数百张表,通用检索找不到;LiveSQLBench-Large 上 search top-100 仅覆盖 51.7% 的参考表,而平均每问需要 4.4 张表,找到大部分并不够。
- 动机:企业常有几十到约 90 条带 SQL 的验证问题,足以按客户把通用相关性模型训练成“该表是否为回答所必需”的 scorer,与同样按客户微调的检索器互补;相比 ReFoRCE 依赖人工 schema-linking hints,这里不用 hint,比换更大通用模型或手工语义层更划算。
- 贡献:① 提出 NIFT-SQL,仅用表名、列名和声明键,按客户微调 hybrid search 并融合逐表必要性 scorer,以验证集拟合的 logistic 回归合并,全程无生成式 LLM 调用。② 在三个基准上做预注册评估,complete@15 较 hybrid search 高 39–64 点。③ 证明客户监督是核心:同一 cross-encoder 不微调低约 21 点,标签预算对齐时仍领先同标签微调检索器 complete@15 +8.1、+7.7、+15.1。④ 与免标签的 8B 零样本 reranker 对比,并加高精度模式(complete@8 +8.1、+6.8、+4.2),给出 21–69 条训练问题的学习曲线。
- 做法:每表一张 schema card(表名、列名、至多 6 个声明 join);hybrid search 用按客户对比学习微调的 BGE-large-en-v1.5(2 epoch、lr 2e-5、batch 32)与 BM25 按 0.6/0.4 加权;必要性 scorer 用 bge-reranker-large(560M、4 epoch BCE),候选取 scorer top50 与 search top50 的并集,8 维特征经标准化 logistic 回归(C=1)合并;高精度模式另加 Qwen3-Reranker-8B 的 logit 与 log rank。
- 局限:冻结后在新版 BEAVER 上只有合成题 complete@8 领先复现,真实题 complete@15 反落后同标签检索器,且相对按库分组 rank fusion 的增益未显著。↗
17. Trade Promotion Optimisation for Consumer Goods(TrueGradient AI)
- 场景:电商推荐中的快消品 trade promotion 折扣优化,非推荐排序。
- 线上效果:无线上 A/B,realised lift 未实测,仅平台 scenario 评估与仿真:Study A(Brand A 39 SKU、四周)gross units +20.64%、revenue +6.87%、margin +0.37%,扣 post-promo dip 后 net units +17.3%、revenue +3.6%、margin −2.9%,39 个 SKU 中仅 2 个增量利润为正;Study B(1,440 SKU 仿真)b1 RMSE 从 0.710 降到 0.366,revenue regret 从 1.14 降到 0.31 点。
- 问题:多数规划者仍用单一且常不可靠的商品级价格弹性:SKU 价格事件少、季节性混淆朴素回归、折扣最深时缺货截断需求;线性响应还会把弹性商品推到最深许可折扣,形成 corner solution。
- 动机:应把问题作为一条链而非独立模块,用同类 SKU 补足弱证据,定出点弹性 b1 与曲率 b2,让曲线随折扣加深而弯曲,给优化器内部最优解,再把 gross lift 净化为 net lift;不同于依赖固定层级结构借力的分层模型,这里用 ridge 加 TF-IDF 学习 SKU 相似性并做精度加权收缩。
- 贡献:① 两阶段弹性估计:post-promo 用滚动常规价的事件法,promo-time 用 FWL 残差化加 Tobit 缺货截断的因果曲线,并从首个干净促销周做贝叶斯更新。② 学习式 analogue pooling:按层级、品牌、价格线、描述特征用 ridge 选 donor,对 b1、b2 做精度加权收缩,分组交叉验证给出 skill。③ self/cross-price 分解:从 gross lift 扣除替代与 post-promo dip 得到 net incremental lift。④ 库存与 trade funding 感知的优化器,在 39 SKU 品牌实验与 1,440 SKU 仿真中端到端验证。
- 做法:链式流程为:识别促销与常规价(365 天 mode-above-median),事件法测 post-promo 弹性,FWL 残差化加 Tobit 拟合 e(d)=b1+b2d;analogue ridge 池化并收缩 b1、b2,用 m(c) 等于 (1+c) 的 e(d) 次方、替代弹性 ε_ji 与 ε_post 计算净需求,在按销量分桶的走廊内最大化收入/毛利加权目标,叠加库存与 funding 调整,首周后贝叶斯水平位移更新曲线。
- 局限:within-brand 替代未计入,net 数字为上界,且尚未在 live promotion 中实测 realised lift。↗
18. Multi-Agent Screening: What Agreement and Acceptance Cannot Tell You(University of Cambridge、XSci)
- 场景:学术,无业务场景;应用示例为 AI 审稿、agentic search、e-discovery。
- 线上效果:无线上 A/B,无真实数据集与线上实验,仅离线理论分析与假设算例:以 1000 篇投稿、3 位审稿人提名 200 篇、专家接受 120 篇为例,acceptance 单独给 recall 区间 [13%, 100%],重叠分析收紧到 [13%, 44%],审计池外 800 篇中的 192 篇可将漏检比例 H 估到 ±0.05(95% 置信,Hoeffding 保守界需 473 篇)。
- 问题:多 agent 筛选只看一致性或验收率;一致性只能说明 agent 彼此同意,无法区分“对的一致”与“错的一致”,验收判断只覆盖被池子放行的项目,只能给出 precision,未送审的漏检相关项 H 完全不可见,recall 无从确定。
- 动机:在 agent 便宜、末端评估者昂贵因而只看到被放行项目的不完整标注场景下,把问题转成 partial identification,即使数据无限也要说清每类证据究竟能确定什么,并指出只有池外随机抽样审计才能无假设地钉住漏检比例。
- 贡献:① 证明一致性只反映共识:在共享隐表示 Z 下,任意 k 与任意筛选规则的误差都有 E min{η(Z), 1−η(Z)} 的正下界,且 O 的分布不随 η 变化(Thm. 1)。② 给出 acceptance 证据下 recall 的紧区间 [ap/(ap+1−a), 1],说明仅凭池内判断无法进一步收紧(Prop. 1)。③ 在正相关假设下用 agent 提名重叠比 h10h01/h11 给出 H 的下界与 recall 上界,并证明可交换 agent 中“下一个 agent 最多新增 f1/k”(Thm. 2、Prop. 2)。④ 证明池外均匀随机审计可把 H 估到任意精度且样本量不随 agent 数增长,并比较 Hoeffding 界与精确超几何所需样本量(Prop. 3)。
- 做法:形式化为池占比 a、池内接受率 p、漏检相关比例 H,recall r=ap/(ap+H);用共享隐变量 Z 使 Y 与 O 在给定 Z 下条件独立来刻画 agent 相关误差,重叠证据在 Cov(B,B′ 给定 Y=1,C) ≥ 0 下取 L=max h10h01/h11 得 H≥L;审计证据用 Hoeffding 不等式给出 n0 ≥ (1−a)² ln(2/δ) / (2ε²)。
- 局限:recall 上界依赖 agent 正相关/可交换假设,专长互补的 agent 会违反该假设而需按专长分层,采样池还需加权并引入方差,且方法只做评估、不提升筛选本身。↗
19. Curbside Chatbots: Auditing the Mental Health Interventions Large Language Models Recommend to Clinicians, Caregivers, and Patients(BIDMC 等)
- 场景:学术,无业务场景;审计 LLM 聊天机器人向临床医生、照护者、患者推荐心理健康干预的行为。
- 线上效果:无线上 A/B,仅离线审计:54,891 次调用(生成 35,055、评分 19,836),85% 回答建议咨询专业人士(照护者/患者 95% 对临床医生 66%),11% 含 not-a-doctor 声明(用药提问 21%;Qwen 3.5 Plus 91%,21 个模型低于 2%);494,328 个干预提及中 91.2% 为推荐、8.8% 为劝阻,40.2% 映射到评分清单;621 个推荐率不低于 5% 的选项中 537 个均分大于 0、83 个小于 0,76 个单元格推荐率与评分秩相关全为正、中位 .57。
- 问题:现有评估集中在急性危机与临床任务正确率,把心理健康交互简化为对错题并依赖不代表领域分歧的专家预设标准;同时忽略 interactional footing,同一病例由临床医生、照护者或患者提出时合适回应可能不同,且缺乏可复用的持续审计基础设施。
- 动机:合适性取决于角色与交互语境,专家对同一呈现本就存在分歧,无法先验定义答案键;开放式生成还可能受 prevalence bias 干扰,因此用同一案例做成对的开放式生成加结构化评分,在无答案键下描述行为并建立可版本化复用的 living audit。
- 贡献:① 首个大规模 interactional footing 审计:41 个模型、19 个临床审阅案例、3 种身份,覆盖开放式生成(35,055 条)与四类干预清单的结构化评分。② 提出 paired generation and rating audit 的设计与基础设施,可迁移到其他案例、推荐集合和应用领域。③ 以 v1.0.0 冻结清单和校验和公开代码、vignettes、评分清单、编码指南与全量语料,支撑可复现的 living audit。
- 做法:双臂审计。生成臂为 19 个 vignette(17 病种加 2 对照)、3 种 footing、5 种 asks 的全交叉,每格采样 3 次,GPT-5.6 Luna judge 抽取干预与 stance 并确定性映射到清单;评分臂由 29 个模型对四类完整清单(药物 139、心理治疗 69、操作 34、数字工具 101)逐项打 −3 到 +3 的七点 Likert,选项每次打乱,每模型 684 次。
- 局限:无专家共识答案键、案例仅粗略匹配严重度、四类清单未平衡且不能跨单元格合并,评分臂仅 29 个模型。↗
本日报由 AI 自动生成,解读观点仅供参考。