一、📊 趋势分析
🔥 LLM 退居提议席,判别器与验证器接管终审:AutoManifold 把这条原则写得很明确:agents propose、engines measure;12 个受 JSON schema 约束的 worker 只负责推理,确定性引擎则独占指标计算。SHARP 让 LLM 只预测类别,再由语义 POI 表示引导下游打分器。FERN 更彻底,用五路冻结检索器加 LightGBM 完全绕开生成式调用。三篇的共同判断是:LLM 的价值在语义先验与自然语言接口,不在结构正确性与数值判断,而后者必须交给独立于模型的组件。
💡 评测从“报分数”转向“审计分数怎么来的”:IFRS 基准在分歧子集上重新运行了 11 种聚合方法,发现 hard 和 soft vote 的 W-F1 只有 0.671/0.672,反而低于最强单模型 Gemini 的 0.713;评论蒸馏审计则发现,教师保真度与人工编辑一致性,在完整新 SKU 与时间外推这两个人群上方向相反;Point-in-Time 把编码器泄露量化为可测的 look-ahead premium。评测对象正从模型输出转向评测流程本身,数据切分人群、标签来源与编码器训练截止时间都成了必须核查的对象。
💡 成本与部署约束重新成为表征设计的主变量:SeqFold 用每个时间戳 2,048 字节,换到相对完整序列 3,400× 的存储缩减,而 Query PR-AUC 仅低 2.11%;StaRSE 以 11.3 MiB 包体和 0.08 ms 的 CPU 单句时延拿到 RuMTEB 51.16;FERN 用冻结检索器加 LightGBM 做到单 A100 中位 208 ms,且没有托管模型调用。三篇分别来自酷澎、ITMO 与 SAP,工业界与学术界的论文在同一天给出同一个信号:在服务边界上,“更大编码器”不再是默认答案;不过这一批 20 篇仍没有一条线上 A/B,这些取舍都还停留在离线相对指标上。
二、📋 今日速览
▍学术界(20 篇)
方法 | 机构 | 关键结果 | 证据 | 部署 |
加拿大安大略理工大学(Ontario Tech University)商学院与信息技术学院 | 建2万对IFRS基准,内容条件XGBoost融合三LLM,W-F1 81.7%超单模型10.4点 | A | 离线验证 | |
德国拉文斯堡-魏恩加滕应用科学大学、奥地利克拉根福大学 | 基于 Yelp 与 Instagram 真实数据,归纳多模态旅游推荐四类数据质量挑战并提出未来方向 | C | 离线验证 | |
Hepsiburada | 在534万条土耳其评论上审计Gemini伪标签蒸馏,学生提速50.2×,类别前缀增益随人群反转。 | A | 离线验证 | |
英伟达 | Coco 用 Observer Agent 观察桌面并在线自适应,macro F1 提升 2.4-3.0×。 | C | 离线验证 | |
布拉格捷克技术大学、因斯布鲁克大学 | 用 LLM 把反事实编辑列表摘要成自然语言解释,DPO 后正确性最高达 0.52 | C | 离线验证 | |
苹果 | 对YOLO11s做单因子消融,C2PSA同槽换CA:F1 0.9038匹敌基线,参数减10.2%,mAP@0.5 0.935最高 | B | 未部署 | |
印度理工学院海得拉巴分校、HTSR Institute、中央梵语大学 | 本体引导 KG 构建+多路证据检索,Multi-hop MRR@20 0.8722,胜 union 的 0.7622 | B | 未部署 | |
雷恩大学 APP、Enssib Élico、Takin Solutions | VLM 转录 + LA-PA 本体约束标注,把节目单转成 Linked Data,转录准确率超 98%。 | C | 未部署 | |
圣彼得堡国立信息技术、机械与光学大学 | 提出符号编码静态俄语编码器StaRSE,RuMTEB达51.16,超静态基线7.98分。 | C | 未部署 | |
杜克大学 | 为财报会议训练逐年时点编码器,33.8M 参数 recall@1 0.728、超 e5-base 0.144 | C | 未部署 | |
曼彻斯特大学、X32 Studio | 多智能体 LLM 组合原语合成流形嵌入算法,kidney 上 silhouette 0.94 远超基线 0.15。 | C | 未部署 | |
北卡罗来纳大学教堂山分校计算机科学系、数据与信息科学学院、Society-Centered AI Lab | 构建面向数据中心环境正义的溯源多智能体可视化系统,98.4% 事实主张有据 | C | 离线验证 | |
圣加仑师范大学(PHSG)教育心理研究所 | 以 KST 外边缘作参考答案构建 LLM 推荐基准,供给先修结构后 exact-set 达 96.3%/98.2%。 | C | 离线验证 | |
电子科技大学 | 用 LLM 先预测 POI 类别再引导具体 POI 预测,Acc@5 较最强基线平均提升 5.29 个点。 | C | 离线验证 | |
SAP | 三路冻结检索器加 LightGBM 排序器一次拟合跨基准选表,Spider R@15 99.1 超 RASL 1.1 点 | C | 离线验证 | |
— | 构建MEB临床推理基准,指南知识ETS最高0.997,真实场景最低0.182 | C | 离线验证 | |
— | TIGA 用工具+自适应策略迭代构建 taxonomy,多数配置结构质量最优但开销高。 | C | 离线验证 | |
— | 用特征不变 scaling law+统计推断,小算力预测 A/B 全量效果,40+ 项改动上准确区分优劣 | C | 离线验证 | |
酷澎 | 把冻结长历史骨干的多层用户状态压缩为时间戳可寻址离散码,存储降 3400× 且下游排序性能基本保留。 | C | 未部署 | |
东北大学、RIKEN、NII LLMC | 用真实ChatGPT对话做用户不满检测,AUPRC超17.8%基线最多15个百分点 | C | 未部署 |
三、🎯 今日主题
当 LLM 不再是终审:受约束推理与验证闭环
问题背景。 这一批论文指向同一个矛盾:在需要结构合法、指标可信、结果可复盘的任务里,LLM 的生成自由度往往会带来风险,而不是优势;真正稀缺的是把语义先验接入可验证流程的工程约束。
- 结构合法性无法自证:TIGA 的自由迭代会遗漏或幻觉出候选集外实体、生成非法层级;From Show Programs to Linked Data 的开放式生成会为虚构地点编造 Wikidata QID。
- 一致性判断不可靠:IFRS 分歧集上 GPT-4.1 把 95.5% 的样本判为 NOT COMPLIED(κ=0.019),hard 和 soft vote 的 W-F1 反低于最强单模型。
- 精确计算不是其职责:KST 指出先修关系已知时可接受下一步本可确定性算出、LLM 并非必需;AutoManifold 指出直接把 LLM 当代码生成器会产生数值病理与静默正确性失败。
- 部署成本不可接受:FERN 指出 RASL 类生成式选表需把 schema 与问题发往托管模型并产生调用成本,企业场景无法接受。
代表方案对比。 同一条“约束 LLM”的思路在不同任务上分化出四种形态——约束输出空间、约束中间表示、独占验证权、绕开生成回路。
- TIGA:切口是把 taxonomy induction 形式化为显式状态上的迭代决策;做法是受限动作空间加可执行编辑工具、记录 tool call 的 memory,以及运行时自适应组织策略;在 4 个基准、2 个 LLM backbone 上多数配置结构质量最优,代价是 token、API 调用与推理时间显著更高,precision 未全面占优。
- SHARP(电子科技大学):切口是 next POI 预测中 LLM 直接输出原始 ID 难以落地;做法是 LLM 只预测 Top-K 类别,经 RQ-VAE 量化的语义 POI 表示传给 causal Transformer 打分器;三数据集 Acc@5 为 53.14%/49.50%/36.47%,Acc@5/Acc@10 平均较最强基线提升 5.29/4.52 点,token 较全历史降 86.14%–91.86%。
- AutoManifold(曼彻斯特大学、X32 Studio):切口是数据可视化与流形嵌入算法的自动设计;做法是 12 个 JSON schema 约束的 LLM worker 只做推理,确定性 compute engine 计算嵌入与可靠性分数并原样回注上下文;kidney 上 silhouette 0.9392,最佳基线仅 0.1461。
- KST benchmark(PHSG):切口是学习推荐的结构正确性评测;做法是由 surmise 关系确定性生成每个知识态的外边缘作参考集,LLM 输出映射回规范 ID 后按无序集合比对;供给参考结构是最大增益来源,exact-set accuracy 79.7%、macro F1 90.2%。
- FERN(SAP):切口是企业跨库 text-to-SQL 的表检索;做法是五路冻结检索器加 120 个 schema 特征,再用 LightGBM lambdarank 一次拟合,全程没有生成式调用;Spider R@15 99.1、complete@5 95.6,单 A100 中位延迟 208 ms。
核心差异。 差别在于约束施加在哪一层,以及正确性最终由谁承担,而不在于是否使用 LLM。
- 约束位置沿一条光谱分布:TIGA 的受限动作与 LA-PA 的本体属性约束输出空间,生成仍由 LLM 完成但非法结构被排除;SHARP 约束中间表示,把 LLM 推理压缩成类别这一先验量;AutoManifold 与 KST 则约束验证权,生成可以自由,但打分与判定归确定性引擎;FERN 直接退出生成回路。
- 正确性归属分为两类:一类外包给可执行工具或形式化算法(TIGA、AutoManifold、KST),LLM 只负责搜索与提议;另一类把 LLM 输出降级为特征、由判别模型终审——SHARP 的 correction encoder 就是如此,IFRS 也是:用 LLM 概率、29 维面板统计与 1,536 维 SBERT 嵌入训练 XGBoost 元学习器,学到“何时覆盖有偏标注者”。
- 共同结果是 LLM 失去终审权,但保留了语义先验与自然语言接口这两样难以替代的东西;这也解释了为什么约束后的系统仍要用 LLM,而不是直接换回传统 IR。
趋势判断。 这是一次角色重排而非模型替换:LLM 仍是低成本的冷启动与语义来源,但结构正确性必须由与 LLM 无关的组件保证。
- 工程形态上,scaffolding engineering 将取代 prompt engineering:受限动作空间、可执行验证器、memory 与 runtime policy 会像特征工程一样成为系统设计的一等公民。
- 评测形态上,随着决策权转移,评测对象也会改变:从“答案对不对”转向“结构合不合法、证据能否溯源”。clinical ETS 的版本化 source span、KST 的可接受下一步集合、Point-in-Time 的 cutoff registry 都是同一方向。
- 适用边界上,这套范式不是免费的:TIGA 的 token/API 成本显著更高且 precision 未全面占优,FERN 在不透明 schema(Fiben)与目标域完整表集恢复(BEAVER)上明显落后,KST 也承认先修已知时 LLM 并非必需——每个任务都需要重新划定 LLM 该退到哪一步。
四、📰 逐篇解读
1. IFRS Compliance Verification: An Open Multi-LLM Benchmark and Content-Conditioned Ensemble Classifier(安大略理工大学)
- 场景:学术研究,无业务场景;面向财务报告的 IFRS 合规核查,判断监管条文与披露段落是否匹配。
- 线上效果:无线上 A/B,仅离线:Weighted F1 81.7%、Accuracy 82.4%、Cohen's κ 0.556、ECE 0.068。
- 问题:单模型判定不可靠,朴素集成又被系统性偏置拖累:GPT-4.1 在分歧集上把 95.5% 的样本预测为 NOT COMPLIED(κ=0.019),hard/soft vote 的 W-F1 仅 0.671/0.672,反低于最强单模型 Gemini 的 0.713;Dawid-Skene 在三标注者下参数欠定退化为多数投票,CROWDLAB 的少数类 F1 塌缩为 0,EM 校准对温度上界敏感。
- 动机:聚合决策应取决于监管条文与披露文本的内容而非仅置信度;当某标注者在某类上系统性偏差时,内容条件分类器能学到何时覆盖它,而 LLM 一致标签可作实用的弱监督替代人工标注。
- 贡献:①构建首个公开 IFRS 合规基准,含 19,998 条监管-披露对与 8,837 条人工标注分歧项。②在分歧子集上 benchmark 11 种无监督聚合,归纳出单模型类别偏差、DS 参数欠定、CROWDLAB 少数类塌缩、EM 温度敏感四种结构性失效。③提出内容条件化学习式集成分类器,用 Optuna 调优 XGBoost 学到“何时覆盖有偏标注者”。④开源披露段落、监管段落、LLM 标注、人工标注、模型 checkpoint 与分类器代码。
- 做法:三阶段领域适应句向量(SEC EDGAR 10-K MD&A 上 MLM 继续预训练→TSDAE→SimCSE→一致标签正对上监督对比微调),三 LLM 以 T=0 输出三类概率经 L1 归一化,与 29 维面板统计、1,536 维冻结 SBERT 对嵌入拼成 1,565 维输入送入 XGBoost 元学习器。
- 局限:单领域单语言、仅三模型面板、人工标签只覆盖分歧子集、候选检索存在预选偏置,且未与商业审计工具比较。 ↗
2. Data Quality Challenges in Multimodal Tourism Recommender Systems(拉文斯堡-魏恩加滕应用科学大学、克拉根福大学)
- 场景:学术研究,无业务场景;旅游 next-POI 推荐中的多模态数据质量分析。
- 线上效果:无线上 A/B,仅离线:定性案例分析,未报告任何指标。
- 问题:现有多模态旅游推荐大量引入评论、照片、社交关系等异构数据,却忽视其质量,噪声、偏差与矛盾直接进入融合与推荐过程;具体表现为虚假账号刷评与爆发式发帖、LLM 幻觉内容、游客与本地人及年龄地域分布错配、图文与位置标签不一致。
- 动机:真实数据很少满足融合策略“各模态一致且完整”的假设,只有在上游预处理与下游建模中同时显式考虑数据质量,才能构建可信可靠的多模态推荐系统。
- 贡献:①基于 Multimodal Yelp 与德国博登湖 Instagram 两个真实数据集系统归纳数据质量挑战。②识别虚假/自动化账号噪声、LLM 幻觉语义噪声、人口统计偏差、跨模态语义矛盾四类问题。③给出行为模式异常账号检测、结构化摘要与选择性图像摘要、用户画像细分等可操作缓解做法。④提出质量感知融合、鲁棒融合、用户意图分化建模、视频与 360° 内容利用、受控 LLM 生成五条未来方向。
- 做法:属于立场/案例型论文而非新系统;虚假账号先按发帖频率异常标记,再用连续签到间的移动速度不合理剔除,LLM 噪声改用预定义字段的结构化摘要且只对视觉线索清晰的图像生成摘要。
- 局限:仅为 workshop 立场论文,所提方向均未实现和定量验证。 ↗
3. Auditing LLM Pseudo-Label Distillation for Review Informativeness at E-Commerce Scale(Hepsiburada)
- 场景:电商推荐,面向商品评论信息量三分类与站内评论排序。
- 线上效果:无线上 A/B,仅离线:严格 OOT 上 BERTurk CE/C 的 QWK 为 .9198,学生流水线 2,218 条/秒、相对教师 50.2× 吞吐。
- 问题:现有做法把学生与教师的一致率当作蒸馏质量的唯一标准,但教师保真度与人工编辑一致性回答的是不同问题;严格新 SKU 全集与时间外推审计子集人群不同,增益方向可能相反却容易被互相替代。
- 动机:伪标签可大规模获得且推理吞吐是瓶颈,但只有独立、对教师标签盲的人工审计才能判断蒸馏保留的是教师行为还是真正的编辑有效性,因此先冻结 cutoff 与标签再分别测实体与时间偏移。
- 贡献:①在 5,344,302 条土耳其电商评论上构建 SKU 不相交加时间外推的严格评测,审计 Gemini 3.1 Flash-Lite 到紧凑编码器的硬标签蒸馏共 21 组训练。②用对教师标签盲的标注员审计 40,000 条评论,发现 H3 类别前缀在完整新 SKU 上略提保真度,却在 16K 时间审计子集上同时降低与 Gemini 和标注员的一致性。③证明两个评测人群不同,补充 Amazon 跨市场与教师相对 NDCG 的运营检查。④测得单 L4 学生流水线 2,218 条/秒、相对教师 50.2× 的离线吞吐。
- 做法:冻结 Gemini 生成 0/1/2 硬标签,学生取 BERTurk、XLM-R、COSMOS Turkish BERT、Turkish ModernBERT,对比交叉 CE 与 CORN、纯文本(T)与 H3 类别前缀加文本(C);排序侧用 BERT-Join 拼接文本表示与 16 个工程数值特征。
- 局限:单标注员、师生输入不匹配、无跨标注者信度,且全部为教师相对的离线结果。 ↗
4. Deep Personalization: Continuous Context Observation for Local Proactive Agents(NVIDIA)
- 场景:学术研究,无业务场景;主动式桌面智能体判断何时主动提供帮助。
- 线上效果:无线上 A/B,仅离线:OSWorld-Persona 上最佳 macro F1 0.483(Qwen-3.5-9B),10 人一周用户研究中 F1 proxy 从 0.199 升至 0.515。
- 问题:现有 agent 多是被动式,需用户自己识别何时求助;主动式 agent 难以判断此刻干预是否被需要,对一人有用的帮助对另一人可能冗余或打扰,且静态画像或显式配置无法刻画同一用户跨任务、跨情境变化的偏好。
- 动机:用户日常操作流本身同时提供上下文与监督信号:持续观察可得环境状态 s_t,而用户对建议的接受、忽略、主动求助以及重复操作可作为隐式反馈 r_t,无需人工标注即可闭环学习“何时该干预”。
- 贡献:①提出 Coco 与 Observer Agent,持续观察数字上下文并从隐式反馈学习干预时机。②设计 change-aware frame selection 与 observation-first scheduling,使 Observer 在单台 RTX 5090 或 DGX Spark 本地运行,原始屏幕数据不出设备。③提出从 computer-use 数据合成个性化 benchmark 的通用管线,构建 OSWorld-Persona(6,558 关键帧、3,279 条标注、108 个 session)。④落地为桌面 app,并在 10 人一周用户研究中把 macro F1 proxy 从 0.199 提升到 0.515。
- 做法:Observer Agent 为多模态 LM,每步输入 (s_t, h_{t-1}) 输出 observation、user intent、rationale 与二值决策 y_t;长期记忆是 observation–proposition 二部图,由 GUM 周期合成命题并按最近 k 条 observation 加语义最相关 k 条 proposition 检索;用 Coco-LoRA 或 Coco-PE 结合自反思样本更新。
- 局限:missed-opportunity 信号只是潜在机会而非已确认偏好,用户研究仅 10 人且以 F1 proxy 代替真实偏好,评估标签来自合成 persona。 ↗
5. From Counterfactual Edits to Human Narratives: LLM-Driven Interpretations for Recommender System Explanations(捷克技术大学、因斯布鲁克大学)
- 场景:学术研究,无业务场景;推荐系统的反事实解释生成。
- 线上效果:无线上 A/B,仅离线:Correctness 最高 0.52,Informativeness 最高 0.22,语言质量 >0.85。
- 问题:推荐场景的 CFX 常需删除数十条历史交互,只能输出长而低层的编辑列表,用户难以理解;现有评测只关注编辑数量与成功率,几乎不考察解释是否连贯、可行动。
- 动机:反事实编辑本身是因果忠实的,缺的是以用户为中心的抽象层;LLM 可在保留反事实依据的前提下,把低层交互编辑概括为高层偏好模式。
- 贡献:①提出以 LLM 为中介的框架,将原始反事实交互编辑列表摘要为忠实的自然语言解释。②提出拆解式交互级匹配检查加人类校准最终评测的评估方法,覆盖 Correctness、Informativeness、Linguistic Quality。③在多种 CFX 生成器与多种 LLM 上做端到端对比,验证 DPO 优化效果。
- 做法:四阶段流程为 CFX 方法生成 top-5 位移的交互编辑、从 CFX 集与剩余历史各均匀采样 k_gen=20 条并映射为仅含上映年份与类型的 item 元数据、LLM 以两组交互为条件生成 NLE、LLM judge 构造偏好对做 DPO 后由 ModernBERT-large 人类校准分类器评估。
- 局限:仅在 ML-1M 单一数据集上离线验证,未报告线上或真实用户研究结果。 ↗
6. CAppleNet: A Coordinate Attention-Based YOLO11 for Real-Time Apple Stem Cavity and Calyx Detection(Apple)
- 场景:学术(无业务场景);面向工业水果分拣与定向的实时苹果果梗腔、花萼检测。
- 线上效果:无线上 A/B,仅离线;自建 151 图测试集上 Coordinate Attention 替换版 mAP@0.5 0.935、果梗腔 F1 0.8217。
- 问题:已有苹果检测与注意力研究只报告单一已调优模型,未做受控比较,无法判断分辨率、增强、优化器、轻量模块各自对果梗腔、花萼这类细小 landmark 的独立贡献。
- 动机:用严格 One-Factor-at-a-Time 消融并以默认超参 YOLO11s 为固定参照,才能把收益归因到单一干预;亚果级形态凹陷具有方向对称性,位置敏感注意力比各向同性自注意力更适配,也更轻。
- 贡献:① 自建并自标注 1506 张固定相机、固定光照苹果图像(1054 训练、301 验证、151 测试),分 fruit body、stem cavity、calyx 三类。② 以默认超参 YOLO11s 为严格基线,围绕分辨率、增强策略、优化器与学习率、轻量注意力、置信阈值做单因子消融。③ 发现把骨干中 C2PSA 原位替换为 Coordinate Attention,是唯一不劣于基线且更轻的改动:参数降 10.2%、GFLOPs 降 4.2%、mAP@0.5 0.935 为全研究最高、果梗腔 F1 0.8217。④ 确定 0.15 为部署置信阈值,并证明 CA 与强 HSV 增强不可加性叠加,组合后 F1 跌至全研究最低 0.8775。
- 做法:以 YOLO11s 架构默认超参(640×640、最多 100 epoch、patience=30)为基线,各项改动单独施加;CoordAtt 沿高、宽轴分别池化,拼接后经共享 1×1 conv-BN-h-swish 瓶颈分成两路生成 sigmoid 注意力图 a_h、a_w 对输入逐元素重标定。
- 局限:mAP@0.5:0.95 从 0.627 降至 0.607,且消融效应不可叠加,结论仅限固定相机、固定光照的单一自建数据集。 ↗
7. Ontology-Guided Knowledge Graph Construction and Robust Evidence Retrieval for Indian Knowledge Systems(印度理工学院海得拉巴分校、HTSR Institute、中央梵语大学)
- 场景:学术(无业务场景);任务为 RAG 证据检索(召回加重排)。
- 线上效果:无线上 A/B,仅离线;Qwen3-Reranker-4B 下 KG 单独 Multi-hop MRR@20 0.8722,KG+SV+EN 总体 MRR@20 0.7306、Recall@20 0.5134、nDCG@10 0.5376。
- 问题:稠密与单向量检索只按语义相似度匹配,不显式编码实体是施动、受动还是属于某传承,两个实体同段共现并不构成关系证据;转写变体与同名异义还会让高相似段落落到错误词义上。
- 动机:把类型化、带来源链接的 KG 当作中间检索表示,本体约束抽取让实体、关系与 provenance 成为显式检索信号,再投影回原始 chunk 重排,从结构上区分「相关段落」与「证据段落」。
- 贡献:① 提出 genre-conditioned 抽取管线,用本体规格加 Qwen3-32B 两遍抽取实体与关系并存入源链接图。② 设计 KG 证据检索流程,融合 sense-aware grounding、有界图路径、lexical anchors 与 relationship-vector search。③ 在匹配的每题候选预算和两种 reranker 下系统对比 KG 单独、SV 单独、KG+SV 与 KG+SV+EN。④ 按 Dhara Bench 类别评估普通相关性与完整证据检索,并与 Gemini 参考及检索耗时对比。
- 做法:chunk 按 3000 字符、250 重叠切分,Qwen3-32B 以温度 0 两遍抽取,MiniLM-L6-v2 名嵌入做合并,Neo4j 存 161,114 节点、769,239 关系;检索经多通道实体 grounding、两跳有界路径、词法锚点与 BGE-M3 关系向量检索,RRF 融合后投影回原始 chunk,再用 BGE-reranker-v2-m3 或 Qwen3-Reranker-4B 重排。
- 局限:图未经专家验证且存在漏抽与错误合并,全部比较为描述性、无显著性检验,KG 检索时延 20.374 s 也远高于 SV 的 0.646 s。 ↗
8. From Show Programs to Linked Data(雷恩大学 APP、Enssib Élico、Takin Solutions)
- 场景:学术(无业务场景);文化遗产与表演艺术档案数字化。
- 线上效果:无线上 A/B,仅离线;Claude Sonnet 3.7 在人工标注集上文档级 Levenshtein 0.9817、句/行级 P/R 0.82/0.86、NER Levenshtein 0.9958,转录准确率超 98%。
- 问题:传统 OCR 在节目单的多语言、多栏、装饰字体版面上表现差,现有数据库只保留极少元数据,角色与技术人员信息被系统性丢失,而开放式 LLM 生成还会系统性幻觉(如为虚构地点编造 Wikidata QID)。
- 动机:以领域本体作为结构骨架约束 LLM 生成,比无约束生成一致性更高、幻觉更少;VLM 无需文档特定训练即可处理异构历史版面。
- 贡献:① 提出 VLM 转录加 LA-PA 本体建模、语义标注的可复现三阶段工作流,在异构遗产文档图像上实现超过 98% 的转录准确率。② 发布 LA-PA,即 Linked Art 的表演艺术领域扩展,13 个语义模型覆盖事件、对象、主体三层,2026 年 4 月以 v0.9 开放文档发布。③ 验证 GRPO 在线强化学习配合形式奖励与软奖励,可让 Pleias-350m 小模型学会符合本体约束的结构化标注。④ 在阿维尼翁戏剧节约 1,840 份节目单(1954–2022)上落地,全语料转录约 80 美元、含评测总成本约 100 美元。
- 做法:三阶段流水线先用 Claude Sonnet 3.7 做页面转录,再以 LA-PA 在 CIDOC CRM / Linked Art 上扩展并复用 Getty AAT、BnF Roles、VIAF 等受控词表;语义标注先用 Pleias-350m 经 GRPO 训练,形式奖励强制 LA-PA 属性合规,Gemma 12b 作 judge 给 0–10 软奖励,最终收敛到基于 reasoning 模型的生产管线。
- 局限:语料暂不含 1954 年前且止于 2022 年,LA-PA 仍为 v0.9,幻觉降低在摘要中仅有定性表述、未给量化幅度。 ↗
9. StaRSE: Compact Russian Sentence Embeddings with a Sign-Coded Static Encoder(圣彼得堡国立信息技术、机械与光学大学)
- 场景:学术(无业务场景);俄语句向量与轻量检索。
- 线上效果:无线上 A/B,仅离线;RuMTEB v1.1 共 23 个任务 task mean 51.16、MLDR-RU 长文档检索 nDCG@10 51.66,CPU 单句时延 0.08 ms。
- 问题:Transformer 句编码器对每条 query 与 document 都要做一次前向,在 CPU、高频刷新、超大规模语料场景下成本不可接受;现有俄语静态模型基本停留在词级,多语静态模型也未针对俄语形态与词表覆盖优化。
- 动机:静态模型查表加池化推理便宜且可预测,真正的问题是它能否以低得多的服务成本提供有用的检索质量;复用 ruBERT 输入嵌入做 token 级降维、把 token 方向压成符号位并单独存范数,可在极低占用下保持句向量为实数。
- 贡献:① 提出 StaRSE 紧凑俄语静态句编码器,RuMTEB 51.16,比最强静态基线高 7.98 分,仅比最接近的 contextual 编码器低 2.60 分。② 用 ruBERT 输入嵌入经 token 级 PCA、ABTT、SIF-Zipf 初始化为 512 维表,在相邻句与任务形态对上做双向对称 InfoNCE 两阶段训练。③ 提出符号投影 post-training,用直通估计器回传梯度并以行、列 KL 蒸馏教师,部署时只存符号位方向与标量范数。④ MLDR-RU nDCG@10 51.66,比次优静态基线高 17.35,包体 11.3 MiB,CPU 时延约为 ruBERT-tiny-turbo 的 1/18。
- 做法:从 ruBERT-base 的 120,138 词 WordPiece 词表取输入嵌入,经 token 级 PCA、ABTT 丢弃前 r 个主成分、SIF-Zipf 频率加权初始化;训练数据含 Cultura RU Edu 按 Razdel 切句、lemma Dice ≥0.20 过滤的相邻句对,加 mMARCO 俄语、ru-HNP 与 ru-paraphrase-NMT-Leipzig,连续训练 20,000+10,000 步后做符号投影 post-training(前向 E^B_i = ρ_i·sign(u_i)/√d)。
- 局限:仅覆盖俄语,mean pooling 无法建模词序与上下文(pair classification 仅 52.50),且最终超参在全量 RuMTEB 上调过,分数存在选择偏差而非 held-out 估计。 ↗
10. Point-in-Time Encoders for Earnings Calls(杜克大学)
- 场景:学术(无业务场景);财报电话会议文本的时点化检索与量化回测。
- 线上效果:无线上 A/B,仅离线;within-call recall@1 0.728(e5-base 0.584),次日收益 Spearman IC 在 0.025 基线上加 0.012(t=3.0)。
- 问题:现有检索器(含金融检索器)都基于在全量文本上训练过的通用编码器微调,训练 cutoff 未知,回测时向量可能编码晚于向量日期的信息而产生 look-ahead bias;而 point-in-time 语言模型又并非为检索训练,这条泄露通道此前未被测量。
- 动机:回测中日期 t 可用的向量必须来自在 t 之前停止阅读的编码器;财报电话会议天然提供带日期的「分析师问题—高管回答」对,可免人工标注地用于训练与留出评测。
- 贡献:① 构建 point-in-time 检索器并比较四种训练配方,仅读会议文本、33.8M 参数的 vintage 在每个测试季度都优于所测最高 335M 的通用检索器。② 证明时点会议 embedding 能在过去收益与市值基线上提升次日收益预测,rank correlation 提高约一半且统计显著。③ 量化编码器泄露的 look-ahead premium,发现其取决于配方与用途:链式 vintage 因读到更晚文本而检索更优(replay 控制排除训练更久的影响),从零固定预算家族无净增益,2024 vintage 改善基本面预测但不改善任何期限的收益预测。
- 做法:用 ModernBERT(12 层、hidden 384、33.8M 参数)按 2010–2024 逐年 cutoff 只读截止日前文本,比较从零固定 1.2B token、链式续训、ChronoBERT 直接对比微调、ChronoBERT 加 DAPT 四种配方;统一用会议内问答对做 InfoNCE 对比微调(τ=0.05),并以 registry 在查询时强制 cutoff。
- 局限:从零训练家族无净 look-ahead 增益,earnings surprise 增益在无 vintage 读过的 call 上区间含零,且每个 vintage 仅单次训练、配方覆盖有限。 ↗
11. AutoManifold: Agentic Design of Data Visualisation Algorithms via Manifold Embedding(曼彻斯特大学、X32 Studio)
- 场景:学术研究,无业务场景,任务是自动设计数据可视化与流形嵌入算法。
- 线上效果:无线上 A/B,仅离线:kidney 上 Auto-Sil 的 silhouette 0.9392(最佳基线 0.1461),iris 上 Auto-ρ 的 ρ 0.9967、Auto-S 的 stress 0.0334。
- 问题:t-SNE、UMAP、PaCMAP 的设计目标与归纳偏置在开发时即固定,用户只能用少量算法特定超参数微调,无法按自己指定的结构优先级定制,而人工重设计嵌入算法门槛高且耗时。
- 动机:直接把 LLM 当代码生成器不可靠,易产生数值病理、目标失准与静默正确性失败,应以统一嵌入框架作算法骨架、由确定性引擎客观度量,坚持 agents propose、engines measure。
- 贡献:① 提出统一流形嵌入框架,识别难度分级、亲和矩阵、优化形式、配置决策与超参数精化等核心组件并给出结构化公式模板。② 提出 AutoManifold 多智能体系统,以该框架为骨架实现可靠可控、具组合新颖性的算法生成,支持新函数设计、配置搜索与超参数优化的嵌套任务。③ 在 6 个真实数据集上从全局、局部、离群点多视角对比强手工基线,无优先级时性能更均衡更强,优先级驱动时可显著推高目标指标。
- 做法:三层架构中 planner agent 编排预分析与六阶段流程,12 个受 JSON schema 约束的 LLM worker 只做推理,确定性 compute engine 计算嵌入与可靠性分数并原样回注上下文以防伪造指标;agent 从 6 个亲和原语、5 个目标原语、4 个 solver 原语的受限词表自由组合,主干 LLM 为 Gemini-3.1-Pro。
- 局限:新颖性仅为已知组件的组合新颖,面向全局指标的设计稳定性较差(Auto-ρ 方差大),且距离保持与簇分离存在内在冲突、优化单一指标仍需在其他性质上取舍 ↗
12. EJAI: Judgment-Preserving Civic AI for Data Center Environmental Justice(北卡罗来纳大学教堂山分校计算机科学系、数据与信息科学学院、Society-Centered AI Lab)
- 场景:学术研究,无业务场景,面向前数据中心环境正义议题的公民 AI 证据工具。
- 线上效果:无线上 A/B,仅离线:Faithfulness 98.4%、Citation Accuracy 89.1%、Negative Rejection 32/33。
- 问题:现有环境正义仪表盘只给抽象指标、不解释含义与缺失数据,居民用先验假设填补证据空白(assumption-driven closure);单智能体 AI 让答案替代证据核查、掩盖缺失证据,使人在检查证据前就定下解释(authority-driven closure)。
- 动机:把 AI 限定为只做有界证据工作的「数据中介」,依据 Sen 的能力路径与公共推理民主观,让系统开放证据、缺口与分歧供检查,而把解释与建议权留给居民。
- 贡献:① 识别仪表盘的 assumption-driven closure 与单智能体 AI 的 authority-driven closure 两种过早闭合。② 提出 judgment-preserving civic AI 设计取向,LLM 只承担证据工作、公民解释权归用户。③ 实现 EJAI 协调管线,把地图状态接到检索规划、带引用生成、缺失数据声明与 persona 辩论。④ 基准显示 persona 对齐有 grounding 代价(Corporate Executive 覆盖率 85.2%,双人设 96.3%–100%),用户研究记录到核查引用、预演分歧与附条件建议等行为。
- 做法:React 加 Node.js 应用以 GPT-4o mini 负责查询路由、综合、persona 回答与 deliberation 摘要,Azure Document Intelligence 解析 PDF 并将 text-embedding-3-large 向量存入 Azure DocumentDB;retrieval planner 调用县指标、设施记录、指标元数据、文档、证词等工具,synthesizer 生成带行内引用的短答并附 missing-data statement,Environmental Advocate 与 Corporate Executive 两个 @-mention persona 共享同一检索证据并按序作答,deliberation matrix 汇总议题、共享证据、各自解释与缺失信息。
- 局限:语料不平衡与双向 persona 仍是未解的正义问题,基准规模小、Corporate Executive 会省略冲突证据,部分参与者认为 persona 过于简化或有偏 ↗
13. Benchmarking LLM Next-Step Recommendations with Knowledge Space Theory(圣加仑师范大学(PHSG)教育心理研究所)
- 场景:学术研究,无业务场景,面向教育场景下的下一步学习推荐评测。
- 线上效果:无线上 A/B,仅离线:exact-set accuracy 79.7%、macro F1 90.2%、Jaccard 87.6%。
- 问题:LLM 推荐读起来流畅但会犯结构性错误,例如把有先修关系的任务当成并行、漏掉可行的下一步或推荐已掌握任务,而基于合理性或文本质量的评测无法判定推荐是否符合预期学习进程。
- 动机:学习推荐的正确性取决于具体课程与课堂的先修结构,KST 可由任务目录加先修关系确定性地算出每个知识态的全部可接受下一步,因此能作为与模型无关、可自动评分的参考。
- 贡献:① 提出以 Knowledge Space Theory 为形式化参考的 LLM 学习推荐结构准确性基准方法。② 设计四档提示条件(仅描述、模型自重构先修图、供给直接先修关系、供给全部知识状态)并完成 2400 次调用的样例研究。③ 表明供给参考结构是最大增益来源,模型排名随提示条件与内容领域改变。④ 以双目录顺序检验呈现一致性(85.25% 完全一致),并明确基准不衡量学习收益。
- 做法:由 surmise 关系生成先修闭合的知识空间,任一知识态 K 的外边缘即参考推荐集;把题目清单与已掌握集合(可叠加先修关系或全部知识态)给模型,要求返回「所有且仅」可接受的下一步,响应映射回规范 ID 后按无序集合比对,用 exact-set accuracy、precision、recall、F1 与 Jaccard 评分。
- 局限:分数不证明学习收益、也不评判解释质量,且先修关系已知时该集合本可确定性计算,LLM 并非必需 ↗
14. SHARP: Semantic Hierarchical Agentic Reasoning for Next POI Prediction with Dynamic Memory(电子科技大学)
- 场景:学术研究,无业务场景,面向位置服务的 next POI 预测。
- 线上效果:无线上 A/B,仅离线:三个数据集 Acc@5 为 53.14%/49.50%/36.47%,Acc@5/Acc@10 平均较最强基线提升 5.29/4.52 个百分点。
- 问题:直接用 LLM 预测具体 POI 时原始 ID 不可解读、语义推理难以落到具体地点;完整历史随 check-in 线性增长会超出上下文窗口;全局转移图还会抹平周末与夜间等时间条件下的转移规律。
- 动机:类别名称(如 Restaurant)与 LLM 先验语义天然对齐,故让 LLM 只做类别级推理,再通过语义 POI 表示把类别引导传给具体 POI 预测器,同时用动态记忆压缩历史、用多粒度时间图保留时间条件性转移。
- 贡献:① 提出 SHARP 分级智能体框架,将类别级推理经语义 POI 表示连接具体 POI 预测并端到端联合优化。② 设计动态轨迹记忆库,保留早期移动模式并跟踪行为变化,token 消耗较全历史降低 86.14%–91.86%。③ 构建多粒度时间感知类别转移图(全局、周类型、时段、联合共 21 张),为 agent 提供可解释的时间条件性集体转移模式。
- 做法:轨迹记忆 agent 维护长期画像、上下文状态与统计信息并增量更新;类别预测 agent 结合记忆、目标时间与 3 跳内图检索预测 Top-K 类别;RQ-VAE 将 Item2Vec 行为表示与类别、时段、星期、地理特征量化为 SID,用选中的 codebook 向量构造语义 POI 表示,再由 causal Transformer 加 correction encoder 的 category-guided predictor 打分,骨干为 Llama3.1-8B(vLLM)。
- 局限:仅在三个公开数据集上验证、未涉及线上部署,相较直接预测 POI 的多 agent 方案其关键差异是 LLM 只预测类别并由语义表示引导打分 ↗
15. FERN: Cross-Benchmark Table Retrieval for Text-to-SQL with Frozen Retrievers and Learned Ranking(SAP)
- 场景:学术评测,无业务落地,面向企业跨库 text-to-SQL 的表检索与 schema linking。
- 线上效果:无线上 A/B,仅离线:Spider R@15 99.1、complete@5 95.6,单 A100 中位延迟 208 ms。
- 问题:现有 LLM 链接方法(如 RASL)需用托管模型抽关键词并选表,要把 schema 和问题发到外部服务且产生调用成本,企业场景不可接受,且多数方法假设目标数据库已知。
- 动机:IR 早已用学习排序融合多个弱相关信号,而这些信号(词法检索、现成 embedding、schema 统计)均可本地运行,故一个在公开基准上训练一次的排序器或可替代生成式选表。
- 贡献:① 提出 FERN:三路冻结检索器融合出 100 候选、最多 120 个 schema 特征、LightGBM lambdarank 一次拟合,含 ev/q/schema 三变体,单卡约 0.2 秒/题且无托管模型调用。② 在 pooled BIRD、Spider、Fiben 上与 RASL 公开表召回对比,设计规则预先声明、排序器只拟合一次,Spider 与 Fiben 未参与任何设计决策。③ 分析冻结配置下各特征组在不同表预算下的作用:仅检索信号或仅非检索特征都能到 R@15 约 98,二者结合使 complete@5 提升 7.7 点。④ 在 BEAVER 企业基准与 Fiben 不透明财务 schema 上做迁移实验,区分 recall 与完整表集恢复,划出公开数据排序器够用与不够用的边界。
- 做法:每表构造 full card 与 name card,用 BM25 两个视图、Qwen3-Embedding-0.6B 两个视图、BGE-large 共五路冻结打分,经 RRF 融合取前 100 候选;对候选计算 score、agree、db、lex、cov、ev、val、type、meta、graph、q、emb 十二族共 120 个特征,用 LightGBM lambdarank 按题分组打分排序,超参数预先设定不调。
- 局限:在不透明 schema(Fiben)与目标域完整表集恢复(BEAVER)上明显落后,公开数据排序器有明确边界;相较 RASL 的差异是零生成式调用、只拟合一次且不依赖目标库监督 ↗
16. An evidence-traceable benchmark of clinical reasoning in large language models
- 场景:学术(无业务场景),医学 LLM 临床推理的评测基准。
- 线上效果:无线上 A/B,仅离线:主指标 ETS 与 macro-F1。ETS 在指南知识 0.975-0.997、标准化场景 0.292-0.658、真实世界实验室场景 0.182-0.447;真实场景中识别临床信息 0.770,匹配证据 0.165、形成建议 0.160;自动评分 macro-F1 0.930(95% CI 0.915-0.945)。
- 问题:现有医学 LLM 基准的评分标准无法追溯到临床证据,分数难以解释,也无法判断模型是否真正使用了证据。
- 动机:将每条医学主张标准绑定到版本化原文 span,使评分可溯源,并分层区分指南知识记忆与患者特异性证据应用。
- 贡献:① 构建 MEB,含 1,536 条医师构建条目,覆盖指南知识、标准化临床场景、真实世界实验室场景三层。② 每条标准链接到版本化源文本 span,实现评分可溯源。③ 提出 Evidence Trace Score(ETS),评测十个 LLM 并揭示层级间排名变化。④ 在 1,296 条标准级判断上验证自动评分与三位医师多数投票的一致性。
- 做法:构建分层基准 MEB,每条标准绑定版本化原文 span;用 ETS 度量十个 LLM 的证据溯源表现,并以三医师多数投票检验自动评分。
- 局限:指南知识回忆不能保证患者特异性证据使用,且结果仅基于中文材料、未确立临床有效性。↗
17. Controlled Knowledge Engineering for Taxonomy Induction with Tool-Grounded LLM Agents and Runtime-Adaptive Policies
- 场景:学术(无业务场景),taxonomy 自动归纳与结构化知识构建。
- 线上效果:无线上 A/B,仅离线:structural quality 与 precision(摘要未给出具体数值)。
- 问题:LLM 迭代式自由生成易遗漏或幻觉出候选集外实体、生成非法层级关系、组织原则前后不一致。
- 动机:taxonomy 需要的是完整、结构合法且语义一致的层级而非看似合理的文本,因此把归纳约束为显式状态与受限动作空间上的迭代决策,用工具执行与策略约束替代自由发挥。
- 贡献:① 提出 TIGA,将 taxonomy induction 形式化为显式状态与受限动作空间上的迭代决策过程。② 整合可执行的 taxonomy 编辑工具、记录工具调用/理由/结果的 memory,以及运行时自适应组织策略。③ 引入可选 global reviewer,按候选实体集与当前生效策略评估已构建的 taxonomy。④ 在 4 个基准 taxonomy、2 个 LLM backbone 上与 single-shot/迭代 prompting 基线对比,多数配置结构质量最优,并报告成本与消融。
- 做法:将 state 显式化,action 限定为可执行的 taxonomy 编辑工具;interaction memory 记录 tool calls、rationales 与 outcomes,runtime-adaptive organizational policy 由 agent 在推理过程中修订。
- 局限:token 消耗、API 调用量与推理时间显著更高,precision 未全面占优,global review 的收益取决于数据集与可用修订预算。↗
18. Exploiting Feature-invariant Scaling Laws for Efficient A/B Experimentation in Recommendation Systems
- 场景:学术(无业务场景),推荐系统特征改动的实验方法。
- 线上效果:无线上 A/B,仅离线:在 MovieLens-20M 等基准上以全量评估所需算力的一小部分区分有益、中性、退步改动(摘要未给出具体指标数值)。
- 问题:每个特征改动都做全量 A/B 实验(全模型训练加线上数据)计算代价过高,而单次小规模实验的结果往往有误导性。
- 动机:现代推荐模型的性能变化在不同特征改动下都遵循可预测的 scaling law(feature-invariant scaling),因此小规模实验可经统计推断外推到全量规模。
- 贡献:① 揭示现代推荐模型具有 feature-invariant scaling,不同特征改动下性能变化仍遵循可预测的 scaling law。② 提出利用 scaling law 与统计推断、带置信区间预测全量 A/B 效果的方法。③ 在 Wukong、HSTU、LLM-based 三类模型家族 40+ 项改动上验证,仅用一小部分算力即可区分改动好坏。④ 发现多项可提升 HSTU 在 MovieLens-20M 上 SOTA 性能的改动。
- 做法:对每个特征改动只做小规模实验,用特征不变 scaling law 建模性能随规模的变化,再以统计推断预测全量规模的性能变化并给出置信区间,从而用少量算力过滤中性或退步改动。
- 局限:摘要未报告预测精度的具体数值,也未提及线上全量 A/B 验证结果。↗
19. SeqFold: Timestamp-Addressable Compressed States for User Action Sequence Backbones(酷澎)
- 场景:电商推荐,大型电商平台的用户行为序列建模,下游覆盖搜索、推荐与查询自动补全。
- 线上效果:无线上 A/B,仅离线:主指标 Query PR-AUC(按 query 计算后跨 query 平均)。Full Action Sequence 高 2.11% 但每快照需 6,963,200 字节,SeqFold 仅 2,048 字节(3,400× 缩减);连续 Fusion 高 0.72% 需 262,144 字节,single-vector pooling 低 2.00%,采样 64 动作与最近 64 动作分别低 2.37%/3.98%,window pooling 落后 1.10%-1.38% 且存储大 53× 以上。
- 问题:冻结骨干产出的完整多层隐状态时间线(单用户最多约 205 万个浮点值)远超下游的存储、传输与训练内存预算,直接张量化实现融合递推还会物化 [B,N,C,D] 稠密前缀状态造成显存压力。
- 动机:下游离线回填与在线服务并不需要完整隐状态时间线,只需要与目标时间戳对齐、仅包含该时刻之前动作的因果状态,因此可把多层状态导出为按时间戳寻址的共享压缩码,并将状态更新与状态物化解耦。
- 贡献:① 将长历史骨干状态的下游复用形式化为 timestamp-addressable compressed-state export。② 提出 SeqFold,用可学习多通道融合、通道级时序衰减和 LFQ 把多层用户表示压缩成紧凑离散码。③ 设计 fused streaming export,解耦状态更新与物化,保留 action 级递推同时避免稠密前缀状态张量。④ 在专有大规模数据上验证质量-存储权衡与时间戳状态生成的扩展性。
- 做法:在冻结的因果两流骨干后逐层接入 sigmoid 门控多通道融合(各通道独立、非 softmax)、带通道级可学习衰减率的时序融合,再经 RMSNorm 与 LFQ 量化为 64-bit 码,每层 64 通道、4 层共 2,048 字节/时间戳。导出用流式递推 S(i,c)=α(i,c)·S(i−1,c)+β(i,c)·A_full(i),Triton 融合核一次前向扫描且仅在请求时间戳物化,反向存最终状态与周期性 FP32 检查点做 reverse scan;10,000 动作下比 cumsum 基线快 19.6×,最稀疏导出快 52.2×、峰值内存 35.0→2.0 GB。
- 局限:仅在专有电商数据上以相对指标评估,训练期分组导出会带来有界的状态可见性延迟。与 SIM/MIND 等改进骨干或产出任务特定表示的方法、以及只暴露静态或请求时 embedding 的 YouTube 两阶段/DSSM 不同,本文不改骨干,而是导出按任意目标时间戳对齐的因果状态。↗
20. Beyond Fluent Responses: Finding User Dissatisfaction in Human-AI Interactions(东北大学、RIKEN、NII LLMC)
- 场景:学术(无业务场景),真实 ChatGPT 对话交互中的用户不满检测。
- 线上效果:无线上 A/B,仅离线:AUPRC,英文子集正例占比 17.8%。BERT-small 的 Userprev.+User 达 33.2%、User 达 33.1%;LOF(GPT) 的 Userprev.+User 为 32.8%(较 User +12.8);多语言 LOF 中该优势消失、System+User 更高。
- 问题:传统响应评估只看响应本身的正确性与连贯性,但用户满意度取决于主观偏好与感知有用性,二者并不对齐。用户即使有情绪,也未必在文本中显式表达。
- 动机:响应生成质量已大幅提升,评估应转向用户视角;不满可能不显式表达,但与上一条用户语句相比的行为、风格变化可能成为可检测线索。
- 贡献:① 将用户不满检测形式化为语句级任务,以用户自报标签为 ground truth,并定义 System、User、System+User、Userprev.+User 四种输入条件。② 用二元分类与异常检测两类方法验证仅凭用户语句即可超过 17.8% 的正例占比基线,最高约 15 个百分点。③ 发现英语中引入前一条用户语句对异常检测最有效,并用短语句与风格向量变化解释其机理。④ 将分析扩展到波兰语、西班牙语、日语,发现不满线索存在明显跨语言差异。
- 做法:二元分类用 BERT-small/BERT-mini 微调与 GPT-5.1 zero-shot/two-shot;异常检测把输入转为 bert-base-uncased 或 text-embedding-3-large 嵌入,用 LOF、LUNAR、AE、VAE 打分;以 AUPRC 评估,5 个随机划分 6:1:3。
- 局限:数据规模小(107 段对话、824 条语句)、不满定义主观,多语言差异与数据量效应无法区分。与把用户语句当作评估响应反应信号的工作不同,本文聚焦语句中隐含的 dissatisfaction 本身,并利用前一条用户语句的变化信号。↗
本日报由 AI 自动生成,解读观点仅供参考。