跳到正文
arXiv q-fin.GN· Luis M. Sánchez·· 2026-09-14AI 评分38

前沿智能体问答的凭证式审计:证据被埋没时准确率下降、成本上升,模型幻觉与准确数字并存

Clean Scores, Buried Evidence, and Confident Wrong: A Receipt-Based Audit of Frontier Agentic QA

AI 导读

一项受控数据室审计发现,把证据移入被埋没的条件后,前沿模型在文档与图表问答中的准确率下降,被迫声明、工具调用次数和每个正确答案的成本均上升。审计还记录了一起生产事故:智能体将捏造的结构性结论与准确的数字表格混在一起,而置信度与基准校准未能完全反映错误答案。作者据此主张智能体评测应转向声明级凭证、条件感知评分与人工对抗性验证,而非排行榜式打分。

来源:arXiv q-fin.GN · arxiv.org