arXiv q-fin.GN· Hamid Boustanifar·· 29 天前AI 评分36
同一文本、不同数字:基于 LLM 的文本度量在不同模型间的分歧
Same Text, Different Numbers: The Divergence of LLM-Based Measures
AI 导读
研究用 7 个不同厂商的 LLM 对 S&P 500 公司财报电话会议记录按 13 项指标打分,跨模型排名相关性平均仅 0.52,跨提供商共有的记录层面差异只占总得分变异的 34%。模型选择显著影响下游推断,系数大小、符号和统计显著性随模型大幅变化。作者建议将 LLM 生成的变量视为依赖模型的测量结果,并跨提供商验证。
来源:arXiv q-fin.GN · arxiv.org