研究：LLM 标注可复现性不等于构念效度——基于欧盟委员会 AI Act 咨询意见的测量检验

一项基于欧盟委员会 AI Act 咨询数据的研究发现，LLM 对咨询意见文本的标注虽高度可复现（组内相关系数 > 0.99），但与同一利益相关方的问卷测量结果收敛有限。分歧在不同群体间系统性变化：商业协会在文本中表达的 AI 风险担忧高于问卷（{g} = +1.0），公共机构等群体则更小或为负。研究据此主张，将 LLM 用作测量工具时须区分可复现性、构念效度与沟通情境差异。