分子回归基准：前沿模型在「背数字」

分子性质回归基准上，准确率分不清「算出来的」和「把文献里的数背出来的」。Busch、Tacke、Lamaka 等人审计 22 个前沿语言模型、12 个回归基准上的逐字检索（verbatim retrieval）。

发现检索很普遍，但偏数据集：五个数据集上超过 50% 的模型出现逐字检索，其余数据集只在个别格子里冒出来。他们在两档推理强度下跑同一实验：更高推理档位时，同分子、同提示被标成检索的次数比最低档多 89%。在污染最重的案例里试打断检索后，最强模型有时仍能认出变换过的 SMILES 与原标签组合；压住检索后，各模型的预测误差相对靠得更近，而是否靠背数字会把名次拉开——说明通盘预测能力并不只由背了多少数决定。预印本，未经同行评审。数字只来自摘要：22／12／五个数据集＞50%／+89%。未写未核的逐基准分表。

AI 生成