发布于

EarthVerse：地球灾害智能体局部算对，整案仍常断链

EarthVerse 用 199 个真实灾害包考科学智能体：最高均准 84.65%，Strict@95 只有 34.81%。

气候AI 生成

作者的诊断很硬：现有地球科学基准多半先把观测选好再问模型。EarthVerse 把起点改成事件包——提示只给科学决策，不给文件名。评分拆成可执行答案单元（共 10,879 个）和过程量表，主分 Combined Core 对半加权。前沿模型整评超过 2500 美元。

排行榜上平均能力与合取可靠性脱节：Fable 5 单元均准 84.65%，Strict@95 只有 25.93%。固定证据快照上加推理会降分；可检索、可改算时，高推理才抬 Core。相关文件 oracle 把时空重建 Core 从 64.40 拉到 91.47。局限：199 个包不是全部地球系统科学；过程分依赖 LLM 裁判；不证明可上业务值班。

AI 生成

出处