卡内基梅隆大学的研究者们想到了一个聪明的"以小博大"方法

由卡内基梅隆大学语言技术研究所（Language Technologies Institute）与Salesforce AI Research联合主导的卡内研究，于2026年7月2日以预印本形式发布（arXiv:2607.02032）。基梅该研究提出了一种名为PACE（Proxy for Agentic Capability Evaluation）的学的想到小博创新评估框架，旨在解决AI代理（Agent）评估成本高昂的研究痛点。感兴趣的个聪研究者可通过arXiv编号查阅完整论文。

核心痛点：为何AI代理评估令人望而却步？大方

评估AI代理的表现，类似于企业招聘中的卡内“长期实习”。

• 高昂的基梅成本：若让AI在真实环境中完成复杂任务（如修复代码、规划多步行动），学的想到小博需搭建完整基础设施，研究耗时数天，个聪单模型评估成本可达数千美元。大方
• 规模化难题：若需评估上百个模型，卡内这种“全量实习”式的基梅评估方式在时间和资金上均不可行。

PACE的学的想到小博核心突破在于：能否通过一套低成本、快速执行的“小测验”，准确预测AI在昂贵“大考”中的表现？研究团队给出的答案是肯定的。

一、 评估体系重构：“月考”与“高考”的映射

PACE建立在两类基准测试的差异与联系之上：

1. 非代理基准测试（Non-Agentic Benchmark）——“月考”
2. 特点：题目独立、即时判分、成本极低（每道题仅几美分）。
3. 内容：涵盖知识记忆、数学推理、代码编写、指令理解等单项能力。
4. 代理基准测试（Agentic Benchmark）——“高考”
5. 特点：需构建真实工作环境、多步骤交互、成本高昂。
6. 案例：SWE-Bench（代码修复）、GAIA（综合问题解决）。
7. 逻辑：代理任务的成功依赖于基础能力（如指令遵循、计划制定、工具调用、推理思考）。

核心洞察：正如平时测验成绩可预测高考成绩，AI在“月考”中的表现与其在“高考”中的表现存在强相关性。PACE据此构建了包含11个维度的“能力地图”，包括：指令遵从、长信息整合、错误恢复、计划制定、代码生成、信息检索、代码库搜索、工具调用、推理思考、多模态理解及结果验证。

二、 PACE的“选题委员会”：智能筛选100道关键题目

PACE从19个非代理基准测试（数万道题目）中，精准筛选出100道最具预测价值的题目，形成PACE-BENCH。筛选过程采用两种互补策略：

1. 局部选择（Local Selection）：追求“高相关性”

• 方法：计算每道候选题目与目标代理基准得分之间的斯皮尔曼等级相关系数（Spearman Rank Correlation）。
• 逻辑：筛选出那些得分变化与目标高考得分变化趋势高度一致的题目。

2. 全局选择（Global Selection）：追求“信息代表性”

• 方法：利用奇异值分解（SVD）计算每道题目的杠杆分数（Leverage Score）。
• 逻辑：识别题库中信息量最丰富、最能代表整体能力结构的题目，避免选择测量维度重复的题目。

最终机制：合并两位“专家”的推荐名单，通过数据自动优化的权重进行加权融合，确保最终选出的100道题既相关又全面。

三、 预测引擎：从“月考”推算“高考”

PACE提供两种预测目标，适配不同需求：

1. 绝对分数预测（Performance Prediction）
2. 目标：预测AI在目标基准上的具体得分。
3. 方法：线性最小二乘回归。基于已知高考成绩的“校准集”训练回归权重，建立月考得分到高考得分的最佳映射。
4. 排名预测（Pairwise Preference Prediction）
5. 目标：判断两个AI模型中谁在高考中表现更好。
6. 方法：逻辑回归（基于Bradley-Terry模型思想）。输入两模型的月考得分差异，输出强弱判断。

关键技术：自举法（Bootstrap）重采样
针对校准集样本量小（仅十几个模型）易导致过拟合的问题，PACE在训练时对高考题库进行有放回随机重采样，生成多个略有差异的得分估计。实验证明，此技巧使平均绝对误差降低约0.77%，斯皮尔曼相关系数提升约0.15。

四、 实验设计：严格验证预测能力

• 实验对象：14个前沿AI模型（包括GPT 5.2、Gemini 3 Pro、Claude Opus 4.5、DeepSeek V3.2、GLM 4.7、Kimi K2等，涵盖闭源与开源）。
• 目标基准（高考）：
• GAIA：综合问答（网络搜索、推理、多模态）。
• SWE-Bench Verified：真实GitHub Bug修复（500个高质量案例）。
• SWE-Bench Multimodal：含视觉信息的Bug修复。
• SWT-Bench：Bug测试用例生成。
• 注：所有结果均通过OpenHands统一框架获取，确保公平性。
• 验证方法：留一法交叉验证（LOOCV）。每次隐藏一个模型，用其余13个训练，预测隐藏模型。此方法严格检验模型对“未见过的AI”的泛化能力。

五、 实验结果：高性价比的“成绩单”

在仅使用100道月考题的情况下，PACE表现优异：

• 绝对误差（MAE）：平均仅3.80%。若真实分为60分，预测误差平均不超过3.8分。
• 排名一致性：斯皮尔曼相关系数达0.81，预测排名与真实排名高度吻合。
• 两两比较准确率：平均84.37%，远超随机猜测（50%）。

细分表现：
* SWE-Bench Verified：绝对误差最低（2.09%）。
* SWE-Bench Multimodal：排名相关性最高（0.89）。
* SWT-Bench：两两比较准确率最高（90.11%）。

成本对比：
* PACE评估成本不足完整代理基准测试的1%。
* 相比“随机抽取高考题目”的基准方法，PACE在同等精度下成本仅为后者的1/100。

六、 深度洞察：题目选择揭示的“能力秘密”

PACE的选题结果揭示了不同代理基准测试背后的核心能力依赖：

1. 通用底座：
2. “遵从指令”和“推理思考”在所有高考目标中均被选满。
3. PlanBench（规划能力基准）是四个目标中被选中最多的单一来源，证明规划能力是AI代理的核心通用技能。
4. 特定任务侧重：
5. GAIA：侧重“验证与测试”（49道）和“规划”（36道），因其需严格遵循格式并多步整合信息。
6. SWE-Bench Verified：侧重“规划”（54道）、“验证与测试”（58道）及“代码生成”（27道），对应“规划-编码-测试-修复”的工作流。
7. SWE-Bench Multimodal：突出“长篇信息整合”（47道），而非单纯的多模态理解（15道），说明文字描述往往足以定位问题，视觉信息多为辅助。
8. SWT-Bench：高度依赖“规划”（84道）和“验证与测试”，因生成测试用例需精准触发Bug并设计断言。
9. 区分度能力：VisualPuzzles（多模态推理）、BFCL（工具调用）、MMMU（多模态理解）在多个目标中出现，表明这些能力有助于区分前沿模型差异。

七、 对比验证：为何PACE优于其他方法？

1. vs. 随机抽题：在任何成本水平下，PACE的预测精度均显著优于从高考题库中随机抽取题目。
2. vs. 正则化回归（Lasso/Ridge）：
3. Lasso/Ridge在训练集上拟合完美，但在LOOCV下严重过拟合（因样本量远小于特征数）。
4. PACE通过“选题与回归解耦”（先独立评分选题，再在小规模题目上回归）规避过拟合，实现了更稳健的跨模型泛化。

八、 预算弹性：题目数量与精度的关系

研究测试了从25道到500道题目的效果变化：

• 25道题：MAE 4.02%，排名准确率83.98%（已具较高参考价值）。
• 400道题：MAE触底（3.30%），之后略有回升，提示在14个模型校准集下存在轻微过拟合。
• 500道题：两两比较准确率持续提升至89.27%。
• 推荐点：C=100，在成本与精度间取得最佳平衡。

九、 局限性与未来展望

研究团队坦诚指出了PACE的边界：

1. 代理博弈风险：若题目公开，开发者可能针对性优化。需定期更新题目或保密。
2. 校准集规模：14个模型对于100维特征空间仍偏小，回归权重解释单题重要性时需谨慎，更适合集成信号。
3. 框架依赖性：目前基于OpenHands框架，推广至浏览器操作或具身机器人等不同工具链尚待研究。
4. 能力覆盖限制：若代理基准所需能力完全超出19个月考基准范围，PACE将失效。

总结

PACE通过寻找“最聪明的面试题”，实现了以极低成本（<1%）和极短时间预测AI代理在复杂任务中的表现。它降低了AI评估的门槛，使资源有限的团队也能有效追踪模型能力，避免了“多花钱”与“了解真相”之间的巨大鸿沟。

• 论文链接：arXiv:2607.02032
• 代码库：neulab/pace
• 数据集：neulab/pace-bench

Q&A

Q1：PACE方法用100道题预测AI代理表现的准确率能达到多少？
A：在严格的留一法交叉验证下，PACE用100道非代理题目预测AI代理基准测试成绩的平均绝对误差仅为3.80%，斯皮尔曼相关系数达到0.81，两两模型排名比较的准确率平均为84.37%，且评估成本不到完整代理测试的1%。

Q2：PACE如何从数万道候选题目中选出最有价值的100道题？
A：PACE同时使用两种互补策略。“局部选择”根据每道题与目标代理基准得分之间的斯皮尔曼相关性筛选最相关的题目；“全局选择”则通过SVD奇异值分解计算每道题在整个题库中的信息代表性，综合两种信号再通过数据自动确定最优权重比例。

Q3：PACE的预测能力会随着题目预算增加而一直提升吗？
A：不会无限提升。实验表明随着题目数量从25增加到400，绝对误差从4.02%下降到3.30%，但超过400道题后精度略有下降，说明在当前14个模型的校准集规模下存在轻微过拟合。两两排名比较的准确率则持续提升至500道题（89.27%）。