开首：新智元开云(中国)Kaiyun·官方网站 - 登录入口

　　【新智元导读】刚刚，全新AI基准测试器具xbench出身，通过双轨评估体系和长青评估机制，追踪模子材干涉内容场景价值。

　　跟着基础模子的快速发展和AI Agent进入规模化应用阶段，被普通使用的基准测试（Benchmark）却濒临一个日益敏感的问题：想要真实地响应AI的客不雅材干正变得越来越贵重。

　　因此，构建愈加科学、长效和果然响应AI客不雅材干的评测体系，正在成为教唆AI技能突破与家具迭代的紧要需求。

　　有鉴于此，红杉中国今天认真推出一款全新的AI基准测试器具xbench，并发布论文《xbench： Tracking Agents Productivity ，Scaling with Profession-Aligned Real-world Evaluations》。

　　在评估和推动AI系统提高材干上限与技能界限的同期，xbench会要点量化AI系统在真实场景的遵守价值，并采用长青评估的机制，去捕捉Agent家具的要害突破。（点击文末【阅读原文】即可下载阅读本论文，建议使用电脑端进行下载）

　　https：//xbench.org/files/xbench_profession_v2.4.pdf

　　摘抄

xbench采用双轨评估体系，构建多维度测评数据集，旨在同期追踪模子的表面材干上限与Agent的内容落地价值。该体系翻新性地将评测任务分为两条互补的干线：（1）评估AI系统的材干上限与技能界限；（2）量化AI系统在真实场景的遵守价值（utility value）。其中，后者需要动态对都实践天下的应用需求，基于内容职责历程和具体社会扮装，为各垂直领域构建具有明确业务价值的测评模范。

xbench采用长青评估（Evergreen Evalution）机制，通过握续爱戴并动态更新测试内容，以确保时效性和经营性。咱们将如期测评市集主流Agent家具，追踪模子材干演进，捕捉Agent家具迭代过程中的要害突破，进而预测下一个Agent应用的技能-市集契合点（TMF，Tech-Market Fit）。行为零丁第三方，咱们勤恳于为每类家具假想公允的评估环境，提供客不雅且可复现的评价闭幕。

首期发布包含两个中枢评估集：科学问题解答测评集（xbench-ScienceQA）与华文互联网深度搜索测评集（xbench-DeepSearch），并对该领域主要家具进行了空洞名次。同期提议了垂直领域智能体的评测措施论，并构建了面向招聘（Recruitment）和营销（Marketing）领域的垂类Agent评测框架。评测闭幕和措施论可通过xbench.org网站及时稽察。

在昔时两年多的时辰里，xbench一直是红杉中国在里面使用的追踪和评估基础模子材干的器具，今天咱们将其公开并孝敬给统统这个词AI社区。不管你是基础模子和Agent的开荒者， 如故经营领域的众人和企业，或者是对AI评测具有浓厚风趣的照顾者，咱们都接待你加入，成为使用并完善xbench的一份子，沿路打造评估AI材干的新范式。

xbench Dual-track Leaderboard 2025.05

　　为什么目下需要新的Eval系统

　　2022年ChatGPT推出后，红杉中国驱动对AGI进度和主流模子实行每个月的评测与里面陈诉。

　　2023年3月，咱们驱动开荒xbench的第一批专有题库，题目类型主要针对Chatbot浅薄问答及逻辑想考，如：

　　· 香蕉的平方根是几许？  

　　· 小明郁勃成为最收效的投资东谈主，经过一番努力，最终他收效了。请示用什么成语形容这个情况相比适当？ 

　　咱们见证了主流模子从20-30分，在18个月内，提高到90-100分。2024年10月，咱们第二次相比大规模地更新了xbench题库，换掉了统统模子都得满分的题，新题主要针对Chatbot复杂问答及推理，以及浅薄的模子外部器具调用材干（tool use），如：

　　· 设 f（x） 是一个奇函数，而 g（x） 是一个偶函数。那么， f（f（g（f（g（f（x）））））） 是奇函数、偶函数如故都不是？ 

　　· Q ：将 /nt 目次下统统稳当 ‘result_*．txt’ 格式的文献，按 * 数字从小到大的法例，合并到一个文献中。而且定名为 ‘results_total.txt’ 。 

　　咱们再次见证了主流模子的跨越，这一次的速率更快，主流模子在6个月内“刷爆”了咱们的第二期题库。

评估的有用时辰在急剧裁汰（图源：姚顺雨个东谈主博客）

　　2025年3月，咱们驱动第三次对xbench题库进行升级，但这一次，咱们驱动停驻来质疑现存评估格式，想考两个中枢问题：

　　1． 模子材干和AI内容遵守之间的关系：咱们出越来越难的题目酷好酷好是什么，是否落入了惯性想维？AI落地的内容经济价值真的和AI会作念难题正经营吗？举个例子，程序职职责的utility value很高，但AI作念起来跨越额外快，而“去工地搬砖”这么的职责AI却简直无法完成。

　　2． 不同时间维度上的材干相比：每一次xbench换题，咱们便失去了对AI材干的前后可比性追踪，因为在新的题集下，模子版块也在迭代，咱们无法相比不同时间维度上的单个模子的材干怎么变化。在判断创业花样的时候，咱们心爱看创业者的“成长斜率”，但在评估AI材干这件事上，咱们却因为题库的不停更新而无法有用判断。

　　接下来咱们应该何如作念评估？

　　为了应答上述两个中枢问题，咱们紧要需要构建新的评估平台，并要点面向：

　　■ 突破惯性想维，为实践天下的实用性开荒新颖的任务树立和评估格式

　　以‘Search’材干为例，AI材干评估集的进化旅途可能是：

　　Single-turn QA→Search→Deep Search（Multi-step reasoning）→Deeper Search（Multi-hop or Chained Reasoning）

　　若是咱们跳脱出“照顾视角”惯性，转向“市集与业务视角”，任务和环境的各样性会爆炸式增长，Search类的题就会变成：

　　→Marketing→KOL Search→‘一家智能投影仪品牌假想在中东市集进行内容投放，目的东谈主群为 35 岁以下、有零丁居住空间的科技早期用户，主要通过活命格式类博主触达。 AI Agent 需完成： ① 在中英文多平台上识别优质创作家，判断其内容调性是否靠近 ‘ 居家文娱 + 智能家居 ’ ； ② 预测不同地区（如迪拜与利雅得）的 CTR 相反； ③ 扶持完成组合推选。’→$6，000 （东谈主工完成该任务需 3 名中东腹地营销东谈主员，约耗时 1 周，总资本约 $6，000 （ $2，000/ 东谈主 / 周）） 

　　→Recruiting→People Search→‘一家头部 VC 维持的多模态大模子初创公司，正在寻找一位 ‘ 具备高质料开源花样教学、熟悉 transformer 架构、曾在 FAIR 或 DeepMind 实习 / 合作过 ’ 的 AI 工程负责东谈主。目的候选东谈主不一定在招聘平台上活跃，大部分信息漫步在 GitHub 、 arXiv 、 X （原 Twitter ）、外洋社区论坛中。 AI Agent 需完成： ① 跨平台搜索与团员； ② 候选东谈主配景重建（老师、花样、实习）； ③ 对技能契合度自动评分； ④ 生成 Cold outreach 计谋邮件草稿。’→¥9，000 （东谈主工完成该任务，频繁需1名高等猎头 +1名技能照顾员，耗时约 1 周，东谈主力总资本约 ¥9，000 ）

　　下半场的评估，不仅需要越来越难的AI Search材干的侦察基准（AI Capabilities Evals），也需要一套对都实践天下众人的实用性任务体系（Utility Tasks）。

　　前者侦察的是材干界限，呈现是Score，此后者侦察的是实用性任务和环境各样性、贸易KPIs（conversion rate、closing rate）和径直的经济产出。

　　咱们引入Profession Aligned的基准办法，咱们以为接下来的评估会分为AGI tracking与Profession Aligned，AI将濒临更多复杂环境下遵守的侦察，从业务中网罗的动态题集，而不只是更难的身手题。

　　■ 设立长青评估体系

　　静态评估集一朝面世，会出现题目表示导致过拟合然后赶紧失效的问题。咱们将爱戴一个动态更新的题目推行评估集来缓解这一自得。

　　针对AI Capacity Evals：学术界提议了好多出色的措施论，但是受限于资源与时辰不充分，无法爱戴成动态推行的握续评估。咱们但愿能延续一系列公开评估集的措施，并提供第三方、詈骂盒、Live的评测。

　　针对Profession Aligned Evals：咱们但愿设立从真实业务中Live网罗机制，邀请各行业的事业众人与咱们共同构建和爱戴行业的动态评估集。

　　同期，在动态更新的基础上，咱们假想可横向对比的材干目的，用于在时辰上不雅察到名次除外发展速率与要害突破的信号，匡助咱们判断某个模子是否达到市集可落地阈值，以及在什么时辰点上，Agent不错领受已有的业务历程，提供规模化劳动。

　　面向真实天下的动态评估， 

　　Live Evaluations for Agents

　　Agent评测的双轨旅途

　　咱们推出xbench双轨系列评估集，分为xbench-AGI Tracking与xbench-Profession Aligned。咱们将AGI Tracking评测视为Agent应用落地的基础台阶，而Profession Centric评测则是对接真实出产场景的高阶实践。

　　AGI track评测旨在考证模子在特定材干维度上是否从0到1具备了智能默契，这类评测的要害是要饱胀难和高明、饱胀有区分度，来挖掘“智能”而非“系统”的界限。只好当某个AI要害材干在AGI Tracking中完了从0到1的突破，才可能进一步解锁更多专科职责历程，进入Profession Aligned评测的领域。

　　Profession Aligned评测则聚焦于实践出产场景，是把Agent当成一个数字职工放在具体业务历程里来进行侦察。其评估中枢并非智能存在与否，而是在真实场景下的委用闭幕和贸易价值。

　　Profession Aligned不错有好多类型应用来惩办，评估不会阻抑惩办决策，只会考核闭幕。另外，Profession Aligned评估从对出产力的需求起程，是界说垂类应用/寻找垂类AI惩办决策，即使这个场景应用还莫得作念出来。

　　以营销和东谈主力资源场景为例，咱们通过对xbench AGI track中xbench-DeepSearch评测目的追踪，以为AI search这一要害模子材干正在快速熟习，寻找简历、分析候选东谈主匹配度，在各大平台上寻找KOL、分析KOL与需求的匹配度，都是潜在AI能完了的职责流。于是咱们驱动构建xbench-Profession-Recruitment及xbench-Profession-Marketing但愿对都Agent业务落地价值，预测TMF的时辰点。

　　在AI Search除外，跟着AI要害材干可想到的拓展至多模态相接和生成，营销素材的出产和投放会被纳入可能达到TMF的身手-进入Profession Aligned评估的测试范围内。

　　同样，应用于recruiting时，senior recruiter的职责流不局限于people search、people evaluation，更难的在于对候选东谈主恒久爱戴和相通以致是薪酬谈判和达成来往身手——这里AI具备恒久顾忌、竞争和决策博弈等中枢职能，亦然下一个阶段要害智能的突破标的，咱们会握续监测要害材干突破并加多Profession-Aligned测评的丰富度。

　　以AI要害材干为中心的评估（AGI Tracking）

　　2023-2024年大模子在常识、多模态、顾忌、指示罢黜与推理材干上取得权臣突破，这些突破的蚁集酿成了Agent应用材干的爆发——但仍然在恒久顾忌、真实度、问题发现、多智能体合营与博弈材干等上存在短板。

　　咱们但愿收拢AI尚未充分惩办的中枢材干，构建并握续爱戴对应的评估集。

　　咱们服气针对这些要害材干，学术界提议了好多出色的措施论，但是受限于资源与时辰不充分，无法爱戴成握续评测、动态推行的评估。咱们但愿能延续一系列公开评估集的措施，并提供第三方、詈骂盒、Live的评测。

　　咱们把Agent材干拆分红基础智能、专科实践材干、翻新材干涉组织材干，每个层级中咱们会拆分出组成完了AGI的要害要素。

　　AI的发展不一定是从基础到高阶的法例进行，咱们不错想到的是，在AI获取了组织材干后如故存在基础真实度的问题。

　　这一次咱们发布的xbench-ScienceQA与xbench-DeepSearch评估属于Knowledge与Tool Use的子类别，测试Agent在这两项主材干分类下的子任务材干。后续咱们会围绕这些要害问题握续发布新的评估，并追踪市面家具的默契。

　　■ xbench-ScienceQA： 侦察基础智能-常识

　　该评测集用于测试照顾生水平的学科常识和推理材干。咱们网罗可靠、多领域、高等老师难度、搜索引擎上费劲的、谜底明确的高质料题目数据。

　　已有的经营评估集如GPQA、SuperGPQA等取得了很大招供与温雅，但他们均为一次性发布，费劲如期更新的机制。无法有用搜检评估集表示的程度。

　　咱们但愿开荒出一个按照季度更新的ScienceQA题目数据，并每月握续陈诉最新模子的材干默契，每季度更新一次。

　　咱们邀请来自顶级院校的博士照顾生以及资深行业众人出题，并采用LLM难度锤真金不怕火、搜索引擎锤真金不怕火、同业锤真金不怕火等格式确保题目的公谈性、区分度与正确性。

　　■ xbench-DeepSearch ：侦察专科出产力-器具使用

　　自主诡计（Planning）→信息网罗（Search）→推理分析（Reasoning）→归来归纳（Summarization）的深度搜索材干是AI Agents通向AGI的中枢材干之一，也给评估带来了更难的挑战。

　　基于浅薄事实的评估集如SimpleQA、Chinese SimpleQA简略评估信息网罗材干，但费劲对自主诡计和推理分析材干的侦察；基于前沿科学的评估集如HLE、AIME擅长侦察模子的推理分析材干，但弱于自主诡计和信息网罗材干的度量。

　　为了更好的侦察Agents的深度搜索材干，咱们推出并开源了xbench-DeepSearch评测集，具备以下特色：

　　• 适当华文互联网环境，斥责搜索信息源对闭幕的影响；

　　• 难度高，条目Agent具备诡计+搜索+推理+归来的端到端空洞材干；

　　• 统统题目经由东谈主工出题并交叉考证，保证题目的新颖性，谜底的正确性和独一性，便捷自动化评测；

　　• 握续更新，每月握续陈诉最新模子的材干默契，每季度更新一次评估集。

　　咱们以为2025年咱们会见证AI更多在基础智能与专科出产力上的进展，本年咱们的后续评估中会温雅：

　　1． 具有想维链的多模态模子能否生成商用水平视频？（多模态，推理，器具使用） 

　　2． MCP 器具大面积使用是否具有真实度问题？（器具使用，真实度） 

　　3． GUI Agents 能否有用使用动态更新 / 未熏陶的应用？（器具使用，测试时学习）

　　以专科职责为中心的评估（Profession Aligned）

　　追求与真实天下任务对都是目下AI评估的中枢诉求，这里咱们提议以专科职责为中心的构建措施。

　　已有的真实天下评估频繁所以AI材干为中心，去普通地阴私不同场景与领域，这关于领导通用模子的迭代额外有价值。

　　然则Agent应用频繁需要惩办垂类场景任务，并针对垂类需求进行定制假想，此时通用评估闭幕的参考价值下落。

　　咱们看到在Coding、客服与医疗领域出现高质料的评估，并带动了对应专科Agent材干的快速演进与家具化。专科中心的评估会快速在更多领域延张开，其占主流AI评估的比重也会快速提高。

　　面向专科职责的评估是但愿从特定事业众人起程，分析它本身的职责流与想维模式，构建出与众人活动对都的任务、履行环境与考证格式，历程如下图所示：

　　xbench Profession Aligned的构建罢黜如下三条中枢原则：

　　• 评估由需求界说：针对一个事业构建评估集，优先梳理其业务历程与任务分类，聚焦于可评估的任务项。关于部分暂不可评估的任务，通过模拟格式摇荡为可评估格式。

　　• 评估任务随时辰渐渐产生的从众人业务中Live网罗：任务并非“出题”生成，而是在众人日常业务中慢慢蚁集与网罗。关于动态变化的任务，咱们握续从真实业务流中获取与市集最靠近的评估内容。

　　• 领域价值驱动评估目的：每项任务标注众人完成所需时辰，并结合薪资基准估算任务的经济价值。每个任务预设TMF目的，一朝Agent达标则住手更新，Profession-Aligned的评估难度追务内容匹配，而不是握续变难。

　　这里咱们以招聘众人为例，假想xbench-Profession-Recruitment。

　　咱们通过与多家头部猎头企业合作，梳理众人每周职责在不同任务上的时辰分派。并让众人对这些任务的紧要性进行评估，筛选出领域职责的拆分图谱。

　　底下是一个结构化的职责任务拆解和经济价值的对都，以及对任务在现阶段可完了性和可评测性的梳理：

　　在每个单项任务中，咱们从现存技能角度分析其可测性与可行性。第一期xbench-Profession-Recruitment收录了JD需求拆解、东谈主才画像定位、候选东谈主资历补全、东谈主物关系相接、公开东谈主才搜索等几类任务。

　　咱们与专科猎头公司，以及具有充分历史业务数据蚁集的营销企业分别共建了xbench-Profession-Recruitment与xbench-Profession-Marketing这两个评估任务。不错点击文末【阅读原文】，在论文中看到更多闭幕。

　　咱们会以内容出产力需求为起点，通过上述措施论，集合行业众人拆解专科职责历程形成任务，界说客不雅、可复现的评价目的，逐一构建Profession Aligned的评估集，先于垂类应用界说出材干目的，用eval领导profession agent的落地。

　　预测将不息拓展至金融（Finance）、法律（Law）、销售（Sales）等高价值专科领域的评估任务体系构建。咱们接待来自经营领域的众人学者、产业企业、照顾机构参与共建，共同推动Profession-Aligned Eval的发展。

　　长青评估（Evergreen Eval）

　　评估有生命周期的任务与家具

　　静态评估聚会出现题目表示的问题。如LiveBench与LiveCodeBench评估的出现，期骗动态更新的题目推行评估集，缓解了题目表示的问题，然则，在Agent应用的评估任务中仍有新挑战。

　　最初，Agent应用的家具版块是具有生命周期的。Agent家具的迭代速率很快，会不停集成与开荒新功能，而旧版块Agent可能会被下线。咱们天然不错在销毁时辰测试同类Agent不同家具的材干，但是不行相比不同时间的家具材干跨越。

　　同期，Agent战争的外部环境亦然动态变化的。即使是一样的题目，若是解题需要使用互联网应用等内容快速更新的器具，在不同时间测试后果不同。

　　上述表格展示了针对Agent的Live评测可获取的闭幕。期骗该闭幕不错得到同期不同家具的名次，但是由于评估环境与任务的调节，不同期评测之间的材干增长是莫得捕捉到的。因此咱们但愿惩办如下问题：

　　评估集与模子不停迭代情况下，假想目的追踪Agent材干的握续增长。

　　统计上，咱们不错针对颓残得分矩阵推测每个Agent版块的材干主因素。咱们采用花样反应表面（Item Response Theory， IRT）完成对Agent Capability的推测。IRT表面把被测对象材干θ，题目难度b以及题目区分度α按照如下模子建模，被测对象在测试题目上的得分为：

　　这个公式知足题目得分概率p是[0，1]之间的取值，更大的难度统统b会斥责得分概率，而强的材关连数θ则会提高得分概率。关于区分度α更大的题目，频繁跟随材干θ增长愈加舒缓，意味题目能区分更普通材干的评测对象。

　　咱们使用OpenCompass动态更新的评估闭幕来考证IRT措施（https：//rank.opencompass.org.cn/leaderboard-llm/？m=25-01）。

　　该榜单从2024年2月驱动，每隔1-3个月更新一次题库并发布评估闭幕，底下左图展示了不同模子在评估时辰评测的得分，一样系列模子被销毁脸色的线进行联接。天然榜单闭幕很好涌现了每次评估时模子材干排序，但因为题目更新，不同时间模子得分时不具有可对比性。

　　而期骗IRT推测的材干得分，则不错很好地体现模子材干握续增长的趋势。咱们不错不雅察到2024年10月之后Google Gemini模子材干的快速跟进，以及Deepseek v2与r1发布所带来的两次较着提高。

　　在后续的Agent评估中，咱们会握续陈诉Agent评估集不同家具的IRT材干得分，用于在时辰上不雅察到名次除外发展速率与要害突破的信号。

　　评估Agent的技能市集匹配（Tech-Market Fit）

　　资本亦然Agent应用落地的决定性因素之一。

　　Inference Scaling让模子与Agent不错通过进入更多推理算力来取得更好的后果。这种进入既不错来自于强化学习带来的更长想维链，也不错是在想维链的基础上引入更屡次数的推理与汇总进一步提高后果。

　　然则咱们在实践任务中需要讨论Inference Scaling带来的进入产出比，找到在破耗、蔓延与后果上的均衡。肖似于ARC-AGI，咱们会追求为每个评估集陈诉在后果-资本图上的需求弧线、东谈主类材干弧线以及现存家具的最优供给弧线。

　　在Benchmark的得分-资本图上，咱们不错永别出左上区域的市集接受区与右下的技能可行区。东谈主力资本应当是市集接受区旯旮的一部分。左图展示了技能尚未落地的现象，而中间图展示了TMF后的现象，而其中交叉部分是AI带来的增量价值。关于具有TMF的AI场景，东谈主力资源应当更多进入在领域的前沿以及不可评估的任务，而且市集会因为东谈主力资源与AI算力的稀缺性不同再行给东谈主类孝敬的价值订价。

　　咱们以为每个专科领域会资历3个阶段：

　　1． 未达成TMF：技能真实与市集接受区域莫得杂乱，此时Agent应用仅是器具或办法，无法委用闭幕或规模化产生价值；Agent对东谈主的影响较小。

　　2． Agent与Human共同职责：技能真实与市集接受区域发生杂乱，交叉区域是AI带来的价值增量，包括（1）以低于最低东谈主类资本提供可行劳动，（2）匡助提高应答叠加性、质料条目中等的职责内容。而高水准的职责内容，由于数据稀缺、难度更高、如故需要东谈主来履行，此时由于稀缺性，企业获取的AI Profit可能会被用于支付高端职责产出。

　　3． 专科化Agent：领域众人在构建评估体系，并教唆Agent迭代。众人的职责从委用闭幕转向构建专科评估熏陶垂类Agents，并提供规模化劳动。

　　其中从1．向2．的调理是由AI技能突破、算力与数据的Scaling带来的，而2．转向3．的进展依赖于熟悉垂类需求、模范、历史教学的众人。

　　此外，在部分领域中，AI可能带来新的知足需求的格式，转换已有的业务历程和出产关系组成格式。

　　AI可能会带来价值更始、转换东谈主力需求的结构，咱们服气社会会因为更高效的出产效率与贸易模式加多东谈主类的总体福利。

海量资讯、精确解读，尽在新浪财经APP

遭殃裁剪：何俊熹 开云(中国)Kaiyun·官方网站 - 登录入口