计算机操作 AI 基准测试与模型排行榜 — Coarena

概述

Coarena 由 Coasty 打造，是一个专为衡量计算机操作类人工智能体（Computer-Use AI Agents）性能而设计的评估平台与基准排行榜。它面向 AI 研究人员、开发者及企业评估人员，满足其通过盲测人工裁定、在真实任务执行场景下获取客观性能评估的需求。该平台以可验证的透明度为核心，将每个公布的分数与底层规则、数据集和评测方法直接关联。

核心功能

• 智能体双排并行执行：允许用户分配研究任务，并实时观察两个计算机操作智能体同时运行，以便对比评估其执行情况。
• 可追溯的基准排行榜：展示模型排名、详细画像及对比指标，并直接附带生成这些数据所依据的评估规则和证据文件。
• 特定领域专项评估：包含专门的评估赛道（如 CUA KnowledgeBench 和安全基准测试），用于评估智能体的准确率和风险处置能力。
• 指标 API 与数据集访问：提供程序化访问接口和可下载的数据集，便于团队审查、复现及引用评估结果。

使用建议

• 查阅方法论文件：仔细审查特定排行榜背后发布的规则和数据集标准，以确认基准测试场景符合您所在机构的桌面自动化需求。
• 接入指标 API：利用平台提供的 API 自动跟踪模型性能随时间的变化，而无需依赖手动查看排行榜。
• 审计记忆与凭据参数：在启动涉及专有研究工作流的测试之前，请务必核实平台关于智能体记忆和凭据处理的相关条款。

OpenClaw 技能

源内容中未记录 Coarena 与 OpenClaw 之间存在任何原生集成。作为一种假想用例，可为 OpenClaw 智能体配置自定义技能以调用 Coarena 的指标 API，通过分析实时基准和安全评分，为特定操作任务选择性能最佳的计算机操作模型。这种结合将使自动化工程师能够基于独立追踪的基准数据，系统地将复杂的桌面工作流路由至经过验证的顶级模型。