コンピュータ操作AIベンチマーク＆モデルリーダーボード — Coarena

概要

Coastyが提供するCoarenaは、コンピューター操作型AIエージェントの性能測定に特化した評価プラットフォームおよびベンチマークリーダーボードです。AI研究者、開発者、企業の評価担当者を対象とし、ブラインド方式による人間の判定を通じて、現実世界のタスク実行に基づく客観的な性能評価を提供します。本プラットフォームは検証可能な透明性を重視しており、公開されているすべてのスコアは、その根拠となるルール、データセット、および評価手法に直接紐づけられています。

特徴

• エージェントの並行実行比較: 調査タスクを割り当て、2つのコンピューター操作型エージェントの同時作業を観察することで、実行性能の比較評価が可能です。
• 追跡可能なベンチマークリーダーボード: モデルのランキング、プロファイル、比較メトリクスを表示し、それらを生成した評価ルールやエビデンスファイルへの直接リンクを提供します。
• 特定領域の評価: CUA KnowledgeBenchや安全性ベンチマークなど専用の評価トラックを備え、エージェントの精度やリスク対応能力を評価します。
• メトリクスAPIとデータセットへのアクセス: APIを介したプログラムによるアクセスとダウンロード可能なデータセットを提供し、チームによる評価結果の検証、再現、引用を支援します。

活用のヒント

• 評価手法ファイルの確認: 特定のリーダーボードの背景にある公開ルールやデータセットの基準を精査し、ベンチマークのシナリオが自社のデスクトップ自動化要件と一致しているか確認してください。
• メトリクスAPIの統合: 手動でのリーダーボード確認に依存せず、提供されているAPIを利用してモデルの性能推移をプログラム経由で追跡してください。
• メモリおよび認証情報パラメータの監査: 機密性の高い調査ワークフローを含むテストを開始する前に、エージェントのメモリ保持や認証情報の取り扱いに関するプラットフォームの規約を確認してください。

OpenClaw スキル

元のコンテンツには、CoarenaとOpenClaw間のネイティブな連携についての記述はありません。想定されるユースケースとして、OpenClawエージェントにカスタムスキルを設定し、CoarenaのメトリクスAPIへ問い合わせを行うことが考えられます。リアルタイムのベンチマークや安全性のスコアを分析し、特定の運用タスクに最適なコンピューター操作型モデルを判断することが可能です。この組み合わせにより、自動化エンジニアは、独立して追跡されたベンチマークデータに基づき、複雑なデスクトップワークフローを検証済みの最上位モデルへと体系的に割り当てられるようになります。