補題：AIエージェントの可観測性と評価

概要

Lemma は、AI エージェント向けの可観測性および評価プラットフォームです。チームがエージェントの失敗理由を理解し、リグレッションを検出し、トレースを調査し、自動評価とユーザーフィードバックの両方を活用して、問題がより多くのユーザーに影響する前に挙動を改善できるよう支援します。

この製品は、特に一般的なエージェントフレームワークや SDK を使用して、本番環境の AI エージェントを構築・運用しているチームを対象としているようです。そのポジショニングは、エージェント品質のための開発者向けおよび ML オペレーション層である可能性が高く、エージェントを計装し、トレースとフィードバックを収集し、失敗を検索・クラスタリングし、戦略や構成を時間経過で比較することを重視しています。

機能

• トレースレベルの可視性を備えたエージェント可観測性: Lemma はエージェントの実行とスパンを収集し、チームが幻覚、誤ったツール使用、ツール呼び出しの繰り返し、タスク遵守の問題といった失敗を調査できるようにします。
• 実際のユーザーシグナルに紐づいたオンライン評価: 自動評価と、サムズアップのフィードバック、チェックアウト開始、完了したアクションなどの観測された挙動を組み合わせることで、静的ベンチマークを超えたパフォーマンス測定を実現します。
• トレースと評価全体にわたるセマンティック検索: すべてのトレースが埋め込みおよびインデックス化されるため、チームは自然な英語で実行履歴を検索し、クエリ言語を学ぶことなく再発する失敗パターンをすばやく見つけられます。
• 新たな問題に対する自動クラスタ検出: Lemma はトレースを挙動または入力のクラスタに継続的にグループ化し、事前定義されたラベルや手動分類なしで未知の失敗モードを可視化するのに役立ちます。
• プロンプト、モデル、アーキテクチャの実験比較: 本番デプロイ前に固定テストセットに対して戦略を検証する、近日提供予定の実験ワークフローについて説明されています。
• OpenTelemetry をサポートする軽量な計装: チームはエージェント関数をラップし、実行 ID を生成し、トレースをフィードバックや実験結果に関連付けることができます。TypeScript と Python 向けの SDK と、既存の可観測性ツールとの連携も提供されています。

役立つヒント

• チームにとって実行時の可観測性とオフライン評価ツールのどちらがより必要かを確認する: Lemma は、本番環境のエージェント障害の診断が難しく、ユーザーフィードバックを正確な実行に結び付ける必要がある場面で特に強みを発揮します。
• 早い段階で計装設計を優先する: 検索、クラスタリング、評価の価値は、信頼できる実行 ID とともに、トレース、ツール呼び出し、出力、フィードバックイベントを一貫して取得できるかどうかに依存します。
• ユーザーシグナルは慎重に活用する: チェックアウト進行のような観測アクションは有用な成果シグナルになり得ますが、誤解を招く結論を避けるため、ドメイン固有の品質指標と組み合わせるべきです。
• 自社スタックに対するフレームワーク対応状況を確認する: サイトでは一部フレームワークへのネイティブ対応が示され、その他は近日対応予定とされているため、標準化の前に実装適合性を確認すべきです。
• 実験機能は現時点の中核機能ではなくロードマップとして扱う: ページ上では実験機能は近日提供予定とされているため、導入判断は現在利用可能な可観測性、検索、クラスタリング、評価機能に重点を置くべきです。