google-agents-cli-eval

エージェントの出来を測りたいときです。

枠組みを問わず使える

本文は 24,948 バイトあり、この 7 件の中で 2 番目に厚いです（2026-10-23 確認）。内容は評価の方法論そのもので、枠組みを問わず使えると説明文に明記されています。

ADK でなくても、agents-cli のプロジェクトなら対象です。

「品質の弾み車」という 4 段の輪

中心の考え方が 4 段の繰り返しです。

1. データを用意する
2. 走らせて採点する（agents-cli eval run。これは必ず走らせる）
3. 落ちた原因を調べる
4. 直す

2 → 3 → 4 → 2 と回し、直すたびに eval compare で前後の結果を比べて、狙った指標が上がり他が下がっていないかを確かめます。1 件が通るまで 5〜10 回以上かかるのは普通だ、とも書かれています。

各段に 2 つの道がある

各段に2 つの道が用意されているのがこのスキルの特徴です。

opt-in は品質と規模で有利ですが、外部のサービスを使います。費用の発生点の 1 つです。なお既定の eval run でも、組み込みの指標の採点は Gemini platform の評価サービス（既定は global）で行われます。

まず 1〜2 件から始めろと書いてある

1 段目の既定の道が具体的です。

雛形に入っている tests/eval/datasets/basic-dataset.json を使うか編集して、1 往復の入力を定義せよ。1〜2 件から始めよ。

評価データを最初から揃えようとして止まる、という失敗を避ける指示です。雛形を作っていれば、データと独自の指標が既に tests/eval/ に入っています（Go なら eval/）。

手元にデータが無いときは synthesize で作れる

手元にデータが無い場合は eval dataset synthesize で利用者の振る舞いを模した複数往復のデータを作れます。これは opt-in 側で、ADK のプロジェクトでしか使えません。

近道を戒める表と、取り分けておく件数

本文には「時間を無駄にする近道」の表が 4 行あります。基準を下げて通す、揺れる件を飛ばす、データだけ直す、手元の件が全部通るまで回す、の 4 つで、どれも押し返せとしています。

一部の件を輪から外して取っておき、終わったと思ったときだけ採点せよ、とも書かれています。直しが一般に効いたのか、回した件に合わせただけかを見分けるためです。

同梱の資料が 7 件ある

深い部分は分かれています。下は主な 6 件で、残る live-eval.md は音声の Live のエージェントの評価です。

• dataset_schema.mdデータの形式。よくある間違いつき
• metrics-guide.md組み込みの指標、独自の指標、判定モデルの設定
• user-simulation.md複数往復の会話のテスト
• builtin-tools-eval.mdgoogle_search などの内蔵道具の扱い
• advanced-commands.mdopt-in のコマンド（analyze optimize submit）
• multimodal-eval.md画像や音声を含む入力

opt-in のコマンドが別ファイルに分けてあるのが親切です。既定の道だけを読ませれば、外部サービスの話は入ってきません（スキルを入れすぎて重くなる仕組み）。

採点にモデルを使う

説明文に LLM-as-judge と書かれています。出力の良し悪しを別のモデルに採点させる方式です。

判定モデルの設定は metrics-guide.md にあります。採点そのものにモデルの呼び出しが発生するので、評価の回数がそのまま費用になります。

次の場面では、別のスキルか別の手段の出番です。

• 雛形が無い段階先に雛形を作る
• 普通の単体テストの代わり出力の質を測るもので、関数の振る舞いを固定するものではない
• 配置や観測稼働中の監視は observability の側
• コードの型を調べたいadk-code の側

雛形が無い段階では空回りする

雛形が無い段階では空回りします。評価のデータと設定は雛形が作ります。先に google-agents-cli-scaffold です。

普通の単体テストの代わりにはならない

普通の単体テストの代わりにはなりません。これは出力の質を測るもので、関数の振る舞いを固定するものではありません。

配置や観測には使えない

配置には使えません。説明文が名指しで除外しています（ほかにコードの型と雛形づくりも除外）。稼働中の監視は google-agents-cli-observability です。

コードの型を調べたいなら別物

コードの型を調べたいなら別物です。そちらは google-agents-cli-adk-code です。

費用を気にする段階では opt-in を避ける

費用を気にする段階では、opt-in を避けてください。既定の道だけでも輪は回ります。

シェルコマンドを実行する記述がある

SKILL.md の解析では、シェルコマンドを実行する記述が見つかっています。同梱ファイルは 7 件です（2026-10-23 確認）。

コードで書いた独自の指標は、既定で手元で動き、CLI と同じ権限で実行されます。execution: "remote" にすると Gemini platform の砂箱で動きます（プロジェクトと地域の設定が要る）。

音声の Live のエージェントも評価できる

音声の Live のエージェントの評価（--mode adk_live）もあります。WebSocket で流し、音声の返事は文字に起こして採点します。複数往復のデータでは、Live のときは利用者の発話だけを書き、エージェントの返事は書かない決まりです。エージェントが Live 用のモデルを使っていること（雛形の既定は違う）と、地域をモデルに固定していることが前提で、外れると会話の途中で落ちます。

費用が 2 か所で発生する

eval optimize は、利用者がはっきり頼まない限り走らせるな、手で直し切ってから最後に 1 回だけ、繰り返すな、と書かれています。

評価は繰り返すものです。1 回あたりが小さくても、輪を回すほど積み上がります。件数と頻度を決めてから始めてください（スキルを入れる前に確認すること）。

評価データに本番の内容を入れない

評価データに本番の内容を入れないでください。データはリポジトリに置かれ、採点のためにモデルへ送られます。顧客の問い合わせをそのまま貼らないでください。

判定モデルの採点は絶対ではない

判定モデルの採点は絶対ではありません。モデルが採点する方式なので、判定の揺れがあります。落ちた項目をそのまま不具合と見なさず、中身を読んでください。

終了コードでは合否が分からない

eval run は点数に関係なく 0 で終わります。本文は、通ったと言い切らずに点数の表を貼って見せよ、配置の前に全件を走らせ直して示せ、としています。

評価の地域

eval run・eval grade・eval submit は既定で global の窓口を使い、設定の region を引き継ぎません。データの置き場所に決まりがあるなら --region で変えるか、手元で動く独自の指標に切り替えます。

版とインストール数

版が frontmatter に書かれています。 version: 1.11.0 です（2026-10-23 確認）。

この 7 件は同じインストール数です。 7 件とも 504,564〜505,897（2026-10-21 の上流集計）の中に収まっています。まとめて入る配布の形で、この数字は「このスキルが選ばれた回数」ではありません。

ライセンス

ライセンス: Apache-2.0（frontmatter に明記）。再配布や商用利用の前に公開元の表記を確認してください。

評価データは何件から始めますか

1〜2 件です。本文がそう指定しています。雛形に入っている basic-dataset.json を編集するのが出発点です。

最初から揃えようとして止まる失敗を避けるための指示です。

費用はどこで発生しますか

実行・採点・opt-in のコマンドの 3 つです。採点は判定用のモデルを呼び、組み込みの指標は Gemini platform の評価サービスで判定されます。synthesize analyze optimize submit は外部の評価サービスやモデルを使います。

既定の道だけなら、エージェントと採点のモデルの呼び出しぶんで収まります。

ADK 以外の枠組みでも使えますか

使えます。説明文に「agents-cli のプロジェクトなら、エージェントがどの枠組みで書かれていても当てはまる」とあります。ただし eval dataset synthesize と eval optimize は ADK のプロジェクトだけです。

採点が信用できないときは

落ちた項目の中身を読んでください。モデルが採点する方式なので判定の揺れがあります。

指標の選び方と独自の指標の作り方は metrics-guide.md にあります。

複数往復の会話も測れますか

測れます。 eval dataset synthesize で利用者の振る舞いを模したデータを作れます。opt-in の道で、ADK のプロジェクトだけです。複数往復を受け付ける組み込みの指標は multi_turn_ で始まる 3 つだけです。

詳細は user-simulation.md にあります。

対応しているエージェントはどれですか

Claude Code と Codex です。公開元の README が「Claude Code や Codex などのコーディングエージェントから起動する」と案内し、Claude Code 向けのプラグインの定義も置いています（2026-10-09 確認）。当サイトは公開元が明記しているものだけを「対応」として表示する方針なので、このスキルのページには両方が対応として出ます（指標の意味と限界）。| 1 | 7 件のインストール数は 504,564〜505,897（2026-10-21 の上流集計）| 当サイトの取り込み（上流の集計時点 2026-10-21）| 対象外 |