azure-aigateway

AI モデルへの呼び出しを、アプリから直接ではなく関門を通して管理したいときです。Azure API Management（APIM）を AI Gateway として設定します。

やりたいことと設定するもの

• 使いすぎを止めたいトークン上限、利用者ごとのレート制限
• 費用を下げたいセマンティックキャッシュ（同じ趣旨の質問を再利用）
• 有害な入力を弾きたいコンテンツセーフティ、jailbreak の検出
• 複数のモデルに振り分けたい負荷分散、バックエンドの追加
• 使用量を把握したいトークンの計測

MCP のツールとエージェントも扱える

対象は AI モデルだけではありません。MCP のツールとエージェントも同じ関門で扱えます。API を MCP に変換する項目もあります。

特に効く場面 — 費用の制御

AI の呼び出しは、アプリ側でうっかり回すと費用が跳ねます。アプリのコードを直さずに、関門側で上限をかけられるのがこのスキルの価値です。

セマンティックキャッシュは、同じ趣旨の質問に対してモデルを呼ばずに前の答えを返します。SKILL.md の早見表は「費用を 60〜80% 減らす」と書いていますが、効き方は用途次第です。FAQ のような繰り返しの多い使い方では差が出ます。

ポリシーを入れる順番が決めてある

本文は <inbound> の中の順番を 6 段で勧めています。

1. 認証バックエンドへは管理 ID で
2. キャッシュの照会AI を呼ぶ前に確かめる
3. トークン上限費用の制御
4. コンテンツセーフティ有害な内容を弾く
5. バックエンドの選択負荷分散
6. 計測トークンの使用量を記録

組で入れないと止まるものがある

この公開元には組で入れないと止まるものがあります。全体の役割分担はmicrosoft/azure-skills の地図にまとめています。

API Management をまだ作っていないとき

SKILL.md に「APIM のデプロイは azure-prepare を使え」と明記されています。このスキルは既にある APIM を設定する道具です。

Azure を使っていないとき

前提が APIM です。

モデルそのものを選びたいとき

これは関門の設定で、どのモデルを使うかの判断は含みません。

解析で見つかった記述

SKILL.md の解析では、外部への通信とシェルコマンドの実行の記述が見つかっています。az コマンドで APIM のポリシーを設定し、動作確認の呼び出しをします。

ポリシーは反映した瞬間に効く

権限の付与もコマンドに入っている

バックエンドを足す手順には、APIM の管理 ID に Cognitive Services User の役割を与える az role assignment create が入っています。役割の付与は権限の変更です。対象のリソースを確かめてから流してください。

セマンティックキャッシュは答えを再利用する

同じ趣旨の質問に前の答えを返す仕組みです。利用者ごとに違う答えを返すべき用途では、入れないでください。

本文の対処表は、キャッシュに当たらないときに score-threshold を 0.7 まで下げよとしています。下げるほど、似ているだけの質問にも前の答えが返ります。

キャッシュの範囲をどう区切るかは自分で決める必要があります。

課金に影響する

APIM 自体の費用と、セマンティックキャッシュで使う埋め込みモデルの呼び出しが増えます。「費用を下げる」目的で入れても、構成次第では増えます。

アプリのコードを変えずに入れられますか

呼び出し先を APIM のエンドポイントに向ける変更は必要です。そこから先の上限・キャッシュ・遮断は、コードを触らずに変えられます。そこが関門を置く理由です。

MCP のツールにも使えますか

SKILL.md に MCP のレート制限とツールの保護が項目として入っています。エージェントが呼ぶ道具の側にも同じ関門をかける設計です。ただし当サイトでは実際に試していないので、効き方は公開元の案内を確認してください。