computer-use

コマンドや API では届かない、画面の上でしかできない操作をエージェントにさせたいときです。ネイティブのアプリ、外部のブラウザ（Chrome・Edge・Safari）のウィンドウ、Webview が対象です。

これは Orca という、複数のコーディングエージェントを並べて動かすデスクトップアプリに付いている CLI のためのスキルです。Orca が入っていないと動きません。

SKILL.md は入口で、手引きは CLI が出す

SKILL.md（2,211 バイト。2026-10-23 時点）は、手引きを読み込むための入口です。本文は、使う CLI を決め、orca skills get computer-use を流して手引きを読め、とだけ書いています。

手引きは CLI の版に合わせたものが出る仕組みで、動かす CLI と手引きが食い違わないようにしてある、という説明です。以下の手引きの中身は、同じリポジトリの skill-guides/computer-use.md（2026-10-23 時点の版）で確かめたものです。

まずプログラムで済まないかを考える

手引きは冒頭で、シェル・ファイル・git・HTTP・既存の CLI で済むならそちらを使え、と書いています。画面の操作は、見えているウィンドウにしか届かないときの最後の手段という位置づけです。

Orca の中に埋め込まれたブラウザには使いません。そちらは orca-cli の担当です。

読む・押す・読み直す

操作の基本は、状態を読んで、番号で押して、返ってきた新しい状態を読み直す繰り返しです。

1. アプリを探すlist-apps で動いているアプリと、その識別子を得る
2. 状態を読むget-app-state でアクセシビリティの木と画面の写しを取る
3. 番号で操作する木に振られた番号で click・set-value などをする
4. 読み直す操作のたびに返る新しい状態を見てから、次の番号を選ぶ

要素の番号はすぐに古くなります。待ち時間、画面の移動、フォーカスの変化、スクロール、再描画のあとは使い回さない、と書かれています。

操作の種類

• クリック番号か、ウィンドウの中の座標で。右クリック・中クリック・修飾キー付きも
• 値を入れる入力欄には set-value を優先する
• 文字を打つtype-text はフォーカスを確かめてから。届いたかは確かめられない
• キー1 つのキーは press-key、修飾キーとの組み合わせ 1 つは hotkey
• そのほか貼り付け、スクロール、ドラッグ、要素ごとの副次の操作

修飾キーを押す・離すを別々の命令で組み立てるな、とも書かれています。途中で止まると、キーが押されたままになるおそれがあるからです。

コマンドやファイルで済むとき

手引き自身が、プログラムで済むなら画面を操作するな、と書いています。画面の操作は遅く、効いたかどうかの確かめも弱くなります。

Web ページを操作したいとき

外部のブラウザのウィンドウも操作できますが、ページの中身を自動で操作するのが目的なら、ページの自動化の道具のほうが向いています。orca-cli の手引きも、外部のページには Playwright や CDP のような道具を使え、と書いています。

• Orca の中のブラウザorca-cli の担当
• 外部のページの自動化ふだんの Chrome を操作するなら browser-use
• Orca 無しで画面を操作するこのスキルは Orca の CLI が前提。Orca を使っていないなら別の道具を選ぶ

Orca を使っていないとき

このスキルは orca CLI を呼ぶだけです。Orca のデスクトップアプリが入っていなければ、手引きも読めません。

解析で見つかったもの

SKILL.md 自体が求める実行は、orca skills get computer-use などの CLI の呼び出しです。シェルでの実行があります。外部への通信やファイルの書き換えの指示は、SKILL.md にはありません。

接続が runtime_access_denied で失敗したら、サンドボックスに止められたものとして、権限を上げて流し直せ、と書かれています。エージェントのサンドボックスの外で動かす確認が出たら、それはこの指示によるものです。

手引きを読み込んだあとは、画面の上のあらゆる操作ができます。画面の写しは、既定でファイルに保存されます（--json のとき）。

取り消しにくい操作は頼まれたときだけ

Slack の例でも、見えている画面を読むのは構わないが、メッセージの送信やワークフローの起動には明示の許可が要る、と念を押しています。

「成功」と「確かめた」は別

操作の結果には、確かめの度合いが付きます。

• verified: 変わった値を読み戻して確かめた
• unverified (accessibility action unasserted): 呼び出しは通ったが、結果を確かめていない
• unverified (synthetic input): 入力を送っただけで、確かめようがない

確かめていない操作を成功と報告するな、と書かれています。送信・購入・削除をしたかもしれない場面では、効果は確かめられていない、と言え、という決まりです。

OS の権限が要る

Orca の文書では、OS のアクセシビリティの権限と、macOS では画面収録の権限を「Orca Computer Use」に与える必要があるとされています（docs/site/content/docs/cli/computer-use.mdx。2026-10-23 確認）。同じ文書は、この機能をベータとしていて、フラグの名前はまだ変わりうる、と書いています。

権限を与えると、エージェントは見えているアプリを広く操作できるようになります。app_blocked が返ったときは、そのアプリは意図的に操作を禁じられているので止まれ、と手引きにあります。

秘密の文字列の渡し方

パスワードのような文字列は、シェルの履歴に残らないよう標準入力（--value-stdin・--text-stdin）で渡せ、とされています。ただし Linux と Windows では、操作の中身が一時的に手元のファイルを通るので、頼まれない限り秘密を送るな、とも書かれています。

Linux で orca をそのまま打たない

SKILL.md の入口の部分に、Orca の端末の外の Linux では orca-ide を使え、という決まりがあります。素の orca は GNOME の画面読み上げ（/usr/bin/orca）に当たることが多く、利用者の機械で読み上げが始まってしまうからです。

決めた CLI が動かないときは、その誤りをそのまま報告して止まり、別の CLI に切り替えるな、とも書かれています。

手引きは Orca の版で変わる

手引きは CLI が版に合わせて出すので、Orca を更新すると中身が変わることがあります。このページの手引きの記述は 2026-10-23 時点の版のものです。skills get が使えない古い Orca では、Orca を更新すれば手引きが戻ると説明し、フラグを推測で使うな、と書かれています。

Orca のライセンスは MIT です（リポジトリの LICENSE。2026-10-23 確認）。

Orca が無くても使えますか

使えません。SKILL.md は orca CLI で手引きを読み込み、操作もすべて orca computer の命令で行います。Orca のデスクトップアプリを入れると CLI も使えるようになります。

勝手にメッセージを送ったり、ものを買ったりしませんか

手引きは、送信・購入・削除・設定の変更を、利用者が明示的に頼まない限りするな、と書いています。ただし、どこまでが頼まれた範囲かを判断するのはエージェントです。大事なアプリを操作させるときは、してよいことを依頼の中で具体的に書き、結果の確かめの度合いを見てください。

操作がうまくいったかはどう分かりますか

結果に確かめの度合いが付きます。値を読み戻して確かめた verified 以外は、確かめていない操作です。手引きは、確かめていない操作を成功と報告するな、と決めています。

パスワードを入力させても大丈夫ですか

標準入力で渡せばシェルの履歴には残りません。ただし Linux と Windows では一時的にファイルを通るので、手引き自身が、頼まれない限り秘密を送るなと書いています。入力させるかどうかは慎重に決めてください。

対応しているエージェントはどれですか

Claude Code と Codex です。Orca の README が、Claude Code と Codex を含む多くの CLI のエージェントを Orca で動かせると書いています（2026-10-23 確認）。このスキルは Orca の端末の中で、どのエージェントからでも orca CLI を呼ぶ作りです。