ai-research-reproduction

論文の実装を「書いてあるとおりに」動かしたいときです。

成功を作るために意味を変えない

このスキルの姿勢は、SKILL.md の冒頭の方針に出ています。書かれている意味を守り、前提・ずれ・行き詰まりは記録する。成功を作るために意味を変えない、という方針です。

素のエージェントは「動いたけど元と違うもの」にしてしまう

素のエージェントにリポジトリを渡すと、動かないところを次々に直して最後には「動いたけど元の実装と違うもの」になります。

このスキルは README・環境・重み・データセット・記載されたコマンドを忠実に読み、変えたところを記録に残す方向で進めます。

何が残るか

出力は repro_outputs/ という決まった形にまとめられます。

• 結果実行できた対象と、得られた数値
• 前提（assumptions）README に書かれていなくて補ったこと
• ずれ（deviations）元の手順から変えたところ
• 人の判断点エージェントが決めずに人に投げたところ
• 実行の記録repro_outputs/_runtime/<run_id>/ に標準出力の全文

書き出すファイルは SUMMARY.md・COMMANDS.md・LOG.md・SCIENTIFIC_CHANGELOG.md・COMPARABILITY_REPORT.md・status.json・ANNOTATED_README.md で、修正を当てたときは PATCHES.md も加わります。ANNOTATED_README.md は元の README に注記を差し込んだ写しで、差し込み以外は 1 バイトも変えない決まりです。

「ずれ」と「人の判断点」を明示的に残すのが、このスキルの価値です。再現できたかどうかより、何を変えたかが後から追える形になります。

速い経路は「計画だけ → 選んで実行 → 確かめる」

本文は、ふだんの実行の手順（Fast Path）を短くまとめています。

1. 必要なファイルだけ読む対象の README と、記載のコマンドを理解するのに要るファイルだけを読む
2. 計画だけ流す入口のスクリプト（scripts/orchestrate_repro.py）を計画だけ（--plan-only）で流し、候補のコマンド、選ばれた候補、副作用の約束、選択の指紋を確かめる
3. 選んで実行する選んだ候補を、その指紋を付けて実行する（--run-selected）。コマンドの一覧が変わっていたら止まる
4. 出力を確かめる--verify-output で確かめる。詳しい記録を読むのは、確かめが失敗したときか、結果が部分的・行き詰まりのときだけ
5. 返して止まる結果を返して止まる

準備やダウンロードは実行の候補にならない

準備やダウンロードのコマンドは、実行の候補にならない決まりです。ふだんの成功の経路では、入口のスクリプトや同梱の実行環境（_bundled/）の中身を読みに行かない、とも書かれています。

同じリポジトリの残り 10 件は任意

公開元は同じリポジトリに 11 件のスキルを置いていますが、リポジトリの README は「主のスキルは単体で動く」としていて残り 10 件は任意です。地図は rigorpilot-skills の 11 件にまとめました。

SKILL.md が「使うな」と書いている場面

SKILL.md が「使うな」と書いている場面が明確です。

• 論文の要約だけがほしいとき
• 一般的な環境構築
• リポジトリを眺めるだけ（分析なら analyze-project）
• コマンドを 1 つ実行するだけ
• スコアを上げること自体が目的のとき
• リポジトリに根拠を持たない広い調査

数値を良くする道具ではない

解析では拾えないが、実際には取得・実行・修正をする

SKILL.md の解析では、Python の実行できるスクリプトが 22 件同梱されていることが見つかっています。外部通信・シェル実行・書き換えの記述は、今の本文からは拾えていません。

ただし実際には、重みやデータセットを取得し、学習や推論を走らせ、必要なら修正を当てます。

リポジトリの README は「OS の隔離環境ではなく手元での実行」と断り、承認したコマンドは手元の機械とネットワークに触れられるので、信頼できるリポジトリで使うよう書いています。

修正には保守的な規則がかかっている

本文に「conservative patch rules を強制する」と書かれており、勝手に書き換える方向には進みません。まず引数・環境変数・経路・依存の版で直し、コードの修正はそのあとです。ファイルを変えるときは repro/YYYY-MM-DD-short-task という名前のブランチを切り、PATCHES.md に記録する決まりです。それでもブランチを切ってから始めてください。

学習を走らせると時間と費用がかかる

Python 3.11 以上と Git が要る

SKILL.md の compatibility 欄に、同梱の仕組みを動かす前提として明記されています。対象のリポジトリによっては、依存の追加、ネットワーク、GPU なども要ります。

allowed-tools は指定されていない

11 件とも同じです。何を実行するかは本文を読んで確認する必要があります。

同梱ファイルが 47 件ある

同梱ファイルが 47 件あります（2026-10-09 確認）。参照資料・スクリプト・出力の雛形です。文脈の予算への影響は、入れたスキルの中でも大きい側です。

最初に何をすればいいですか

SKILL.md が「最初の利用の環境・導入の診断には scripts/doctor.py を使え」と書いています。リポジトリの README によると読み取り専用の点検で、何も入れず対象のコードも動かさないので、まずこれを流して環境を確かめるのが安全です。

Codex でも使えますか

agents/openai.yaml が同梱されています。11 件すべてにあります。当サイトでは公開元が明記しているものだけを対応として書いているので、Claude Code と Codex の両方を出しています。

再現できたかどうかは、どう判断しますか

本文は、期待される数値と許容の幅が明示されているときだけ「結果が一致した」とする、と決めています。数値が出たことは「実行できた」の証拠で、再現の証拠ではない、という立場です。実行の記録は repro_outputs/_runtime/<run_id>/ に全文が残ります。