ab-testing
A/B テストを仮説から設計させる。必要な標本の数を先に決め、途中で結果を覗いて止めるのを禁じる
npx skills add coreyhaines31/marketingskills/ab-testing入れる前にこのスキルがすること・注意点・SKILL.md の原文を確かめてください。解析は安全性の判定ではありません。
- インストール
- 80,728
- 実用度
- 80
- GitHub star
- 58,879
- 最終更新
- 2026/11/7
頼み方の例
そのままコピーして使えますab-testingスキルを使って、料金ページの申し込みボタンの文言を試す A/B テストを設計してください。仮説を決まった型で書き、主な指標・補助の指標・悪化を見張る指標、いまの申し込み率から必要な標本の数と期間を出してください。テストの設置と公開はまだ行わないでください。
対象のファイルや状況は、ご自身の作業に合わせて置き換えてください。
このスキルがすること
SKILL.md の記述から機械的に抽出- 外部通信・シェル実行・ファイル操作の記述は見つかりませんでした
これは安全性の判定ではありません。 SKILL.md にそう書かれているという事実だけを並べています。実際に問題があるかは使い方と文脈で決まるため、当サイトでは断定しません。導入前に SKILL.md の原文を確認してください。
SKILL.md の規模
この解説は再確認中です。 2026年10月30日に原本（SKILL.md）が更新されており、以下の解説が現在の内容と合っていない可能性があります。最新の内容は GitHub の SKILL.md を確認してください。
いつ使うか
「どちらが良いか試したい」を、結論の出る実験にしたいときに効きます。ボタンの文言、見出し、料金の見せ方のような変更を、思いつきではなく検証として回すためのものです。
本文の原則は 4 つ
- 仮説から始める「試してみよう」ではなく、根拠のある予測を立てる
- 1 つだけ変える複数を同時に変えると、何が効いたか分からない
- 統計の手続きを守る標本の数を先に決め、途中で覗いて止めない
- 大事なものを測る主な指標・補助の指標・悪化を見張る指標の 3 種類
仮説の型が決まっている
「〔観察・データ〕なので、〔変更〕は〔対象者〕の〔期待する結果〕をもたらすと考える。〔指標〕で確かめる」という型です。
本文は「ボタンの色を変えればクリックが増えるかも」を弱い例として並べています。観察の根拠と、何 % 上がるかの予測と、測る指標まで書いたものが強い例です。
標本の数の早見表がある
いまの成約率と、見つけたい改善の幅から、1 案あたり何人要るかの表があります。本文の表は 4 行 3 列（率 1・3・5・10%、改善 10・20・50%）で、主な 3 行 2 列を抜き出します。
| いまの率 | 10% 改善を見つける | 50% 改善を見つける |
|---|---|---|
| 1% | 1 案あたり約 15 万人 | 約 6,000 人 |
| 5% | 約 2.7 万人 | 約 1,200 人 |
| 10% | 約 1.2 万人 | 約 550 人 |
使わないほうがいいとき
訪問者が少ないサイト
上の表のとおり、成約率 1〜5% で小さな改善を見つけるには、1 案あたり数万人が要ります。月の訪問が数千人のサイトでは、テストが終わらないか、結論が出ません。大きな変更だけを試すか、利用者への聞き取りのほうが早いです。
計測の仕組みがまだ無いとき
事前の点検に「計測を確かめたか」があり、計測が無いと始められません。先に analytics で整えてください。
結果の配分や、道具ごとの数字の食い違いを調べたいとき
それは別のスキル（attribution）の担当です。
注意点
解析で見つかったもの
SKILL.md の解析では、外部通信・シェル実行・ファイル操作の記述は見つかっていません。同梱ファイルは 3 件（標本の数の手引きなど）です。評価（evals）が同梱されています。
途中で覗いて止めることを、はっきり禁じている
標本の数に届く前に結果を見て、良さそうだから止める、は誤った「勝ち」を生むと書かれています（覗き見の問題）。標本の数を先に決めて、それを守れという立場です。
ほかに、途中で案を変えない、新しい流入元を途中から足さない、も挙がっています。
p 値の説明は、米国統計学会の声明に沿っている
本文（2026-10-09 確認）の p 値の説明は、米国統計学会の p 値の声明に沿っています。「p 値 0.05 未満 = 結果が偶然である確率が 5% 未満」という、よくある誤った言い方はしていません。
- p 値は「結果が偶然である確率」でも「帰無仮説が正しい確率」でもない
- 95% の信頼区間は「この区間に真の効果が入っている確率が 95%」という意味ではない
- p 値と並べて、効果の大きさと区間を報告する
- 逐次検定やベイズの分析は解釈が別で、道具の「信頼度」を p 値に読み替えない
実験の回し方の目安は、流入のあるチームの数字
月に 4〜8 本の実験（多くのチームの目安）、勝率 20〜30%（成熟した取り組みで普通）、1 本あたり 2〜4 週間、仮説の在庫 20 本以上、とあります。流入の少ないサイトでは、この速度は出ません。
道具の名前は具体的
切り替える場所ごとに、長所と短所が並んでいます。
画面側で切り替える
PostHog、Optimizely、VWO。手軽だが表示がちらつく
サーバー側で切り替える
PostHog、LaunchDarkly、Split。ちらつかないが開発が要る
インストール数
インストール数は約 5.5 万件です。同じリポジトリの 43 件は約 4.6 万〜20 万件に散っていて（2026-09-07 の上流集計）、1 件ずつ選ばれている形です。この公開元のスキルの関係は文章・マーケティングの地図にまとめています。
インストール数の推移
日次で記録9月18日 〜 11月7日（49日分）
インストール数と 1 日あたりの増加は Skillselion が に集計した値です。上流の更新は数日おきなので、前日比ではありません。GitHub star と最終更新は に GitHub から取得しました。
併用すると強いスキル
よくある質問
何日くらい回せばいいですか
期間ではなく、標本の数で決めます。本文は、先に必要な人数を計算し、そこに届くまで止めないよう書いています。目安として平均 2〜4 週間とありますが、それは流入が多い場合の話です。計算には Evan Miller や Optimizely の計算機が挙がっています。
結果が「差なし」でした。失敗ですか
失敗ではありません。本文は結果を「勝ち・負け・結論なし」の 3 つで記録する型を示していて、結論が出なかったものを無理に読み込むことを、よくある失敗に挙げています。差なしのときは効果の区間を報告し、決めた止め方に従う、とあります。有意になるまで延長してはいけないとも書かれています。記録を残し、必要なら新しいテストを計画します。
同時に色と文言を変えてもいいですか
A/B テストでは避けるよう書かれています。1 つだけ変えないと、何が効いたか分からないためです。複数の要素の組み合わせを試す多変量テストもありますが、さらに多くの標本が要ります。
悪化を見張る指標とは何ですか
主な指標が良くなっても、別のところが悪くなっていないかを見る指標です。たとえば申し込みが増えても、問い合わせや返金が増えていないか（本文の例です）。本文は主な指標・補助の指標と並べて、必ず決めておくよう書いています。