> ## Documentation Index
> Fetch the complete documentation index at: https://docs.kameleoon.com/llms.txt
> Use this file to discover all available pages before exploring further.

# A/Bテストに適した統計手法の選び方

> 頻度論的、ベイズ、逐次検定アプローチを比較して、チームの実験ゴールとリスク許容度に最適な統計手法を選択します。

## はじめに

A/Bテストとは、制御されたレベルのリスクのもとで意思決定を行うことです。Kameleoonは、結果を解釈するための3つの統計的アプローチ(頻度論的、ベイズ、逐次検定)をサポートしています。この記事では、この3つのアプローチを比較し、チームの実験ゴールとリスク許容度に最適な手法を選択できるようにします。

## 利用可能なアプローチ

各アプローチには独自の長所と短所があり、異なる方法論を採用しています。

### 固定サンプル頻度論

固定サンプル頻度論手法では、テストを開始する前に仮説とサンプルサイズを定義する必要があります。中間結果に基づいて変更を加えずにその計画に従えば、統計的リスクを最適に制御できます。

#### 長所

* 最大の統計的検出力を発揮します。
* ランダム化比較試験で最も広く使用されている手法です。

#### 短所

* 厳格で事前定義されたサンプルサイズとテスト期間が必要です。

#### 最適な対象

手法から逸脱するリスクを理解している、成熟した実験チーム。

### ベイズ

ベイズ手法は、事前確率を通じて既存の知識を分析に組み込むことで、より高い柔軟性を提供します。このアプローチは、事後確率を計算するために十分な事前データがある場合に最適です。

#### 長所

* 既存の知識を活用できます。
* 推定された分布に基づいて主要なデータにアクセスできます。

#### 短所

* 事前データが不正確な場合、誤った方向に導く可能性があります。

#### 最適な対象

ベイズ手法と確率分布に精通した実験チーム。

### 逐次

逐次検定は、期待から逸脱する中間結果による実験の早期終了という課題を解決します。固定サンプルサイズのテストとは異なり、逐次検定では蓄積されたデータに基づいて動的に意思決定できます。この柔軟性により、より早く結論に達しやすくなりますが、効果サイズの推定精度が下がる場合もあります。

#### 長所

* サンプルサイズを事前に推定する必要なく、蓄積されるデータに適応します。
* 実験の実行中いつでも有効な信頼区間を提供します。

#### 短所

* 固定サンプル手法よりも統計的検出力が低くなります。

#### 最適な対象

固定サンプルの枠組みよりも高い柔軟性を求め、そのために統計的検出力を多少犠牲にしても構わない、迅速に動くチーム。

<Note>
  両方のアプローチの利点を得るには、逐次検定と固定サンプルサイズの手法を組み合わせます。逐次検定を使って結果が有意になった時点で早期に終了し、固定サンプルサイズを使って結果の統計的厳密性を確保します。早期停止のしきい値を設定し、固定サンプル手法で結果を検証することで、信頼性を損なうことなくインサイトを加速できます。
</Note>

## 補完的な手法

### 多重検定補正

複数のバリエーションを同時にテストすると、実験全体のペースが速まります。ただし、その場合に統計的整合性を維持するために、偽陽性結果のリスクを減らす補正方法を適用してください。

### CUPED

CUPEDは、事前実験データを活用して実験に必要なサンプルサイズを削減し、統計的検出力を向上させて実験を加速します。統計的検出力を維持しながら結果を早期に検出するために、CUPEDを固定サンプルサイズ手法と組み合わせてください。CUPEDは次の場合に最も効果を発揮します:

* 実験にリピート訪問者が含まれている。
* Kameleoonで多くの実験を実施している。
* 実験開始前のゴールコンバージョンが、実験実施中のコンバージョンと相関している。

## さらに詳しく

Kameleoonの統計エンジンの仕組みの詳細については、[Kameleoon統計ペーパー](https://storage.googleapis.com/kameleoon-storage-documentation/user-manual/pdf/statistics-at-kameleoon.pdf)をお読みください。