ヘルスチェックとは
ヘルスチェックは、実験の全体的な健全性を監視する自動診断です。実験のアクティブ化後最初の24時間は1時間ごとに実行され、その後はすべてのアクティブな実験について毎日実行されます。結果ページを開くたびに手動でトリガーすることもできます。
- トラッキングやデータの異常を早期に検出する。
- 実験が期待どおりにデータを収集していることを確認する。
- 結果に影響を与える可能性のあるバイアスを特定する。
| チェック名 | 目的 |
|---|---|
| ビジタートラッキングチェック | 新規訪問者が引き続き実験に定期的に参加しているか確認します。 |
| コンバージョントラッキングチェック | すべての付随するゴールがコンバージョンを受け取り続けていることを確認します。 |
| SRMチェック | バリエーションと期待されるトラフィック分布の間のサンプル比の不一致を検出します。 |
| 重複露出チェック | 同じ実験の複数のバリエーションに露出したユーザーを特定します。 |
ヘルスチェックのしきい値
各ヘルスチェックは、ステータスを判定するために特定のしきい値を使用します。これらのしきい値を理解することで、検出された問題の深刻度を解釈できます。サンプル比の不一致チェック
このチェックはカイ二乗検定を使用してp値を計算し、実際のトラフィック分布が期待される分割にどの程度近いかを測定します。| ステータス | しきい値 | 意味 |
|---|---|---|
| 合格 | p値 ≥ 0.01 | トラフィック配分はバランスがとれています。観測された分布は期待される分割と一致しており、ランダム化は正しく機能しています。 |
| 警告 | 0.001 ≤ p値 < 0.01 | トラフィック配分にわずかな不均衡が見られます。ユーザー分割は期待される比率からわずかに逸脱しています。まだ重大ではありませんが、このステータスは新たな問題の兆候である可能性があります。 |
| 不合格 | p値 < 0.001 | 重大: サンプル比の不一致(SRM)が検出されました。観測されたユーザー分割は期待される比率と大きく異なり、システム的な問題(例: トラッキングのバグ、実装エラー)の可能性が高いことを示します。 |
重複露出チェック
重複露出チェックは、複数回の訪問にわたって同じ実験の異なるバリエーションを見るユーザーの割合を特定します。重複は、ユーザーが最初の訪問で1つのバリエーションを見て、その後の訪問で別のバリエーションを見る場合に発生します。 システムは次の式を使用してレートを計算します: (複数のバリエーションに露出したユーザー) ÷ (テストの総ユーザー数)。| ステータス | しきい値 | 意味 |
|---|---|---|
| 合格 | < 2% | サンプル汚染は最小限です。ユーザーのクロスオーバーレベルは、高いデータ整合性を維持するための許容範囲内です。 |
| 警告 | 2%〜5% | 中程度のサンプル汚染が検出されました。少数のユーザーが複数のバリエーションを見ており、ノイズを引き起こし、統計的検出力を低下させる可能性があります。 |
| 不合格 | > 5% | 重大: 高度なサンプル汚染。かなりの割合のユーザーが複数のバリエーションに露出しており、結果に重大なバイアスをもたらし、実験を無効にする可能性があります。 |
コンバージョントラッキングチェック
このチェックは、ゴールがアクティブにコンバージョンを受け取っているかを監視します。| ステータス | しきい値 | 意味 |
|---|---|---|
| 合格 | 過去24時間以内にコンバージョンが記録されている | コンバージョントラッキングはアクティブです。ゴールイベントは期待どおりに記録されています。 |
| 警告 | 過去24時間で少なくとも1つのゴールでコンバージョンがゼロ | 過去24時間で少なくとも1つのゴールでコンバージョンが記録されていません。これはトラフィックが少ないためかもしれませんが、トラッキングの問題を示している可能性があります。 |
| 不合格 | 48〜72時間以上コンバージョンがゼロ | 重大: コンバージョントラッキングが失敗しました。少なくとも1つのゴールで複数日にわたってコンバージョンが記録されていません。トラッキングの実装が壊れている可能性が高いです。 |
ビジタートラッキングチェック
このチェックは、新規訪問者が引き続き実験に参加しているかを確認します。| ステータス | しきい値 | 意味 |
|---|---|---|
| 合格 | 過去24時間以内に訪問者が記録されている | ビジタートラッキングはアクティブです。過去24時間に訪問者が正常に記録されています。 |
| 警告 | 過去24時間に訪問者がゼロ | 過去24時間に実験に到達した訪問者がいません。トラフィックが少ないか、ターゲティングの問題がある可能性があります。 |
| 不合格 | 48〜72時間以上訪問者がゼロ | 重大: 長期間にわたって新規訪問者が検出されません。実験が正しくターゲット設定されていないか、訪問ログの記録を妨げる技術的な問題がある可能性があります。 |
概要メニューのヘルスサマリー
概要メニューの上部には、実験の全体的な健全性を一目で把握できるヘルスサマリーバッジがあります。
- バッジの色はすべてのチェックの現在のステータスを表します:
- 赤: 失敗したチェック
- 黄: 警告
- グレー: 保留中
- 緑: すべてのチェックに合格
- バッジ内のテキストは、合格していないチェックの数(赤+黄+グレー)、またはすべてが緑の場合はすべて合格を表示します。
| アイコン | ステータス | 説明 |
|---|---|---|
| ✅ | 合格 | 問題は検出されませんでした |
| ⚠️ | 警告 | 潜在的な問題が検出されました |
| ❌ | 不合格 | 実験に影響する問題 |
| ⚪ | 保留中 | チェックがまだ評価されていません |
ヘルスメニューのナビゲート
ヘルスメニューは、すべてのチェックとその結果について詳細でインタラクティブなビューを提供します。上部バナー
メニューの上部には、以下が表示されます:- X/Y チェックが実行されました: 完了したチェックの数(X)と合計(Y)。
- 最終更新: 最新の評価時刻。
- ステータス内訳: ステータス別のチェック数(合格、警告、不合格、保留中)。
チェックの詳細
このタブは2つのセクションに分かれています:- 左の列:
- 4つのヘルスチェックのクリック可能なリストで、それぞれ現在のステータスアイコンが表示されます。
- 右の列:
- 選択されたチェックの詳細な説明で、以下を含みます:
- 何を監視しているか
- 現在のステータスが何を意味するか
- チェックが警告または不合格ステータスの場合の推奨される次のステップ
- 選択されたチェックの詳細な説明で、以下を含みます:
特殊なケース
保留中ステータス
保留中ステータスは、実験が起動したばかりでヘルスチェックジョブがまだ実行されていない場合にのみ表示されます。この状態は一時的で、最初の評価(時間ごとまたは手動)が完了すると自動的に解消されます。一時停止または停止された実験
実験が一時停止または停止されている場合、ヘルスメニューは無効になります。結果ページを明確に保つため、概要メニューのヘルスサマリーバッジも非表示になります。データの更新と再読み込み
- ヘルスチェックは、アクティブ化後最初の24時間は1時間ごとに実行され、その後はすべてのアクティブな実験について毎日実行されます。
- 結果ページを開くと、チェックはオンデマンドで更新されます。
- キャッシュされた結果は即座に表示され、新しいデータを受信すると自動的に更新されます。
互換性
ヘルスチェックはすべての実験タイプで利用できます:- A/Bテスト
- フィーチャーフラグ
- パーソナライゼーションキャンペーン