ヘルスチェックとは?
ヘルスチェックは、実験の全体的な健全性を監視する自動診断です。実験をアクティブ化してから最初の24時間は1時間ごとに実行され、その後はすべてのアクティブな実験について毎日実行されます。結果ページを開くたびに手動でトリガーすることもできます。
- トラッキングやデータの異常を早期に検出する。
- 実験が期待どおりにデータを収集していることを確認する。
- 結果に影響を与える可能性のあるバイアスを特定する。
ヘルスチェックのしきい値
各ヘルスチェックは、ステータスを判定するために特定のしきい値を使用します。これらのしきい値を理解することで、検出された問題の深刻度を解釈できます。サンプル比の不一致チェック
このチェックはカイ二乗検定を使用してp値を計算し、実際のトラフィック分布が期待される分割にどの程度近いかを測定します。重複露出チェック
重複露出チェックは、複数回の訪問にわたって同じ実験の異なるバリエーションを見るユーザーの割合を特定します。重複は、ユーザーが最初の訪問で1つのバリエーションを見て、その後の訪問で別のバリエーションを見る場合に発生します。 システムは次の式を使用してレートを計算します: (複数のバリエーションに露出したユーザー) ÷ (テストの総ユーザー数)。コンバージョントラッキングチェック
このチェックは、ゴールがアクティブにコンバージョンを受け取っているかを監視します。ビジタートラッキングチェック
このチェックは、新規訪問者が引き続き実験に参加しているかを確認します。概要メニューのヘルスサマリー
概要メニューの上部には、実験の全体的な健全性を一目で把握できるヘルスサマリーバッジがあります。
- バッジの色はすべてのチェックの現在のステータスを表します:
- 赤: 失敗したチェック
- 黄: 警告
- グレー: 保留中
- 緑: すべてのチェックに合格
- バッジ内のテキストは、合格していないチェックの数(赤+黄+グレー)、またはすべてが緑の場合はすべて合格を表示します。
ツールチップの下部で完全な健全性レポートを表示をクリックすると、ヘルスメニューが開きます。
実験ホームページのヘルスステータス
実験ホームページのヘルスチェックブロックでは、すべてのアクティブな実験のデータ品質の問題を一元的に確認できます。個々の実験を開く必要はありません。 このブロックには、アクティブな実験の全体的な健全性をまとめた4つのカウンターが表示されます:- Passed: すべてのチェックが正常
- Warning: 少なくとも1つのチェックに確認が必要
- Failed: 少なくとも1つのチェックが失敗
- Pending: チェックがまだ実行されていない
ヘルスメニューのナビゲート
ヘルスメニューは、すべてのチェックとその結果について詳細でインタラクティブなビューを提供します。上部バナー
メニューの上部には、以下が表示されます:- X/Y チェックが実行されました: 完了したチェックの数(X)と合計(Y)。
- 最終更新: 最新の評価時刻。
- ステータス内訳: ステータス別のチェック数(合格、警告、不合格、保留中)。
チェックの詳細
このタブには2つのセクションがあります:- 左の列:
- 4つのヘルスチェックのクリック可能なリストで、それぞれ現在のステータスアイコンが表示されます。
- 右の列:
- 選択されたチェックの詳細な説明で、以下を含みます:
- 何を監視しているか
- 現在のステータスが何を意味するか
- チェックが警告または不合格ステータスの場合の推奨される次のステップ
- 選択されたチェックの詳細な説明で、以下を含みます:
特殊なケース
保留中ステータス
保留中ステータスは、実験が起動したばかりでヘルスチェックジョブがまだ実行されていない場合にのみ表示されます。この状態は一時的で、システムが最初の評価(時間ごとまたは手動)を完了すると自動的に解消されます。一時停止または停止された実験
実験を一時停止または停止すると、ヘルスメニューは無効になり、結果ページを明確に保つため、概要メニューもヘルスサマリーバッジを非表示にします。データの更新と再読み込み
- ヘルスチェックは、アクティブ化後最初の24時間は1時間ごとに実行され、その後はすべてのアクティブな実験について毎日実行されます。
- 結果ページを開くと、Kameleoonがチェックをオンデマンドで更新します。
- キャッシュされた結果は即座に表示され、新しいデータを受信すると自動的に更新されます。
互換性
ヘルスチェックはすべての実験タイプで利用できます:- A/Bテスト
- フィーチャーフラグ
- パーソナライゼーションキャンペーン