Skip to main content
実験では、誰かが気付くまでに信頼できないデータが何日も収集されることがあります。たとえば、サイトのリリース後にトラッキングタグの発火が止まる場合です。AI アシスタントは、サイト上の実行中の実験に対して健全性チェックを実行し、トラッキングの抜けやトラフィック配分のずれを確認します。その後、各実験のプライマリゴールの結果を読み取ります。レビューは Kameleoon に接続した任意のアシスタントでオンデマンドに実行でき、ClaudeまたはChatGPTでタスクとして毎週スケジュールすることもできます。ClaudeとChatGPTでは、スケジュールされた実行がサマリーを Slackのダイレクトメッセージに送信できるため、結果を読む前に問題に気付けます。

​
週次レビューのワークフローでの位置づけ

  • 実行中の実験を確認する: アシスタントは、実行中の各実験で健全性チェックを実行し、合格しなかったチェックを報告します。
  • 結果を確認する: アシスタントは、実行中の各実験について Winnerのステータスと、プライマリゴールのコンバージョン数値を報告します。
  • アイデアと学習を確認する: アシスタントは、PBX Ideateがページ向けに生成したアイデアと、過去 7 日以内に paused または stoppedになった実験について Kameleoonが記録した学習を一覧表示します。
  • レビューをスケジュールする: ClaudeやChatGPTで、同じリクエストを毎週スケジュールされたタスクとして実行します。

​
始める前に

  • セットアップ: Kameleoonを AI アシスタントに接続します。Claudeや ChatGPT などのチャットアシスタントの場合は、Kameleoon を Claude と ChatGPT に接続する を参照してください。Claude Code、Codex、Cursor などのコーディングエージェントの場合は、MCPクライアントを設定する を参照してください。
  • Site code: レビューするサイトのコードです。わからない場合は、アシスタントにサイトの一覧を依頼してください（例: “List your Kameleoon sites.”）。
  • PBX Ideate: アイデアのセクションにのみ必要です。アシスタントがアイデアを一覧表示できるのは、PBX Ideateで分析されたページだけです。分析がない場合、レビューはどのページにもアイデアがないと報告します。
  • 配信: スケジュールされた週次レビューにのみ必要です。オンデマンドのレビューでは何も送信されません。Slackにサマリーを送信するには、Slackのユーザー IDが必要です。ユーザー IDは Uで始まります（例: U0123ABCDEF）。Slackでプロフィールを開き、three-dot menuを選択してから Copy member IDを選択します。

​
オンデマンドでレビューを実行する

サイトの実行中の実験の概要を確認したいときは、いつでもレビューを実行できます。このリクエストはデータを読み取るだけなので、実験やトラフィック配分は変更されません。

​
レビューを依頼する

レポートは 3 つの問いに答えます。実行中の各実験のデータは信頼できるか、その結果は何を示しているか、過去のアイデアと学習は次のテストに何を示唆するか。 Value ボックスにサイトコードを入力し、リクエストをコピーしてアシスタントに貼り付けます。 リクエストが成功すると、レポートには実行中の各実験について全体の健全性ステータスとプライマリゴールの結果が表示されます。続いて、合格しなかった健全性チェックを、その指摘事項と次のステップとともに一覧表示します。アイデアのセクションには、分析された各ページとその上位のアイデアが表示されます。サイトのどのページにも PBX Ideateでの分析がない場合は、アイデアのセクションにその旨が表示されます。過去 7 日間に実験を paused または stopped にしていない場合、学習のセクションは空になることがあります。 サイトに実行中の実験がない場合、一覧は空になり、レポートには確認する対象がありません。

​
健全性チェックのステータスを読む

各健全性チェックは、以下のいずれかのステータスを返します。実験の全体のステータスは、そのチェックのうち最も深刻なステータスです。
  • PASSED: チェックで問題は見つかりませんでした。
  • WARNING: チェックで、トラフィックが少ない、またはトラッキングに問題があるなど、起こりうる問題が見つかりました。トラッキングの警告が 72 時間継続すると、FAILEDになります。
  • FAILED: チェックで、対応が必要な問題が見つかりました。
  • PENDING: Kameleoonがまだ十分なトラフィックを評価していません。後でもう一度レビューを実行してください。
  • NOT_STARTED: 実験が一度も開始されていないため、確認するデータがありません。
Visit trackingと conversion trackingは過去 24 時間を確認します（実験の初日は直近 1 時間）。Sample ratio mismatchと overlapping exposureは、実験の開始以降のすべてのトラフィックを確認します。そのため、ステータスは実行のたびに変わることがあります。Kameleoonは評価結果を最大 15 分間再利用するため、その時間内に 2 回目の実行を行うと、同じステータスが返されます。

​
結果を読む

レビューでは、各実験の結果を実行期間全体にわたって読み取ります。数日分のデータはノイズが多いことがあるため、短い期間のデータで Winnerを決めないでください。 Winnerは、信頼性のしきい値に照らして、プライマリゴールに対してのみ決定されます。セカンダリゴールは、同じ数値をガードレール指標として判定なしで表示します。そのため、セカンダリゴールは勝者を選ぶためではなく、副作用を確認するために使用してください。

​
アイデアと学習を読む

アイデアは、ページの PBX Ideate 分析から生成されます。各アイデアにはスコアがあり、スコアの高いものから表示されます。 学習とは、実験を一時停止または停止したときに Kameleoonが記録する内容です。実験を再開すると、その学習は削除されます。

​
レビューを毎週送信する

ClaudeまたはChatGPTで、レビューをスケジュールできます。Claudeのスケジュールされたタスクは、IDE に設定した Kameleoon サーバーではなく、アシスタントのクラウド上で実行されます。そのため、お使いのコンピューターの電源が入っていなくても実行され、タスクには Kameleoon コネクタの接続が必要です。各実行は、サマリーを Slackのダイレクトメッセージに送信します。

​
スケジュールされたタスクを作成する

毎週月曜日にリクエストを実行するスケジュールされたタスクを作成します。お使いのアシスタントのタブを選択してください。
始める前に、KameleoonとSlackをClaudeにコネクタとして追加してください。Anthropicの About custom connectors の記事では追加方法を説明しています。Kameleoon を Claude と ChatGPT に接続する では Kameleoon コネクタについて説明しています。毎週月曜日、サマリーを受け取りたい時刻にリクエストを実行するスケジュールされたタスクを作成します。Anthropicの Schedule recurring tasks の記事では作成方法を説明しています。サイトコードを入力し、Slack ユーザー ID を Variable リストから選んで Value ボックスに入力します。Copy promptをクリックして、リクエストをタスクの指示として貼り付けます。ユーザー IDを確認するには、Slackでプロフィールを開き、three-dot menuを選択してから Copy member IDを選択します。タスクに Kameleoon と Slack の両方のコネクタが表示されていることを確認してください。どちらかがないと、タスクは実験を読み取れず、Slackのメッセージも送信できません。実行を確認するには、Claudeでタスクを開きます。実行ごとに独自のセッションがあり、実行が終わると、サマリーが Slackのダイレクトメッセージに届きます。メッセージが届かない場合は、タスクを開いて最新の実行にエラーがないか確認してください。各実行は、読み取るデータに応じてトークンを使用します。MCP サーバーのページにあるトークン使用量の説明では、使用量の要因を説明しています。

​
サマリーの内容

Claudeでは、Slack メッセージは、まずサマリー行で始まり、その後に Problems、Results、Ideas、Takeawaysのセクションが続きます。Errors セクションは、ツール呼び出しが失敗した場合にのみ表示されます。
ツールのパラメーターは、実験ツール と アイデアと学習のツール のリファレンスに記載されています。