ツール
experiment_create は、type の有効な値として MVT と SDK_HYBRID を受け付けますが、このツールではどちらも実際には作成できません。MVT は、作成時にAPIが mvtVariations（セクションとバリエーション）を必要とするため、常に失敗します。MCPツールはこのフィールドを公開していません。SDK_HYBRID は、ペイロードに関係なく、常に「Incorrect Experiments type」エラーで失敗します。AI、CLASSIC、DEVELOPER、PROMPT はすべて正常に作成できます。MVTの実験を作成するには、Automation APIを直接呼び出し、多変量テストの実験を作成する の手順に従ってください。バリエーションのツールは、stoppedの実験、MVTの実験、フィーチャーフラグの実験をサポートしていません。フィーチャーフラグのバリエーションには
feature_flag_variation_create を使用してください。MCPサーバーでは、runningの実験、またはバンディット配分方式を使用する実験のトラフィック配分は変更できません。実験のヘルスを確認する
テストの結果に基づいて行動する前に、アシスタントにHealthタブのチェックを実行するよう依頼してください。- テストは健全ですか？
experiment_health_check_getは、Healthタブのチェックを実行します。訪問とコンバージョンのトラッキング、サンプル比率の不一致、重複する露出が対象です。
パラメータ
tools/list が返す正確なパラメータ名を使用してください。
受け付ける列挙値:
experiment_lifecycle_update.status は started、resumed、paused、stopped、deleted のいずれかです。実験の type は AI、CLASSIC、DEVELOPER、MVT、PROMPT、SDK_HYBRID のいずれかです。trafficAllocationMethod は MANUAL（デフォルト）、MULTI_ARMED_BANDIT、CONTEXTUAL_BANDIT のいずれかです。audienceBasis は VISITORS（デフォルト）または VISITS です。
結果の設定
実験の結果はexperiment_results_get で読み取ります。
experiment_results_get、feature_flag_experiment_results_get、transpose_winning_experiment では、goalResults 配列に、プライマリゴールとセカンダリゴールを含め、実験にアタッチされたすべてのゴールが含まれます。Kameleoonが勝者の判定を出すのはプライマリゴールだけです。セカンダリゴールは、判定を伴わず、ガードレール指標と同じ統計値を返します。
experiment_results_get と feature_flag_experiment_results_get は、次の任意の設定を受け付けます。
breakdown: 結果を分割します。DAY、WEEK、MONTHは、時間経過に伴う推移を示します。HOURは、最大 2 日間のdateFromからdateToまでの期間で推移を表示します。DEVICE_TYPE、BROWSER、OS、NEW_VISITORは、値ごとに 1 つのバケットを返します。期間のバケットには、オーディエンス、コンバージョン、コンバージョン率だけが含まれます。改善度と信頼性は、実行全体の概要に残ります。filters: 文字列のリスト、または;で区切った 1 つの文字列を指定します。Kameleoonはフィルターを AND で組み合わせます。各フィルターの形式はDIMENSION=V1,V2またはDIMENSION!=V1,V2です。ディメンションと値は、DEVICE_TYPE（DESKTOP、TABLET、PHONE）、BROWSER（CHROME、EDGE、FIREFOX、SAFARI、OPERA、OTHERS）、OS（WINDOWS、MAC_OS、I_OS、LINUX、ANDROID、WINDOWS_PHONE、OTHERS）、NEW_VISITOR（NEW、RETURNING）です。DEVICE_TYPEによる内訳にはOTHERSのバケットが表示されることがありますが、DEVICE_TYPE=OTHERSでフィルターすることはできません。dateFromとdateTo: 特定の期間を指定します。アカウントのタイムゾーンのYYYY-MM-DD形式の日付です。dateToは期間に含まれます。特定の期間が必要な場合だけ指定してください。期間が短いほどデータのばらつきが大きくなるため、短い期間で勝者を判断しないでください。statisticalMethod:FREQUENTIST（デフォルト）、SEQUENTIAL、BAYESIAN、またはCUPED。BAYESIANを指定すると、reliabilityRateは基準バリエーションを上回る確率になります。CUPEDは実行全体の数値にだけ適用され、内訳のバケットは頻度主義のままです。お使いのプランに含まれない方法は、ツールが拒否します。conversionType:CONVERTED（デフォルト）は、コンバージョンしたビジターを 1 回ずつ数えます。ALLはすべてのコンバージョンを数えるため、率が 100% を超えることがあります。改善度と信頼性は、この設定に従います。ALLの場合は、ビジターごとのコンバージョンを比較します。referenceVariationId: ほかのバリエーションが比較対象とするバリエーションです。バリエーションIDを指定するか、オリジナルの場合は0を指定します。フィーチャーフラグの場合は、バリエーションIDまたはキーを指定します。オフのバリエーションの場合は0またはoffを指定します。デフォルトは、実験に保存された基準です。基準がない場合は、オリジナルになります。
appliedOptions に記載されます。数値の解釈に補足が必要な場合は、注記も追加されます。エンジンが計算しなかった数値（データが少ない場合や、コンバージョンのない基準を使用した場合など）は、レスポンスから除外され、それぞれに注記が追加されます。
結果は、結果画面と同様に、実験に保存された基準と比較されます。プロンプトからKameleoonが作成する実験や、オフのバリエーションにトラフィックが0%しか割り当てられないフィーチャーフラグの実験では、改善度と信頼性は返されません。
チュートリアル
- カスタムコードでバリエーションを作成する: 複数のバリエーションを含み、それぞれに独自のコードを持つテストを作成します。
- draftの実験を準備する: 開始前に、ゴール、トラフィック配分、ターゲティングを設定します。
- 勝ちバリエーションを本番環境にリリースする: 勝ちバリエーションを、ゲート付きのフィーチャーフラグに変換します。