> ## Documentation Index
> Fetch the complete documentation index at: https://docs.kameleoon.com/llms.txt
> Use this file to discover all available pages before exploring further.
# Experimente mit LLM-Prompts und KI-Agent-Konfigurationen durchführen
> Verwenden Sie Kameleoon Feature Flags, um kontrollierte Experimente mit den Prompts, Modellen und Konfigurationen durchzuführen, die einer LLM-Anwendung oder einem KI-Agenten zugrunde liegen, und die Auswirkungen anhand von KI-Qualitäts-, operativen und geschäftlichen Metriken zu messen.
LLM-basierte Anwendungen und KI-Agenten sind nicht deterministisch. Wenn Sie einen Prompt, ein Modell, eine Retrieval-Strategie, eine Tool-Konfiguration oder einen Agenten-Workflow ändern, wirkt sich das auf unterschiedliche, schwer vorhersehbare Weise auf Antwortqualität, Betriebskosten, Latenz und Nutzerverhalten aus. Evaluierungs-Frameworks wie RAGAS bewerten, ob eine einzelne Antwort einen Qualitätsstandard erfüllt, aber diese Bewertung sagt Ihnen nicht, ob die Änderung den Nutzern hilft, das zu erreichen, weswegen sie Ihr Produkt überhaupt nutzen.
Sie können die Funktionen von Kameleoon Feature Experimentation nutzen, um die Konfiguration hinter einer generativen KI-Anwendung oder einem KI-Agenten anzupassen, zu testen und auszurollen. Eine Feature-Variable enthält jeweils einen Teil dieser Konfiguration (einen Prompt, einen Modellparameter, eine Retrieval-Strategie, eine Tool-Definition), sodass Ihr Team sie außerhalb des Anwendungscodes verwalten kann. Jede Variation stellt eine mögliche Konfiguration dar, was Ihnen ermöglicht, Änderungen zu iterieren, zu testen und sicherer zu veröffentlichen, ohne erneut bereitzustellen.
Verteilen Sie den Traffic auf die Variationen, und vergleichen Sie deren Auswirkungen anhand mehrerer Metriktypen:
* **KI-Qualitätsmetriken**, wie Korrektheit, Fundiertheit (Groundedness), Relevanz, Sicherheit oder Compliance
* **Agenten-Leistungsmetriken**, wie erfolgreiche Tool-Nutzung oder Aufgabenerfüllung
* **Operative Metriken**, wie Latenz, Token-Verbrauch, Fehler und Kosten
* **Nutzer- und Geschäftsmetriken**, wie Zufriedenheit, Eskalation, Conversion, Bindung und Umsatz
Da die Konfiguration in einem Feature Flag statt in Ihrem Quellcode liegt, können Sie jederzeit direkt über die Kameleoon-Plattform eine Variation hinzufügen, bearbeiten oder zurücksetzen.
## Evaluierung und Experimente lösen unterschiedliche Probleme
Evaluierung stellt fest, ob eine einzelne Modell- oder Agenten-Ausgabe einen definierten Qualitätsstandard erfüllt. Observability-Tools ermöglichen es Ihnen, die Prompts, Antworten, Traces, Retrieval-Schritte und Tool-Aufrufe hinter dieser Ausgabe zu untersuchen. Experimente stellen fest, ob eine Änderung an der zugrunde liegenden Konfiguration eine messbare Verbesserung für Nutzer oder das Geschäft bewirkt: eine Frage, die weder die Evaluierung noch die Observability beantwortet.
Ein LLM-Judge könnte beispielsweise einen Prompt als fundierter bewerten als einen anderen. Ein Kameleoon-Experiment zeigt Ihnen, ob derselbe Prompt außerdem die Aufgabenerfüllung verbessert, Eskalationen reduziert, die Zufriedenheit steigert oder sich auf Latenz und Kosten auswirkt, die Ergebnisse, für die Ihr Team verantwortlich ist.
Kameleoon ersetzt nicht Ihren LLM-Observability- oder Evaluierungs-Stack. Speisen Sie Bewertungsergebnisse aus RAGAS, einem LLM-Judge oder einem menschlichen Review-Prozess als [benutzerdefiniertes Ziel](/de/user-manual/assets/goals/create-a-goal#benutzerdefiniertes-ziel) mit einem numerischen Wert in Kameleoon ein, und verfolgen Sie sie zusammen mit den Verhaltens- und Geschäftszielen, die Ihr Experiment bereits misst, und verbinden Sie damit Qualitätssignale auf Modellebene mit einer statistisch zuverlässigen Messung der tatsächlichen Auswirkung auf Nutzer.
Kombinieren Sie bei den meisten KI-Experimenten mehrere Metriktypen, anstatt sich auf einen einzigen zu verlassen:
* Legen Sie ein Nutzer- oder Geschäftsergebnis als primäres Ziel fest.
* Verfolgen Sie KI-Qualitätsmetriken als sekundäre Ziele oder Guardrails.
* Überwachen Sie Latenz, Kosten, Fehler und Sicherheit als operative Guardrails.
* Validieren Sie automatisierte Judges anhand einer Stichprobe menschlich geprüfter Beispiele, bevor Sie deren Bewertungen im großen Maßstab vertrauen.
## Funktionsweise
Ein Feature Flag speichert jede Konfiguration (zum Beispiel einen Prompt) als Wert einer Feature-Variable, mit einer Variation pro Option, die Sie testen möchten. Wenn ein Besucher Ihre Anwendung erreicht, weist das Kameleoon SDK dem Besucher eine Variation zu und gibt den entsprechenden Wert zurück, den Ihr Anwendungscode verwendet, um das LLM aufzurufen oder den Agenten zu konfigurieren. Ein an das Feature Flag angehängtes Ziel erfasst eine Conversion, wenn der Besucher mit Ihrer LLM-basierten Funktion oder Ihrem KI-Agenten interagiert, zum Beispiel durch eine Anschlussfrage oder das Abschließen einer Aufgabe mithilfe des Agenten. Sobald Sie genügend Traffic gesammelt haben, vergleichen Sie die Conversion-Rate jeder Variation zusammen mit allen KI-Qualitäts- oder operativen Metriken, die Sie verfolgen, um zu entscheiden, welche Konfiguration am besten performt.
## Voraussetzungen
* Ein Kameleoon-Konto mit einem für Feature Experimentation eingerichteten Projekt.
* Die Client-ID und das Client-Secret Ihres Kontos. Diese Werte finden Sie unter [API-Anmeldeinformationen](/de/user-manual/account-and-team-management/users-and-teams/api-credentials).
* Eine Python-Anwendung, in der Sie das Kameleoon SDK installieren können.
## Ihr Prompt-Experiment in Kameleoon einrichten
Konfigurieren Sie das Feature Flag, die Prompt-Variationen und das Tracking-Ziel in der Kameleoon-Plattform, bevor Sie Ihren Anwendungscode anfassen.
### Das Feature Flag erstellen
Erstellen Sie ein Feature Flag, um Ihre Prompt-Variationen aufzunehmen und die Bereitstellung Ihres Experiments zu steuern.
1. Klicken Sie in der Kameleoon-App auf **Features** > **Flags & Experiments** > **New feature flag**.
2. Geben Sie einen Namen ein, zum Beispiel `LLM prompt test`, und wählen Sie das Projekt für das Flag aus.
3. Notieren Sie im Feld **Description**, wofür das Flag steht, damit andere Teammitglieder seinen Zweck verstehen.
4. Klicken Sie auf **Validate**.
Weitere Details finden Sie unter [Ein Feature Flag erstellen](/de/user-manual/experimentation/feature-experimentation/create-and-manage-flags/create-a-feature-flag).
### Den Prompt in einer Feature-Variable speichern
Fügen Sie eine Feature-Variable hinzu, um den Prompt-Text zu speichern, sodass Sie ihn über die Kameleoon-Plattform ändern können, ohne Ihren Anwendungscode zu bearbeiten.
1. Klicken Sie auf der Seite des Flags in der linken Seitenleiste auf **Set Up** > **Variables** > **Add Variable**.
2. Setzen Sie den **Type** der Variable auf **String**.
3. Geben Sie einen **Variable Key** ein, zum Beispiel `prompt_template`.
4. Setzen Sie die **Default Value** auf den Prompt, den Ihre Anwendung derzeit verwendet. Kameleoon liefert diesen Wert an Besucher aus, die nicht Teil Ihres Experiments sind.
5. Klicken Sie auf **Save**.
Weitere Details finden Sie unter [Feature-Variablen definieren](/de/user-manual/experimentation/feature-experimentation/configure-your-feature-flags/define-feature-variables).
### Für jeden Prompt eine Variation erstellen
Erstellen Sie eine Variation pro Prompt, den Sie testen möchten, und setzen Sie die Variable `prompt_template` in jeder auf den entsprechenden Text.
1. Klicken Sie in der linken Seitenleiste auf **Set Up** > **Variations** > **Add variation**.
2. Geben Sie einen **Name** für die Variation ein, zum Beispiel `Detailed summary`.
3. Setzen Sie die Variable `prompt_template` für diese Variation auf den Prompt-Text.
4. Klicken Sie auf **Save**.
5. Wiederholen Sie diese Schritte für jeden weiteren Prompt, den Sie testen möchten.
Weitere Details finden Sie unter [Feature-Variationen definieren](/de/user-manual/experimentation/feature-experimentation/configure-your-feature-flags/define-feature-variations).
### Ein Ziel zum Messen des Engagements anhängen
Hängen Sie ein Ziel an das Feature Flag an, damit Kameleoon messen kann, welche Prompt-Variation mehr Engagement erzeugt. Da Kameleoon eine einheitliche Plattform ist, können Sie jedes bereits in Ihrer Organisation vorhandene Ziel anhängen, etwa ein von einem anderen Team definiertes Transaktionsziel, oder ein Ziel erstellen, das speziell auf Ihre LLM-basierte Funktion zugeschnitten ist.
1. Klicken Sie auf der Seite des Flags im Menü **Set Up** auf **Goals** > **Add goal**.
2. Wählen Sie ein vorhandenes Ziel aus, oder klicken Sie auf **Create a new goal**, um eines zu definieren, zum Beispiel ein benutzerdefiniertes Ziel, das ausgelöst wird, wenn ein Besucher mit Ihrer LLM-basierten Funktion interagiert.
3. Klicken Sie auf **Save**.
Weitere Details zu Zieltypen, einschließlich wie Sie ein benutzerdefiniertes Ziel von Ihrem Backend aus auslösen, finden Sie unter [Ein Ziel erstellen](/de/user-manual/assets/goals/create-a-goal#benutzerdefiniertes-ziel).
### Das Experiment ausrollen
Erstellen Sie eine Experiment-Regel, die den Traffic auf Ihre Prompt-Variationen verteilt, und aktivieren Sie dann die Umgebung, um mit der Datenerfassung zu beginnen.
1. Wählen Sie im **Rollout Planner** die Umgebung aus, die Sie anvisieren möchten, zum Beispiel **Production**.
2. Klicken Sie auf **Add a rule** > **Experiment**.
3. Fügen Sie unter **Variations to serve** jede Prompt-Variation hinzu und legen Sie deren Expositionsprozentsatz fest. Verteilen Sie den Traffic beispielsweise gleichmäßig auf zwei Variationen mit je 50 %.
4. Legen Sie das Targeting der Regel so fest, dass es die Besucher einschließt, die Sie testen möchten, zum Beispiel alle Besucher, die die Anwendung erreichen.
5. Schalten Sie den **ON/OFF**-Schalter der Umgebung auf **ON**.
6. Klicken Sie auf **Save**.
Weitere Details finden Sie unter [Feature-Experimente erstellen](/de/user-manual/experimentation/feature-experimentation/using-the-rollout-planner/optimizations-and-scheduling/create-feature-experiments).
Sobald Sie die Regel gespeichert haben, beginnt Kameleoon damit, Besuchern eine Variation zuzuweisen und den entsprechenden Prompt auszuliefern. Um einen Prompt später zu ändern oder eine Variation hinzuzufügen, bearbeiten Sie ihn direkt in der Kameleoon-Plattform. Sie müssen Ihre Anwendung nicht neu bereitstellen, um diese Änderungen vorzunehmen.
## Den Prompt in Ihrer Anwendung abrufen
Installieren Sie das Kameleoon Python SDK, rufen Sie dann den dem Besucher zugewiesenen Prompt ab und verfolgen Sie eine Conversion, wenn der Besucher mit Ihrer LLM-basierten Funktion interagiert. Das gleiche Muster gilt für jedes [serverseitige Kameleoon SDK](/de/developer-docs/feature-experimentation/get-started/overview#serverseitige-sdks), einschließlich Node.js, Java und Go.
1. Installieren Sie das SDK als Abhängigkeit:
```bash theme={null}
pip install kameleoon-client-python
```
2. Initialisieren Sie den Client mit Ihrem Site Code und Ihren Zugangsdaten:
```python theme={null}
from kameleoon import KameleoonClient, KameleoonClientConfig, KameleoonClientFactory
SITE_CODE = "a8st4f59bj"
FEATURE_KEY = "llm_prompt_test"
GOAL_ID = 12345 # Ersetzen Sie dies durch die ID des Ziels, das Sie dem Flag zugeordnet haben
configuration = KameleoonClientConfig(
client_id="your-client-id",
client_secret="your-client-secret",
)
kameleoon_client = KameleoonClientFactory.create(SITE_CODE, configuration)
await kameleoon_client.wait_init_async()
```
3. Rufen Sie den zugewiesenen Prompt ab, bevor Sie Ihr LLM aufrufen, und verfolgen Sie eine Conversion, wenn der Besucher mit der LLM-basierten Funktion interagiert:
```python theme={null}
def get_prompt_for_visitor(visitor_code: str) -> str:
variation = kameleoon_client.get_variation(visitor_code, FEATURE_KEY)
return variation.variables["prompt_template"].value
def track_llm_interaction(visitor_code: str) -> None:
kameleoon_client.track_conversion(visitor_code, GOAL_ID)
```
Rufen Sie `get_prompt_for_visitor()` mit dem `visitor_code` des Besuchers auf, bevor Sie eine Anfrage an Ihr LLM senden, und verwenden Sie den zurückgegebenen Wert als Prompt. Rufen Sie `track_llm_interaction()` auf, wenn der Besucher mit der LLM-basierten Funktion interagiert, zum Beispiel durch das Absenden einer Frage oder den Erhalt einer Antwort.
Verwenden Sie [`get_visitor_code()`](/de/developer-docs/sdks/web-sdks/python-sdk#get_visitor_code), um jedem Besucher eine eindeutige ID zuzuweisen, und [`set_legal_consent()`](/de/developer-docs/sdks/web-sdks/python-sdk#set_legal_consent), falls Ihre Anwendung die Einwilligung des Besuchers vor dem Tracking von Daten benötigt. Die vollständige Referenz zur Client-Initialisierung und -Konfiguration finden Sie im [Entwicklerhandbuch des Python SDK](/de/developer-docs/sdks/web-sdks/python-sdk#entwicklerhandbuch).
## Überwachen und iterieren
Öffnen Sie die Ergebnisseite des Feature Flags, um die Conversion-Rate jeder Prompt-Variation mit dem angehängten Ziel zu vergleichen. Kameleoon verfolgt Expositionen und Conversions automatisch, sobald Ihre Anwendung `get_variation()` und `track_conversion()` aufruft. Sie benötigen daher keine zusätzliche Instrumentierung. Wenn Sie zusätzlich eine KI-Qualitäts- oder operative Metrik als Ziel angehängt haben, vergleichen Sie diese zusammen mit der Conversion-Rate, bevor Sie entscheiden, welche Variation Sie ausrollen.
Weitere Details finden Sie unter [Die Gesamtergebnisse eines Feature Flags anzeigen](/de/user-manual/experiment-analytics/analyze-results/feature-flag-results/analyze-a-feature-flags-overall-results).
## Nächste Schritte
* Lesen Sie die [Python SDK-Referenz](/de/developer-docs/sdks/web-sdks/python-sdk) für erweiterte Optionen wie Custom Data, geräteübergreifende Experimente und Targeting-Bedingungen.
* Hängen Sie [präzise Segmentierungskriterien](/de/developer-docs/feature-experimentation/targeting-and-segmentation/native-segmentation) an, um das Experiment auf eine bestimmte Zielgruppe auszurichten.
* Erkunden Sie [Feature-Variablen](/de/user-manual/experimentation/feature-experimentation/configure-your-feature-flags/define-feature-variables), um weitere Teile Ihrer LLM-basierten Funktion oder Ihres KI-Agenten zu variabilisieren, etwa Modellparameter, Retrieval-Einstellungen oder Tool-Definitionen.
* Hängen Sie mehrere Ziele an dasselbe Flag an, etwa einen KI-Qualitäts-Score aus Ihrer Evaluierungs-Pipeline zusammen mit einer Geschäftsmetrik, um Konfigurationen anhand mehrerer Dimensionen gleichzeitig zu vergleichen. Siehe [Ziele für Feature Flags erstellen](/de/user-manual/experimentation/feature-experimentation/track-your-feature-experiments/create-goals-for-feature-flags).