> ## Documentation Index
> Fetch the complete documentation index at: https://docs.kameleoon.com/llms.txt
> Use this file to discover all available pages before exploring further.
# Experimente con prompts LLM y configuraciones de agentes de IA
> Utilice los feature flags de Kameleoon para ejecutar experimentos controlados sobre los prompts, modelos y configuraciones que hay detrás de una aplicación LLM o un agente de IA, y mida el impacto con métricas de calidad de IA, operativas y de negocio.
Las aplicaciones basadas en un modelo de lenguaje extenso (LLM) y los agentes de IA son no deterministas. Cambiar un prompt, un modelo, una estrategia de recuperación, una configuración de herramientas o un flujo de trabajo del agente puede afectar a la calidad de las respuestas, al coste operativo, a la latencia y al comportamiento de los usuarios de formas distintas y difíciles de predecir. Los frameworks de evaluación como RAGAS puntúan si una respuesta individual cumple un umbral de calidad, pero esa puntuación no indica si el cambio ayuda a los usuarios a lograr aquello para lo que llegaron a su producto.
Puede utilizar las funcionalidades de Kameleoon Feature Experimentation para personalizar, probar y lanzar la configuración que hay detrás de una aplicación de IA generativa o un agente de IA. Una variable de feature almacena una única pieza de esa configuración (un prompt, un parámetro del modelo, una estrategia de recuperación, una definición de herramienta), de modo que su equipo pueda gestionarla fuera del código de la aplicación. Cada variación representa una configuración candidata, lo que le permite iterar, experimentar y publicar cambios de forma más segura, sin volver a implementar la aplicación.
Reparta el tráfico entre las variaciones y compare su impacto mediante varios tipos de métricas:
* **Métricas de calidad de IA**, como la precisión, la fundamentación, la relevancia, la seguridad o el cumplimiento normativo
* **Métricas de rendimiento del agente**, como el uso correcto de herramientas o la finalización de tareas
* **Métricas operativas**, como la latencia, el consumo de tokens, los errores y el coste
* **Métricas de usuario y de negocio**, como la satisfacción, la escalación, la conversión, la retención y los ingresos
Como la configuración vive en un feature flag en lugar de en su código fuente, puede añadir, editar o revertir una variación directamente desde la plataforma Kameleoon en cualquier momento.
## La evaluación y la experimentación resuelven problemas distintos
La evaluación determina si la salida individual de un modelo o de un agente cumple un estándar de calidad definido. Las herramientas de observabilidad permiten inspeccionar los prompts, las respuestas, las trazas, los pasos de recuperación y las llamadas a herramientas que hay detrás de esa salida. La experimentación determina si un cambio en la configuración subyacente produce una mejora medible para los usuarios o para el negocio, una pregunta distinta de las dos anteriores.
Por ejemplo, un juez basado en un LLM podría puntuar un prompt como más fundamentado que otro. Un experimento de Kameleoon le indica si ese mismo prompt también mejora la finalización de tareas, reduce la escalación, aumenta la satisfacción o afecta a la latencia y al coste: los resultados de los que su equipo es responsable.
Kameleoon no sustituye su stack de observabilidad o evaluación de LLM. Introduzca en Kameleoon las puntuaciones de evaluadores como RAGAS, un juez basado en un LLM o un proceso de revisión humana, en forma de [objetivo personalizado](/es/user-manual/assets/goals/create-a-goal#objetivo-personalizado) con un valor numérico, y haga seguimiento de ellas junto con los objetivos de comportamiento y de negocio que su experimento ya mide, conectando así las señales de calidad a nivel de modelo con una medición estadísticamente fiable del impacto real en los usuarios.
En la mayoría de los experimentos de IA, combine varios tipos de métricas en lugar de basarse en uno solo:
* Establezca un resultado de usuario o de negocio como objetivo principal.
* Haga seguimiento de las métricas de calidad de IA como objetivos secundarios o salvaguardas.
* Supervise la latencia, el coste, los errores y la seguridad como salvaguardas operativas.
* Valide los jueces automatizados frente a una muestra de ejemplos revisados por humanos antes de confiar en sus puntuaciones a gran escala.
## Cómo funciona
Un feature flag almacena cada configuración (como un prompt) como el valor de una variable de feature, con una variación por cada opción que quiera probar. Cuando un visitante llega a su aplicación, el SDK de Kameleoon le asigna una variación y devuelve el valor correspondiente, que su código de aplicación utiliza para llamar al LLM o configurar el agente. Un objetivo adjunto al feature flag registra una conversión cuando el visitante interactúa con su función basada en un LLM o con su agente de IA, por ejemplo al hacer una pregunta de seguimiento o al completar una tarea con su ayuda. Cuando haya reunido suficiente tráfico, compare la tasa de conversión de cada variación, junto con las métricas de calidad de IA u operativas que esté siguiendo, para decidir qué configuración funciona mejor.
## Requisitos previos
* Una cuenta de Kameleoon con un proyecto configurado para Feature Experimentation.
* El ID de cliente y el secreto de cliente de su cuenta. Para encontrar estos valores, consulte [Credenciales de API](/es/user-manual/account-and-team-management/users-and-teams/api-credentials).
* Una aplicación Python en la que pueda instalar el SDK de Kameleoon.
## Configurar su experimento de prompts en Kameleoon
Configure el feature flag, las variaciones de prompt y el objetivo de seguimiento en la plataforma Kameleoon antes de tocar su código de aplicación.
### Crear el feature flag
Cree un feature flag para contener sus variaciones de prompt y controlar el despliegue de su experimento.
1. En la aplicación Kameleoon, haga clic en **Features** > **Flags & Experiments** > **New feature flag**.
2. Introduzca un nombre, por ejemplo `LLM prompt test`, y seleccione el proyecto para el flag.
3. En el campo **Description**, indique qué controla el flag, para que otros miembros de su equipo entiendan su propósito.
4. Haga clic en **Validate**.
Para más detalles, consulte [Crear un feature flag](/es/user-manual/experimentation/feature-experimentation/create-and-manage-flags/create-a-feature-flag).
### Almacenar el prompt en una variable de feature
Añada una variable de feature para contener el texto del prompt, de modo que pueda cambiarlo desde la plataforma Kameleoon sin editar su código de aplicación.
1. En la página del flag, en la barra lateral izquierda, haga clic en **Set Up** > **Variables** > **Add Variable**.
2. Establezca el **Type** de la variable en **String**.
3. Introduzca una **Variable Key**, por ejemplo `prompt_template`.
4. Establezca el **Default Value** con el prompt que su aplicación utiliza actualmente. Kameleoon entrega este valor a los visitantes que no forman parte de su experimento.
5. Haga clic en **Save**.
Para más detalles, consulte [Definir variables de feature](/es/user-manual/experimentation/feature-experimentation/configure-your-feature-flags/define-feature-variables).
### Crear una variación por cada prompt
Cree una variación por cada prompt que quiera probar, y establezca la variable `prompt_template` con el texto correspondiente en cada una.
1. En la barra lateral izquierda, haga clic en **Set Up** > **Variations** > **Add variation**.
2. Introduzca un **Name** para la variación, por ejemplo `Detailed summary`.
3. Establezca la variable `prompt_template` con el texto del prompt para esta variación.
4. Haga clic en **Save**.
5. Repita estos pasos para cada prompt adicional que quiera probar.
Para más detalles, consulte [Definir variaciones de feature](/es/user-manual/experimentation/feature-experimentation/configure-your-feature-flags/define-feature-variations).
### Adjuntar un objetivo para medir el engagement
Adjunte un objetivo al feature flag para que Kameleoon pueda medir qué variación de prompt genera más engagement. Como Kameleoon es una plataforma unificada, puede adjuntar cualquier objetivo que ya exista en su organización, como un objetivo de transacción definido por otro equipo, o crear un objetivo específico para su función basada en un LLM.
1. En la página del flag, en el menú **Set Up**, haga clic en **Goals** > **Add goal**.
2. Seleccione un objetivo existente, o haga clic en **Create a new goal** para definir uno, como un objetivo personalizado que se active cuando un visitante interactúe con su función basada en un LLM.
3. Haga clic en **Save**.
Para más detalles sobre los tipos de objetivos, incluido cómo activar un objetivo personalizado desde su backend, consulte [Crear un objetivo](/es/user-manual/assets/goals/create-a-goal#objetivo-personalizado).
### Desplegar el experimento
Cree una regla de experimento que reparta el tráfico entre sus variaciones de prompt y, después, active el entorno para empezar a recopilar datos.
1. En el **Rollout Planner**, seleccione el entorno que quiera segmentar, por ejemplo **Production**.
2. Haga clic en **Add a rule** > **Experiment**.
3. En **Variations to serve**, añada cada variación de prompt y establezca su porcentaje de exposición. Por ejemplo, reparta el tráfico de manera uniforme entre dos variaciones al 50 % cada una.
4. Establezca el targeting de la regla para incluir a los visitantes que quiera probar, por ejemplo todos los visitantes que lleguen a la aplicación.
5. Active el interruptor **ON/OFF** del entorno en **ON**.
6. Haga clic en **Save**.
Para más detalles, consulte [Crear feature experiments](/es/user-manual/experimentation/feature-experimentation/using-the-rollout-planner/optimizations-and-scheduling/create-feature-experiments).
Una vez que guarde la regla, Kameleoon empieza a asignar visitantes a una variación y a servir el prompt correspondiente. Para cambiar un prompt o añadir una variación más adelante, edítelo directamente en la plataforma Kameleoon. No necesita volver a implementar su aplicación para aplicar estos cambios.
## Recuperar el prompt en su aplicación
Instale el SDK de Python de Kameleoon, después recupere el prompt asignado al visitante y haga seguimiento de una conversión cuando el visitante interactúe con su función basada en un LLM. El mismo patrón se aplica a cualquier [SDK de Kameleoon del lado del servidor](/es/developer-docs/feature-experimentation/get-started/overview#sdks-del-lado-del-servidor), incluidos Node.js, Java y Go.
1. Instale el SDK como dependencia:
```bash theme={null}
pip install kameleoon-client-python
```
2. Inicialice el cliente con su site code y sus credenciales:
```python theme={null}
from kameleoon import KameleoonClient, KameleoonClientConfig, KameleoonClientFactory
SITE_CODE = "a8st4f59bj"
FEATURE_KEY = "llm_prompt_test"
GOAL_ID = 12345 # Sustitúyalo por el ID del objetivo que adjuntó al flag
configuration = KameleoonClientConfig(
client_id="your-client-id",
client_secret="your-client-secret",
)
kameleoon_client = KameleoonClientFactory.create(SITE_CODE, configuration)
await kameleoon_client.wait_init_async()
```
3. Recupere el prompt asignado antes de llamar a su LLM, y haga seguimiento de una conversión cuando el visitante interactúe con la función basada en un LLM:
```python theme={null}
def get_prompt_for_visitor(visitor_code: str) -> str:
variation = kameleoon_client.get_variation(visitor_code, FEATURE_KEY)
return variation.variables["prompt_template"].value
def track_llm_interaction(visitor_code: str) -> None:
kameleoon_client.track_conversion(visitor_code, GOAL_ID)
```
Llame a `get_prompt_for_visitor()` con el `visitor_code` del visitante antes de enviar una solicitud a su LLM, y utilice el valor devuelto como prompt. Llame a `track_llm_interaction()` cuando el visitante interactúe con la función basada en un LLM, por ejemplo al enviar una pregunta o al recibir una respuesta.
Utilice [`get_visitor_code()`](/es/developer-docs/sdks/web-sdks/python-sdk#get_visitor_code) para asignar un ID único a cada visitante, y [`set_legal_consent()`](/es/developer-docs/sdks/web-sdks/python-sdk#set_legal_consent) si su aplicación requiere el consentimiento del visitante antes de hacer seguimiento de datos. Para la referencia completa de inicialización y configuración del cliente, consulte la [guía del desarrollador del SDK de Python](/es/developer-docs/sdks/web-sdks/python-sdk#guía-del-desarrollador).
## Supervisar e iterar
Abra la página de resultados del feature flag para comparar la tasa de conversión de cada variación de prompt frente al objetivo adjunto. Kameleoon hace seguimiento de las exposiciones y las conversiones automáticamente en cuanto su aplicación llama a `get_variation()` y `track_conversion()`, por lo que no necesita instrumentación adicional. Si también adjuntó una métrica de calidad de IA u operativa como objetivo, compárela junto con la tasa de conversión antes de decidir qué variación implementar.
Para más detalles, consulte [Ver los resultados generales de su feature flag](/es/user-manual/experiment-analytics/analyze-results/feature-flag-results/analyze-a-feature-flags-overall-results).
## Próximos pasos
* Lea la [referencia del SDK de Python](/es/developer-docs/sdks/web-sdks/python-sdk) para conocer opciones avanzadas como el custom data, la experimentación cross-device y las condiciones de targeting.
* Adjunte [criterios de segmentación precisos](/es/developer-docs/feature-experimentation/targeting-and-segmentation/native-segmentation) para segmentar el experimento hacia una audiencia específica.
* Explore las [variables de feature](/es/user-manual/experimentation/feature-experimentation/configure-your-feature-flags/define-feature-variables) para variabilizar otras partes de su función basada en un LLM o de su agente de IA, como los parámetros del modelo, los ajustes de recuperación o las definiciones de herramientas.
* Adjunte varios objetivos al mismo flag, como una puntuación de calidad de IA de su pipeline de evaluación junto con una métrica de negocio, para comparar configuraciones en varias dimensiones a la vez. Consulte [Crear objetivos para feature flags](/es/user-manual/experimentation/feature-experimentation/track-your-feature-experiments/create-goals-for-feature-flags).