A/B test de estrategias

La estrategia custom de tipo A/B test de estrategias reparte el tráfico entre dos o más estrategias y compara sus resultados para elegir la ganadora. El sitio sigue llamando a una única estrategia custom: el reparto y la medición ocurren dentro de la plataforma, sin cambiar la integración ni el widget.

Para crearla basta con ingresar el nombre, el tipo de página y seleccionar el tipo A/B test de estrategias. A diferencia de los otros tipos, no tiene Filtros ni Configuraciones: cada variante usa las suyas y toda la configuración del test está en la pestaña A/B test.

Objetivo

Es la métrica con la que se comparan las variantes: CTR o Revenue. No afecta el reparto del tráfico, define cómo se lee el reporte y cómo se calcula la probabilidad de ganar.

Variantes

Cada variante —A, B, C…— apunta a una estrategia estándar (más vendidos, items vistos juntos, mayor probabilidad de conversión, etc.) o a otra estrategia custom ya creada en el proyecto.

Solo se ofrecen las opciones compatibles con el tipo de página de la estrategia. No es posible elegir la propia estrategia ni otro A/B test, y tampoco repetir la misma estrategia en dos variantes.

Algunas estrategias estándar piden un dato adicional en la variante: las de afinidad requieren el atributo de afinidad y las de búsqueda semántica el término a buscar.

En la columna Tráfico se indica el porcentaje de cada variante:

• Los porcentajes deben sumar 100 y al menos dos variantes deben tener tráfico.

• Una variante en 0% queda pausada: no recibe tráfico pero se conserva junto con sus resultados.

• El botón Repartir parejo divide el 100% en partes iguales entre las variantes cargadas.

Cambiar las variantes o los porcentajes vuelve a asignar a los clientes, por lo que el reporte se reinicia desde esa fecha.

Resultados

Las métricas se calculan cada 15 minutos, una vez que la estrategia empieza a recibir tráfico. Sobre la tabla se indica desde cuándo se acumulan los datos, cuándo fue la última actualización y el objetivo del test.

Para cada variante se muestra:

Impresiones: Veces que la variante se mostró.

Clicks: Clicks sobre los items recomendados por la variante.

CTR: Clicks sobre impresiones.

Compras: Compras atribuidas a la variante.

Revenue: Monto de esas compras.

Prob. de ganar: Probabilidad de que la variante sea la mejor según el objetivo elegido. Cuando el objetivo es Revenue corresponde a la participación del revenue por impresión de cada variante y no a un cálculo bayesiano.

Marcar el ganador

El ganador se elige a mano con el botón del trofeo en la fila de la variante. Al guardar, el 100% del tráfico pasa a la variante ganadora, los porcentajes dejan de usarse y el reporte queda congelado en la fecha en que se marcó.

Quitar el ganador reanuda el test y vuelve a repartir el tráfico según los porcentajes cargados.