vanguard-ab-test

El problema

Vanguard rediseñó su proceso de onboarding digital. Los datos del experimento son públicos. El análisis interesante no es calcular si hay diferencia estadística — con 70.000 clientes casi cualquier diferencia sale significativa. Lo difícil es decidir qué métrica importa, si el tamaño del efecto justifica el rollout en todos los segmentos, y qué hacer cuando el efecto no es homogéneo.

Los datos

Dataset público de Vanguard: 70.609 clientes divididos aleatoriamente entre control (UX original) y variante (UX rediseñada). 755.405 eventos web de navegación con timestamps, pasos del proceso de onboarding y etiqueta de finalización. Variables de segmentación disponibles: edad, tipo de cuenta, canal de entrada.

Enfoque

• Limpieza de datos de eventos: deduplicación, sesiones rotas, usuarios que aparecen en los dos grupos (exclusión)
• Test de hipótesis por métrica: chi-cuadrado para la tasa de finalización (binaria), t-test de Welch para tiempo en el proceso (continua)
• Tamaño del efecto: odds ratio y h de Cohen — el p-value solo dice si hay diferencia, no qué tan grande es
• Análisis de homogeneidad del efecto por cohorte: edad, tipo de cuenta, dispositivo — el efecto medio esconde varianza importante
• Funnel de conversión paso a paso: en qué punto exacto la variante gana o pierde respecto al control
• Visualización en Tableau: funnel interactivo y descomposición del efecto por segmento

Herramientas

python

sql

tableau

Resultado

La variante mejora la tasa de finalización del onboarding, pero el efecto no es homogéneo: es significativo en clientes menores de 45 y prácticamente nulo en mayores. La recomendación no es "hacer rollout" sino "hacer rollout segmentado" — y cuantificar qué parte de la base de clientes captura el efecto real.