etl-social-pipeline

El problema

tokpipe e instapipe resuelven el parsing. Este proyecto resuelve el siguiente problema: ejecutar los dos pipelines de forma coordinada, consolidar el output en un modelo de datos unificado, y saber automáticamente cuándo algo falla o se sale de la norma — antes de abrir el dashboard.

Los datos

Mismo origen que tokpipe e instapipe. La diferencia está en el modelo de datos unificado: una tabla de métricas por plataforma con las mismas columnas y las mismas definiciones, más el histórico suficiente para calcular baselines.

Enfoque

• Orquestación con Prefect: cada pipeline tiene su tarea, los errores generan reintentos automáticos con backoff, los fallos persistentes generan alerta
• Modelo de datos unificado: una sola tabla de métricas por plataforma, con las columnas que establecen tokpipe e instapipe
• Detección de anomalías por métrica: media y desviación típica rolling de 4 semanas como baseline, alerta si la semana actual sale de ±2σ
• Reporte semanal en HTML generado automáticamente: comparativa entre plataformas, señalización de anomalías y contexto de las últimas 8 semanas

Herramientas

python

prefect

Resultado

Un informe semanal que se genera solo. La detección de anomalías captura caídas de alcance o picos de engagement antes de que los veas en el dashboard — y con el contexto histórico que el dashboard no guarda.