Orquestacion batch¶
La capa de trabajos periodicos, construida con Apache Airflow. Programa y ejecuta los procesos que se lanzan por calendario sobre las mismas tablas que el streaming ya llena en tiempo real. La filosofia es importante: en el camino feliz el procesamiento en streaming ya hace el trabajo online, y estos trabajos son redes de seguridad idempotentes mas los procesos de ML y MLOps que el flujo en tiempo real no cubre.
No hay un unico flujo, sino un catalogo de trabajos (DAGs) independientes que el planificador dispara segun su cadencia. La linea temporal de sus horarios lo resume mejor que cualquier descripcion.
Entre las tareas horarias y diarias estan la limpieza de respaldo (que reprocesa por si el streaming se salto algo, sin duplicar nada gracias a la idempotencia), el refresco de los agregados continuos del dia anterior, y un chequeo de salud que calcula el tiempo activo de cada sensor y reporta los que estan caidos.
Entre las semanales estan los reentrenamientos: el detector de anomalias y los modelos de prevision se reentrenan con los ultimos noventa dias de datos y se registran si superan su puerta de calidad. Y entre las nocturnas, el re-scoring de anomalias sobre las ultimas veinticuatro horas y la generacion de predicciones que precalcula el pronostico de cada sensor.
Hay ademas un chequeo diario de deriva (drift) que compara la distribucion de referencia con la de produccion reciente usando Evidently, y avisa por webhook y correo cuando los datos se han desplazado demasiado. Es deliberadamente conservador: detecta y alerta, pero no reentrena por su cuenta.
Dos decisiones de diseno atraviesan todo el catalogo. La primera es que la ventana de datos de cada ejecucion sale siempre del intervalo programado y nunca del reloj actual, lo que hace que los reintentos y los backfills historicos sean repetibles y deterministas. La segunda es el uso de pools que limitan la concurrencia de las escrituras a base de datos y de los entrenamientos pesados, aislando los recursos criticos para que un trabajo no ahogue a los demas.