Autor: Eduardo Martínez Agrelo
Bienvenidos al séptimo laboratorio de vuestro camino en la gobernanza con el Patrón de Cuarentena [4]. En este módulo, sentaremos las bases de la validación de calidad. No se trata solo de rechazar registros incorrectos de forma silenciosa, sino de aislar anomalías operativas en un repositorio estructurado de auditoría. Utilizaremos Google Cloud para transitar de flujos inestables a un entorno analítico controlado y confiable.
La Evolución: De Ignorar el Dato Erróneo a la Contención Activa
El procesamiento analítico que permite el paso de datos huérfanos, nulos obligatorios o strings corruptos degrada los modelos finales y rompe los reportes de negocio. En arquitecturas modernas de calidad de datos, el aislamiento preventivo es la respuesta obligatoria [4]:
- Limitaciones: Detener por completo el pipeline ante un error o descartar silenciosamente registros inválidos ciega a los equipos sobre fallas en origen.
- La Solución: Desviar los casos corruptos a una zona de cuarentena mientras los datos limpios continúan fluyendo mantiene la confiabilidad sin interrupción.
La Estructuración de la Auditoría: Validación, Serialización y Cuarentena
Para asegurar que nuestra zona de contención registre de forma claro cada falla de calidad, definiremos tres componentes lógicos clave:
Detección de Anomalías (CASE/WHEN) + Serialización Cruda (TO_JSON_STRING) + Registro en Cuarentena (BigQuery)
Aprenderemos que un registro inválido sin su payload original es difícil de auditar por el equipo de soporte; por ello, nos enfocaremos en conservar el estado del objeto fallido junto con la regla de negocio que se violó en origen.
Configuración de la Infraestructura con Terraform
En la gestión de observabilidad de datos, los repositorios de errores deben estar definidos de forma de-clarativa. No creamos tablas de auditoría manualmente en la consola; utilizamos Terraform para aprovisionar las estructuras de retención de manera consistente:
- Gobernanza: Crearemos un dataset de quarantine regionalizado y una tabla centralizada de errores en BigQuery de forma limpia.
- Integridad: Aplicaremos reglas estrictas de filtrado en silver.orders para bloquear la carga de compras huérfanas en el sistema.
Implementación práctica
En este laboratorio práctico, codificarás las consultas de validación en BigQuery SQL. Crearemos los archivos de auditoría
`quality_customers_audit.sql` y quality_orders_audit.sql para examinar las tablas de Bronze, permitiéndote
inyectar anomalías de forma intencionada y comprobar su desvío automático hacia cuarentena.
Conclusión: Calidad de datos con observabilidad
Has completado con éxito la fase de calidad y validación de esquemas. Has aprendido a aislar inconsistencias referenciales y formatos erróneos en una zona de contención asíncrona sin degradar ni detener tu pipeline de producción Silver. Ya tienes tus datos validados e incorruptibles; el siguiente paso es implementar controles estrictos de seguridad y enmascaramiento dinámico de datos sensibles.