Autor: Eduardo Martínez Agrelo
Bienvenidos al décimo laboratorio de vuestro camino en la automatización con Cloud Workflows. En este módulo, sentaremos las bases de la orquestación serverless. No se trata de ejecutar llamadas manuales o scripts dispersos, sino de automatizar de forma secuencial y coordinada todo el flujo de datos. Utilizaremos Google Cloud para transitar de tareas desconectadas a un pipeline robusto de extremo a extremo.
La Evolución: De Ejecuciones Manuales a Orquestación Serverless Eficiente
La ejecución manual de scripts dispersos o el uso de pesadas herramientas de orquestación tradicionales que requieren servidores encendidos 24/7 dispara los costes de infraestructura y eleva la complejidad operativa de los pipelines. En arquitecturas modernas serverless, la orquestación ligera basada en llamadas HTTP y APIs es la respuesta inteligente:
- Limitaciones: Levantar clústeres complejos con discos persistentes para tareas secuenciales cortas genera una sobredimensión de infraestructura innecesaria y costosa.
- La Solución: Coordinar servicios, APIs y llamadas a base de datos bajo demanda mediante un orquestador serverless permite pagar únicamente por los pasos ejecutados.
La Estructuración de la Automatización: Extracción, Stored Procedures y YAML
Para asegurar que nuestro flujo de datos opere de manera asíncrona, robusta y tolerante a fallos, implementaremos tres fases de orquestación clave:
Detonación de Ingesta (http.get) + Registro de Log (sys.log) + Ejecución Analítica (sp_run_medallion_pipeline)
Aprenderemos que declarar consultas complejas en texto plano dentro del flujo de trabajo es un antipatrón difícil de mantener; por ello, nos enfocaremos en compilar las lógicas analíticas en BigQuery y llamarlas de forma limpia con sentencias simplificadas.
Seguridad de Ejecución e Infraestructura como Código con Terraform
En la automatización empresarial, las credenciales del orquestador deben estar estrictamente gobernadas por código de infraestructura. No asignamos tags de políticas manualmente en el portal; utilizamos Terraform para tomar el control absoluto del esquema de la tabla de clientes y asociar los tags de manera profesional:
- Permisos: Otorgaremos el rol de ejecutor de jobs en IAM para realizar consultas sobre las tablas analíticas de BigQuery de forma limpia.
- Orquestación: Desplegaremos el flujo en Cloud Workflows inyectando de forma dinámica la URL de ingesta desde Terraform.
Implementación práctica
En este laboratorio práctico, codificarás el flujo de orquestación automatizado en un archivo YAML. Crearemos el archivo de
definición medallion_workflow.yaml que estructurará los pasos del orquestador, permitiéndote simular la
ejecución y comprobar en la consola la sincronización secuencial de las capas.
Conclusión: Automatización serverless de extremo a extremo
Has completado con éxito la automatización y orquestación de tu pipeline de datos. Has aprendido a coordinar la ingesta en Bronze y la transformación analítica en Silver y Gold de forma asíncrona utilizando un motor serverless robusto y tolerante a fallos en Google Cloud. Ya tienes tu plataforma de datos funcionando con un solo clic; el siguiente desafío es implementar metodologías DevOps construyendo un pipeline de CI/CD automatizado con GitHub Actions.