Tu primer Data Lake en Google Cloud con Antigravity paso a paso

Matriz de Decisión: Patrones de Ingesta y Consulta en GCP

Al diseñar la arquitectura de un Data Lake en Google Cloud, elegir entre almacenamiento nativo, virtualización externa o ingesta por lotes define el coste de infraestructura (FinOps) y la latencia analítica:

Antipatrones Comunes y Consideraciones FinOps

Implementación de Producción con Terraform

A continuación se detalla la infraestructura declarativa completa en Terraform generada por el agente de Antigravity para orquestar el bucket de ingesta, el despliegue de la Cloud Function, la programación en Cloud Scheduler y el enlace de la tabla externa en BigQuery:

# 1. Bucket de almacenamiento para la capa Raw del Data Lake
resource "google_storage_bucket" "datalake_bucket" {
  name                     = "demo-datalake-raw-${var.project_id}"
  location                 = var.region
  uniform_bucket_level_access = true
  force_destroy            = true
}

# 2. Dataset analítico en BigQuery
resource "google_bigquery_dataset" "bitcoin_data" {
  dataset_id                  = "bitcoin_data"
  friendly_name               = "Bitcoin Analytics Dataset"
  location                    = var.region
  default_table_expiration_ms = null
}

# 3. BigQuery External Table apuntando a los archivos JSON del Data Lake
resource "google_bigquery_table" "bitcoin_prices_raw" {
  dataset_id = google_bigquery_dataset.bitcoin_data.dataset_id
  table_id   = "bitcoin_prices_raw"

  external_data_configuration {
    autodetect    = true
    source_format = "NEWLINE_DELIMITED_JSON"
    source_uris = [
      "${google_storage_bucket.datalake_bucket.url}/*.json"
    ]
  }

  depends_on = [google_bigquery_dataset.bitcoin_data]
}

# 4. Trigger de ejecución programada con Cloud Scheduler (Ejecución Diaria)
resource "google_cloud_scheduler_job" "daily_trigger" {
  name             = "daily-bitcoin-price-trigger"
  description      = "Orquestador diario de ingesta hacia el Data Lake"
  schedule         = "0 9 * * *" # Todos los días a las 09:00 UTC
  time_zone        = "UTC"
  attempt_deadline = "320s"

  http_target {
    http_method = "POST"
    uri         = google_cloudfunctions2_function.price_fetcher.service_config[0].uri
    
    oidc_token {
      service_account_email = var.service_account_email
    }
  }
}

Patrones de Diseño y Buenas Prácticas

Framework de Despliegue Paso a Paso

1. Definición del Plan con Antigravity: Indicar al agente conversacional el origen de datos (API pública), la arquitectura requerida y los componentes serverless a generar.
2. Generación de Código e IaC: Revisión del main.py (extracción del payload y subida a GCS) y manifiestos de Terraform (Storage, Functions, Scheduler, BigQuery).
3. Despliegue de Infraestructura: Ejecución de terraform init y terraform apply en el proyecto GCP de destino.
4. Backfill y Prueba de Ingesta: Ejecutar el script de carga histórica para poblar el bucket con datos pasados y validar la respuesta en los logs de Cloud Logging.
5. Validación SQL y Cuadro de Mando: Ejecutar consultas SQL en BigQuery sobre la External Table y modelar el gráfico de series temporales en Looker Studio.