Configura Lakehouse entre nubes para Databricks Unity Catalog

En este documento, se describe cómo configurar un lakehouse entre nubes para consultar datos de un catálogo de Databricks Unity Catalog directamente enGoogle Cloud. Esta capacidad unifica tu análisis de datos integrando tus fuentes de datos externas con tu entorno deGoogle Cloud existente.

Luego, puedes usar Lakehouse para Apache Iceberg para administrar el acceso a tus datos federados.

Antes de comenzar

  1. Revisa la descripción general de Lakehouse para comprender cómo Lakehouse administra el acceso a los datos.
  2. Lee Acerca de Lakehouse en varias nubes para comprender cómo funciona.
  3. Revisa los catálogos admitidos para verificar los requisitos de ubicación externa y las configuraciones admitidas.
  4. Comprende cómo usar los secretos regionales de Secret Manager. Esto es necesario para configurar un lakehouse entre nubes con Databricks Unity Catalog.
  5. Genera un principal de servicio de OAuth (ID de cliente y secreto del cliente) dentro de tu proveedor de catálogos remoto que tenga acceso de lectura al catálogo de destino. Este proceso está fuera del alcance de esta documentación.
  6. Opcional: Si planeas enrutar consultas a través de una interconexión privada entre tu VPC de Google Cloud y la VPC de tu proveedor de nube remoto (por ejemplo, AWS), asegúrate de tener una cuenta activa con tu proveedor remoto, aprovisiona una interconexión entre nubes o una interconexión de socio, establece sesiones BGP con tu Cloud Router y verifica que tengas los permisos de IAM necesarios en ambos entornos de nube.
  7. Accede a tu cuenta de Google Cloud . Si eres nuevo en Google Cloud, crea una cuenta para evaluar el rendimiento de nuestros productos en situaciones reales. Los clientes nuevos también obtienen $300 en créditos gratuitos para ejecutar, probar y, además, implementar cargas de trabajo.

  8. Verify that billing is enabled for your Google Cloud project.

  9. Enable the BigLake, Secret Manager APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

  10. Verify that billing is enabled for your Google Cloud project.

  11. Enable the BigLake, Secret Manager APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

    12.

Roles obligatorios

Para obtener los permisos que necesitas para configurar Lakehouse entre nubes, pídele a tu administrador que te otorgue los siguientes roles de IAM en tu proyecto:

  • Administrar catálogos de Lakehouse: Administrador de BigLake (roles/biglake.admin)
  • Administrar secretos: Administrador de Secret Manager (roles/secretmanager.admin)
  • Enruta el tráfico a través de la interconexión privada: Administrador de red de Compute (roles/compute.networkAdmin), Visualizador del Directorio de servicios (roles/servicedirectory.viewer) y Servicio autorizado de PSC del Directorio de servicios (roles/servicedirectory.pscAuthorizedService)

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

También puedes obtener los permisos necesarios a través de roles personalizados o cualquier otro rol predefinido.

Detalles del catálogo admitidos

En esta guía, se proporcionan instrucciones para configurar un Lakehouse en varias nubes con un catálogo de Databricks Unity Catalog en Amazon Web Services (AWS) o Google Cloud. Para obtener información detallada sobre los requisitos de ubicación externa y las configuraciones admitidas, consulta Catálogos admitidos.

Limitaciones y consideraciones

En esta sección, se enumeran las limitaciones y consideraciones para usar Lakehouse entre nubes.

  • Proveedores de servicios en la nube admitidos: El uso de una interconexión privada con tu Lakehouse entre nubes se admite con los siguientes proveedores de servicios en la nube remotos: Amazon Web Services (AWS). Puedes usar Cross-Cloud Interconnect o Partner Interconnect.
  • Solo se admiten los catálogos de Databricks Unity Catalog que usan una ubicación externa en AWS o una ubicación externa en Google Cloud. No se admiten los catálogos de Unity Catalog que usan el almacenamiento predeterminado en AWS o el almacenamiento predeterminado en Google Cloud.
  • Debes habilitar el acceso a datos externos en el metastore que usa Unity Catalog, que está inhabilitado de forma predeterminada.
  • Enrutamiento de red: Si no se configura una interconexión privada (como una CCI propiedad del cliente o una interconexión de socio), las consultas se enrutan a través de Internet pública. Esto puede generar tarifas de salida más altas de tu proveedor de nube remoto y un rendimiento menos predecible.
  • Actualidad de los datos: La marca --refresh-interval del catálogo federado determina la frecuencia con la que se sincronizan los metadatos. Un intervalo más corto proporciona datos más recientes, pero puede generar costos adicionales de la API del proveedor de catálogos remoto.

  • Informes de métricas de Iceberg: Los Informes de métricas de Iceberg no están disponibles para los catálogos federados. Establece la propiedad rest-metrics-reporting-enabled en false en tu cliente de Iceberg cuando accedas a un catálogo federado.

Flujo de trabajo general

Para configurar y usar Lakehouse en varias nubes, sigue estos pasos generales:

  • Configura Cross-Cloud Interconnect (opcional): Configura una conexión privada entre tu VPC Google Cloud y tu proveedor de nube remoto.
  • Configura la federación: Crea un secreto en Secret Manager con tus credenciales del catálogo remoto. Luego, crea un catálogo federado en Lakehouse y otórgale acceso al secreto.
  • Verifica la conexión: Verifica que Lakehouse pueda conectarse correctamente a tu catálogo remoto.
  • Consulta datos: Ejecuta consultas en tus datos federados con BigQuery o Managed Service para Apache Spark. Para obtener más información, consulta Cómo usar un Lakehouse entre nubes.
  • Configura los permisos: Usa Identity and Access Management (IAM) para administrar quién puede ver y consultar los datos federados.

Configura Cross‑Cloud Interconnect (opcional)

De forma predeterminada, las consultas a tu catálogo remoto viajan a través de Internet pública. Para mejorar la seguridad y el cumplimiento, proporcionar un rendimiento predecible y reducir los costos de transferencia de datos, usa una interconexión privada. Esto establece una conexión de red privada y dedicada entre tu Google Cloudnube privada virtual (VPC) y la red de tu proveedor de nube remoto (por ejemplo, AWS).

Puedes aprovisionar y configurar cualquiera de las siguientes opciones de interconexión privada entre tu VPC de Google Cloud y la VPC de tu proveedor de nube remoto (por ejemplo, AWS):

Establece sesiones de BGP entre tu Cloud Router en Google Cloud y la VPC de tu proveedor de servicios en la nube remoto para garantizar el intercambio de rutas.

Para habilitar las consultas privadas, debes configurar una ruta desde el lakehouse hasta tu bucket de almacenamiento remoto (por ejemplo, un bucket de Amazon S3 de AWS) a través de tu interconexión privada. Hay dos flujos arquitectónicos que puedes seguir para configurar este enrutamiento:

  • Enrutamiento del balanceador de cargas de red del proxy interno regional: Este flujo usa un balanceador de cargas de red del proxy interno regionalGoogle Cloud para distribuir las solicitudes entre los grupos de extremos de red (NEG) de conectividad híbrida que apuntan a varias interfaces de red elásticas (ENI) de AWS. Este flujo es esencial para el balanceo de cargas, la escalabilidad y la alta disponibilidad. Es obligatorio para la interconexión de socio y se recomienda para Cross‑Cloud Interconnect para el balanceo de cargas, la escalabilidad y la alta disponibilidad.
  • Enrutamiento directo de extremos: Este flujo conecta el Directorio de servicios directamente a una sola dirección IP del extremo de VPC de la interfaz de AWS. Este flujo solo funciona para Cross‑Cloud Interconnect y no es compatible con interconexión de socio.

Selecciona el flujo de configuración que coincida con tus requisitos de arquitectura:

Balanceador de cargas de red del proxy interno regional

Para configurar un balanceador de cargas de red de proxy interno regional para distribuir solicitudes en varias ENI de AWS para lograr alta disponibilidad y balanceo de cargas, sigue estos pasos:

Configura las redes de AWS

Primero, crea un extremo de interfaz de VPC de Amazon S3 (AWS PrivateLink):

  1. En la consola de VPC de AWS, crea un extremo de interfaz para Amazon S3.
  2. Para el nombre del servicio, especifica com.amazonaws.<var>AWS_REGION</var>.s3.
  3. Selecciona la VPC y las subredes que están conectadas a tu Google Cloud VPC a través de Direct Connect.
  4. Vincula grupos de seguridad al extremo para controlar el acceso entrante.
  5. Esto aprovisiona interfaces de red elásticas (ENI) en cada subred seleccionada. Anota las direcciones IP privadas de estas ENI.

A continuación, configura los grupos de seguridad:

  • Asegúrate de que los grupos de seguridad adjuntos a las ENI del extremo de Amazon S3 permitan el tráfico de TCP entrante en el puerto 443 desde los rangos de IP pertinentes de tu VPC de Google Cloud .

Configurar Google Cloud redes

Sigue las instrucciones para configurar un balanceador de cargas de red de proxy interno regional para extremos híbridos.

Cuando sigas las instrucciones, asegúrate de hacer lo siguiente:

  • Crea NEG de conectividad híbrida (NON_GCP_PRIVATE_IP_PORT) y agrega las direcciones IP privadas de las ENI de AWS que creaste anteriormente.
  • Usa el puerto TCP 443 para los NEG, la verificación de estado y la regla de reenvío.
  • Configura el balanceador de cargas en la misma región Google Cloud que tu catálogo federado.

Después de crear la regla de reenvío para el balanceador de cargas, toma nota de la dirección IP interna que se le asignó. Este es tu ILB_IP_ADDRESS.

Configura el Directorio de servicios

Registra la dirección IP del ILB en Directorio de servicios para que Lakehouse pueda detectarla.

  1. Crea un espacio de nombres para tu nube remota:

    gcloud service-directory namespaces create NAMESPACE \
    --project=PROJECT_ID \
    --location=REGION

    Reemplaza lo siguiente:

    • NAMESPACE: Es un identificador único para tu espacio de nombres.
    • PROJECT_ID: Es el ID del proyecto de Google Cloud .
    • REGION: La Google Cloud región Por ejemplo: us-east4. Debe ser la misma región que la del catálogo federado.

  2. Crea un servicio en el espacio de nombres del Directorio de servicios:

    gcloud service-directory services create SERVICE_NAME \
    --namespace=NAMESPACE \
    --project=PROJECT_ID \
    --location=REGION

    Reemplaza lo siguiente:

    • SERVICE_NAME: Es un identificador único para tu servicio.

  3. Crea un extremo para el ILB en el servicio:

    gcloud service-directory endpoints create ENDPOINT_NAME \
    --project=PROJECT_ID \
    --namespace=NAMESPACE \
    --service=SERVICE_NAME \
    --location=REGION \
    --network=projects/PROJECT_NUMBER/global/networks/VPC_NETWORK \
    --address=ILB_IP_ADDRESS \
    --port=443

    Reemplaza lo siguiente:

    • ENDPOINT_NAME: Es un identificador único para tu extremo.
    • PROJECT_NUMBER: Es el número de tu proyecto de Google Cloud. Usa el número de tu proyecto en la marca --network.
    • ILB_IP_ADDRESS: Es la dirección IP interna de tu regla de reenvío del ILB.

Extremo directo

Para configurar el Directorio de servicios de modo que enrute el tráfico directamente a una sola dirección IP del extremo de VPC de la interfaz de AWS, sigue estos pasos:

  1. Crea un extremo de VPC de interfaz para Amazon S3 dentro de tu VPC de AWS. Anota la dirección IP y el puerto de este extremo.

  2. Crea un espacio de nombres para tu nube remota:

    gcloud service-directory namespaces create NAMESPACE \
    --project=PROJECT_ID \
    --location=REGION

    Reemplaza lo siguiente:

    • NAMESPACE: Es un identificador único para tu espacio de nombres.
    • PROJECT_ID: Es el ID del proyecto de Google Cloud .
    • REGION: La Google Cloud región Por ejemplo: us-east4. Debe ser la misma región que la del catálogo federado.

  3. Crea un servicio en el espacio de nombres del Directorio de servicios:

    gcloud service-directory services create SERVICE_NAME \
    --namespace=NAMESPACE \
    --project=PROJECT_ID \
    --location=REGION

    Reemplaza lo siguiente:

    • SERVICE_NAME: Es un identificador único para tu servicio.

  4. Crea un extremo en el servicio que contenga la información de enrutamiento para tu extremo de VPC de interfaz de Amazon S3:

    gcloud service-directory endpoints create ENDPOINT_NAME \
    --service=SERVICE_NAME \
    --namespace=NAMESPACE \
    --project=PROJECT_ID \
    --location=REGION \
    --address=S3_VPCE_IP_ADDRESS \
    --port=S3_VPCE_PORT \
    --network=projects/PROJECT_NUMBER/global/networks/VPC_NETWORK

    Reemplaza lo siguiente:

    • ENDPOINT_NAME: Es un identificador único para tu extremo.
    • S3_VPCE_IP_ADDRESS: La dirección IP de tu extremo de VPC de la interfaz de Amazon S3. Por ejemplo, 10.0.1.45
    • S3_VPCE_PORT: Es el número de puerto de tu extremo de VPC de la interfaz de Amazon S3. Por ejemplo, 443
    • PROJECT_NUMBER: Es el número de tu proyecto de Google Cloud. Usa el número de tu proyecto en la marca --network.
    • VPC_NETWORK: Es el nombre de la red de VPC Google Cloud asociada con tu interconexión privada.

Configura la federación

Para consultar tus datos, debes configurar un catálogo federado de Lakehouse que se conecte a tu catálogo remoto.

Crea un secreto regional

La federación requiere credenciales para acceder al catálogo remoto. Lakehouse usa secretos regionales de Secret Manager para almacenar y recuperar de forma segura estas credenciales y autenticarse con tu proveedor remoto.

En el caso de Databricks, debes crear un principal de servicio en tu cuenta de Databricks y generar un ID de cliente y un secreto del cliente de OAuth. Verifica que este principal de servicio tenga acceso de lectura al catálogo de Unity Catalog de destino. Luego, debes darles formato a estas credenciales como una carga útil JSON para almacenarlas en Secret Manager.

  1. Crea un archivo JSON llamado credentials.json con tu carga útil:

    {
  "client_id": "CLIENT_ID",
  "client_secret": "CLIENT_SECRET"
}

    Reemplaza lo siguiente:

    • CLIENT_ID: Es el ID de cliente de OAuth para tu principal del servicio de Databricks.
    • CLIENT_SECRET: Es el secreto del cliente de OAuth para tu principal de servicio de Databricks.

  2. Configura el extremo regional para Secret Manager:

    De forma predeterminada, Secret Manager usa un extremo global. Sin embargo, Lakehouse entre nubes requiere que tus secretos se almacenen en la misma región que tu catálogo de Lakehouse. Para interactuar con secretos regionales usando la CLI de gcloud, debes anular el extremo de la API predeterminado para tu sesión o perfil actual. Para evitar problemas de conectividad, tu secreto y tu catálogo deben crearse en la misma región. Por ejemplo, secretmanager.us-east4.rep.googleapis.com.

    gcloud config set api_endpoint_overrides/secretmanager https://secretmanager.REGION.rep.googleapis.com/

    Reemplaza lo siguiente:

    • REGION: Es la región de Google Cloud en la que se almacena tu secreto de Secret Manager. Por ejemplo, us-east4. Para evitar problemas de conectividad, tu secreto y tu catálogo deben crearse en la misma región. Por ejemplo, secretmanager.us-east4.rep.googleapis.com

  3. Sube la carga útil a Secret Manager:

    gcloud secrets create DATABRICKS_SECRET_NAME \
  --location="REGION" \
  --project="PROJECT_ID" \
  --data-file=credentials.json

    Reemplaza lo siguiente:

    • DATABRICKS_SECRET_NAME: Es el nombre del secreto de Databricks.

Crea un catálogo federado

Crea el catálogo federado con el comando gcloud biglake iceberg catalogs create.

Console

  1. En la consola de Google Cloud , ve a Lakehouse.

    Ir a Lakehouse

  2. Haz clic en Crear catálogo.

  3. Haz clic en Catálogo federado.

    Aparecerán los detalles de la Configuración del catálogo.

  4. En Federated catalog source, selecciona Unity (Databricks).

  5. En Ubicación de los datos, selecciona la región de Lakehouse en la que deseas crear el catálogo federado. Por ejemplo, us-east4 Para minimizar la latencia (incluso a través de Internet pública), haz lo siguiente cuando selecciones una región:

    • Si tu catálogo de Unity Catalog está en AWS, selecciona la región deGoogle Cloud más cercana a tu región de AWS.
    • Si tu catálogo de Unity Catalog está activado Google Cloud, selecciona la misma región exacta.

  6. Haz clic en Continuar.

    Aparecerán los detalles de Detalles de la conexión.

  7. En la sección Detalles del catálogo remoto, en el campo Nombre de la instancia de Unity, ingresa el nombre de la instancia de Databricks de destino. Por ejemplo: abcd.cloud.databricks.com.

  8. En el campo Nombre del catálogo de Unity, ingresa el nombre del catálogo de Unity Catalog de Databricks de destino con el que se federará.

  9. En la sección Autenticación y red, en el campo Secreto, ingresa el nombre de tu secreto de Databricks. Usa el siguiente formato: projects/PROJECT_ID/locations/REGION/secrets/DATABRICKS_SECRET_NAME.

  10. Opcional: En el campo Nombre del directorio de servicios, ingresa la ruta de acceso a tu servicio del Directorio de servicios. Por ejemplo: projects/PROJECT_ID/locations/REGION/namespaces/NAMESPACE/services/SERVICE_NAME. Solo se requiere si configuras Cross‑Cloud Interconnect.

  11. Haz clic en Crear.

gcloud CLI

Internet pública (sin CCI)

Si no configuras la CCI, la conexión viajará de forma segura a través de la Internet pública.

gcloud biglake iceberg catalogs create FEDERATED_CATALOG_NAME \
    --project="PROJECT_ID" \
    --primary-location="REGION" \
    --catalog-type="federated" \
    --federated-catalog-type="unity" \
    --secret-name="projects/PROJECT_ID/locations/REGION/secrets/DATABRICKS_SECRET_NAME" \
    --unity-instance-name="UNITY_INSTANCE_NAME" \
    --unity-catalog-name="UNITY_CATALOG_NAME" \
    --refresh-interval="REFRESH_INTERVAL" \
    --namespace-filters="NAMESPACE_FILTERS"

Reemplaza lo siguiente:

  • PROJECT_ID: Es el ID del proyecto de Google Cloud .
  • REGION: Es la región de Lakehouse en la que se crea el catálogo federado. Por ejemplo, us-east4 Para minimizar la latencia, haz lo siguiente cuando selecciones una región:
    • Si tu catálogo de Unity Catalog está en AWS, selecciona la región deGoogle Cloud más cercana a tu región de AWS.
    • Si tu catálogo de Unity Catalog está activado Google Cloud, selecciona la misma región exacta.
  • DATABRICKS_SECRET_NAME: Es el nombre de tu secreto de Databricks.
  • UNITY_INSTANCE_NAME: Es el nombre de tu instancia de Databricks de destino. Por ejemplo: abcd.cloud.databricks.com.
  • UNITY_CATALOG_NAME: Es el nombre del catálogo de Databricks Unity Catalog de destino con el que se federará.
  • REFRESH_INTERVAL: Especifica con qué frecuencia se actualiza la información del catálogo. Establece este valor como una duración, por ejemplo, 330s o 5m30s. Los intervalos más cortos actualizan los datos con mayor frecuencia, pero pueden costar más en llamadas a la API. Los intervalos más largos pueden costar menos, pero es posible que los datos consultados no reflejen tu conjunto de datos más actual. Si se omite o si estableces el valor en 0s, se inhabilitarán las actualizaciones.
  • NAMESPACE_FILTERS: Opcional: Es una lista separada por comas de los espacios de nombres que se federarán. Por ejemplo, ns1,ns2 Si se omite, se incluirán todos los espacios de nombres.

Propiedad del cliente (CCI)

Si configuraste una interconexión privada (como CCI dedicada o interconexión de socio), proporciona la referencia del servicio de Directorio de servicios para que Lakehouse enrute el tráfico de forma privada.

gcloud biglake iceberg catalogs create FEDERATED_CATALOG_NAME \
    --project="PROJECT_ID" \
    --primary-location="REGION" \
    --catalog-type="federated" \
    --federated-catalog-type="unity" \
    --secret-name="projects/PROJECT_ID/locations/REGION/secrets/DATABRICKS_SECRET_NAME" \
    --unity-instance-name="UNITY_INSTANCE_NAME" \
    --unity-catalog-name="UNITY_CATALOG_NAME" \
    --refresh-interval="REFRESH_INTERVAL" \
    --namespace-filters="NAMESPACE_FILTERS" \
    --service-directory-name="projects/PROJECT_ID/locations/REGION/namespaces/NAMESPACE/services/SERVICE_NAME"

Reemplaza lo siguiente:

  • PROJECT_ID: Es el ID del proyecto de Google Cloud .
  • PROJECT_NUMBER: Es el número de tu proyecto de Google Cloud .
  • REGION: Es la región de Lakehouse en la que se crea el catálogo federado. Por ejemplo, us-east4 Para minimizar la latencia, haz lo siguiente cuando selecciones una región:
    • Si tu catálogo de Unity Catalog está en AWS, selecciona la región deGoogle Cloud más cercana a tu región de AWS.
    • Si tu catálogo de Unity Catalog está en Google Cloud, selecciona la misma región exacta. Nota: Debe ser la misma región que el espacio de nombres y el secreto regional de Directorio de servicios.
  • DATABRICKS_SECRET_NAME: Es el nombre de tu secreto de Databricks.
  • UNITY_INSTANCE_NAME: Es el nombre de tu instancia de Databricks de destino. Por ejemplo: abcd.cloud.databricks.com.
  • UNITY_CATALOG_NAME: Es el nombre del catálogo de Databricks Unity Catalog de destino con el que se federará.
  • REFRESH_INTERVAL: Especifica con qué frecuencia se actualiza la información del catálogo. Establece este valor como una duración, por ejemplo, 330s o 5m30s. Los intervalos más cortos actualizan los datos con mayor frecuencia, pero pueden costar más en llamadas a la API. Los intervalos más largos pueden costar menos, pero es posible que los datos consultados no reflejen tu conjunto de datos más actual. Si se omite o si estableces el valor en 0s, se inhabilitarán las actualizaciones.
  • NAMESPACE_FILTERS: Opcional: Es una lista separada por comas de los espacios de nombres que se federarán. Por ejemplo, ns1,ns2 Si se omite, se incluirán todos los espacios de nombres.
  • NAMESPACE: Es el espacio de nombres del Directorio de servicios que creaste durante la configuración de la interconexión privada.
  • SERVICE_NAME: Es el nombre del servicio de Directorio de servicios que creaste durante la configuración de la interconexión privada.

Otorga acceso al catálogo federado al secreto

Cuando se crea el catálogo, Lakehouse aprovisiona una cuenta de servicio única para él (se muestra como biglake-service-account en la descripción del recurso).

Debes otorgarle permiso a esta cuenta de servicio para acceder al secreto que creaste anteriormente en este instructivo. Ten en cuenta que la propagación de las políticas de IAM puede tardar unos minutos.

Otorga permiso a la cuenta de servicio del catálogo para acceder al secreto.

# Required to use regional secrets
gcloud config set api_endpoint_overrides/secretmanager https://secretmanager.REGION.rep.googleapis.com/
gcloud secrets add-iam-policy-binding DATABRICKS_SECRET_NAME \
  --project="PROJECT_ID" \
  --location="REGION" \
  --member="serviceAccount:$(gcloud biglake iceberg catalogs describe FEDERATED_CATALOG_NAME \
      --project="PROJECT_ID" \
      --location="REGION" \
      --format='value(biglake-service-account)')" \
  --role="roles/secretmanager.secretAccessor"

Verifica la conexión

Para verificar que la cuenta de servicio del catálogo federado tenga acceso al secreto, ejecuta el siguiente comando:

# Required to use regional secrets
gcloud config set api_endpoint_overrides/secretmanager https://secretmanager.REGION.rep.googleapis.com/
gcloud secrets get-iam-policy DATABRICKS_SECRET_NAME \
     --project="PROJECT_ID" \
     --location="REGION"

En el resultado, verifica que la cuenta de servicio biglake-service-account tenga asignado el rol roles/secretmanager.secretAccessor.

A continuación, verifica que el ciclo de actualización en segundo plano del catálogo se haya completado correctamente y que los espacios de nombres se estén sincronizando.

  1. Verifica que el estado de actualización indique que se realizó correctamente:

    gcloud biglake iceberg catalogs describe FEDERATED_CATALOG_NAME \
  --project="PROJECT_ID" \
  --location="REGION"

  2. Confirma que las bases de datos remotas aparezcan como espacios de nombres sincronizados:

    gcloud biglake iceberg namespaces list \
  --catalog="FEDERATED_CATALOG_NAME" \
  --project="PROJECT_ID" \
  --location="REGION"

¿Qué sigue?