Descripción general de la venta de credenciales

El modo de venta de credenciales en el catálogo de entornos de ejecución de Lakehouse te permite delegar el acceso de Cloud Storage a los motores de consulta y aplicar políticas de Identity and Access Management (IAM) detalladas a nivel de catálogo, espacio de nombres y tabla para las tablas de Apache Iceberg. En lugar de otorgar permisos directos de bucket, configuras el extremo del catálogo de REST de Apache Iceberg para que venda tokens de almacenamiento de corta duración y con permisos reducidos para las rutas de tablas autorizadas. Este modo también es necesario para la administración automática de tablas.

Cuándo usar la venta de credenciales

A continuación, se muestran algunos casos de uso comunes:

  • Aplica el acceso a nivel de tabla sin roles a nivel de bucket: otorga a los analistas y las cargas de trabajo acceso a tablas específicas de Apache Iceberg, a la vez que evitas el acceso directo a los buckets de Cloud Storage subyacentes o a los directorios de tablas relacionadas.
  • Centraliza la administración de acceso en varios motores de consulta: Aplica políticas de IAM coherentes en BigQuery, Managed Service para Apache Spark, Apache Spark de código abierto y Trino con tokens de corta duración con alcance de ruta de acceso.
  • Aísla los buckets de almacén dentro de un perímetro de servicio: Almacena los datos de las tablas en buckets de Cloud Storage protegidos por los Controles del servicio de VPC mientras autorizas las lecturas y escrituras de almacenamiento a través de una sola cuenta de servicio de extremo de catálogo.

Cómo funciona la venta de credenciales

Cuando usas el modo de venta de credenciales, la secuencia de operaciones aplica las políticas de IAM antes de que se acceda al almacenamiento. En el siguiente diagrama, se ilustra cómo los motores de consulta obtienen tokens de almacenamiento con permisos reducidos del catálogo de tiempo de ejecución de Lakehouse para leer y escribir datos de forma segura directamente en Cloud Storage:

Los motores de consulta obtienen tokens de almacenamiento con permisos reducidos del catálogo de tiempo de ejecución de Lakehouse para leer y escribir datos en Cloud Storage.
Flujo de trabajo de venta de credenciales que delega el acceso a Cloud Storage.

La secuencia de operaciones que se muestra en el diagrama anterior es la siguiente:

  1. Solicitud: Un usuario envía una instrucción de SQL, como una consulta, una operación de DML o DDL, a un motor compatible, como Spark o BigQuery.
  2. Búsqueda de metadatos: El motor envía una solicitud al catálogo de tiempo de ejecución de Lakehouse para resolver la tabla.
  3. Autenticación y política: El catálogo de tiempo de ejecución de Lakehouse autentica al usuario y verifica sus permisos de IAM en los recursos de Lakehouse.
  4. Respuesta: Debido a que el modo de venta de credenciales está habilitado, el catálogo de tiempo de ejecución de Lakehouse devuelve los metadatos y un token de almacenamiento de corta duración (credenciales de almacenamiento con alcance reducido) al motor. El token tiene como alcance las rutas asociadas con la tabla y se reduce a los permisos mínimos requeridos (por ejemplo, acceso de solo lectura para consultas que no necesitan escribir archivos).
  5. Acceso: El motor usa este token para leer o escribir los archivos autorizados específicos directamente desde Cloud Storage.
  6. Procesamiento: El motor procesa los datos o ejecuta la operación, y devuelve los resultados.

Cuando se habilita la administración automática de tablas (gcp.biglake.table-management.enabled), las tareas de mantenimiento en segundo plano, como la compactación, el vencimiento de las instantáneas y la recolección de elementos no utilizados, usan la cuenta de servicio aprovisionada automáticamente del catálogo para autenticarse directamente en Cloud Storage y actualizar los archivos de datos subyacentes.

Motores compatibles

Para usar la venta de credenciales con motores de consulta, debes configurar el extremo del catálogo de REST de Apache Iceberg en tu catálogo de tiempo de ejecución de Lakehouse en el modo de venta de credenciales. La venta de credenciales no se admite para los extremos del catálogo de Apache Hive.

  • Motores de código abierto: Los motores compatibles, como Spark y Trino, usan tokens de almacenamiento de corta duración que vende el catálogo de entorno de ejecución de Lakehouse. Tu aplicación cliente debe especificar la compatibilidad con la venta de credenciales en el encabezado X-Iceberg-Access-Delegation.
  • BigQuery: BigQuery usa credenciales vendidas para el acceso a Cloud Storage en lugar de credenciales de usuario final.

Roles obligatorios

Para garantizar que la cuenta de servicio del extremo del catálogo aprovisionada automáticamente tenga los permisos necesarios para leer y escribir datos de tablas en el modo de venta de credenciales, pídele a tu administrador que otorgue los siguientes roles de IAM a la cuenta de servicio del extremo del catálogo aprovisionada automáticamente:

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

Es posible que tu administrador también pueda otorgar a la cuenta de servicio del extremo del catálogo aprovisionada automáticamente los permisos necesarios a través de roles personalizados o de otros roles predefinidos.

Para garantizar que la cuenta de servicio que ejecuta tus trabajos del motor de consultas tenga los permisos necesarios para obtener credenciales vendidas con permiso de escritura, pídele a tu administrador que otorgue los siguientes roles de IAM a la cuenta de servicio que ejecuta tus trabajos del motor de consultas:

  • Obtén credenciales vendidas con permiso de escritura de los trabajos del motor de consultas (como Managed Service para Apache Spark o Dataflow): Editor de BigLake (roles/biglake.editor) en el catálogo, el espacio de nombres, la tabla o el proyecto

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

Es posible que tu administrador también pueda otorgar a la cuenta de servicio que ejecuta tus trabajos del motor de consultas los permisos necesarios a través de roles personalizados o de otros roles predefinidos.

Si usas la consola de Google Cloud , haz clic en Establecer permisos del bucket para verificar el rol de usuario de objetos de almacenamiento (roles/storage.objectUser) en los buckets asociados. Para Google Cloud CLI, Terraform o la API de REST, debes otorgar este rol a la cuenta de servicio del extremo del catálogo aprovisionada automáticamente de forma manual.

La creación de la cuenta de servicio del extremo del catálogo aprovisionado automáticamente es coherente de forma eventual. La cuenta de servicio tarda un tiempo en propagarse por el sistema. Si intentas otorgar roles a la cuenta de servicio inmediatamente después de crearla, es posible que la solicitud falle. Para obtener más información sobre cuánto tiempo tardan, en promedio, en propagarse los cambios de acceso, consulta Propagación de cambios de acceso.

Protección de venta de credenciales para tablas protegidas por FGAC

Cuando las políticas de datos a nivel de fila o de columna (control de acceso detallado o FGAC) protegen una tabla de Apache Iceberg en un catálogo que usa el modo de venta de credenciales, el acceso directo a los archivos de Cloud Storage omite la evaluación de políticas en el momento de la consulta en BigQuery.

Para evitar la exposición no autorizada de datos, el extremo del catálogo de REST de Apache Iceberg devuelve un código de estado HTTP 403 Forbidden para las solicitudes de venta de credenciales en tablas protegidas por FGAC, a menos que la principal que realiza la llamada tenga acceso completo a la tabla:

  • Acceso a datos sin enmascarar (sin procesar) a todas las columnas protegidas: Cada columna protegida de la tabla también debe tener un RAW_DATA_ACCESS_POLICY adjunto. Otorga a la principal que realiza la llamada el privilegio FINE_GRAINED_READ en esa política de datos de RAW_DATA_ACCESS_POLICY con su identificador de principal de IAM v2 (como principal://iam.googleapis.com/projects/-/serviceAccounts/SA_EMAIL).
  • Acceso a filas sin filtrar (todas las filas): Si la tabla tiene políticas de acceso a nivel de fila adjuntas, otorga al principal que realiza la llamada una política de acceso a nivel de fila que tenga una cláusula FILTER USING (TRUE).

Si quieres configurar una cuenta de servicio para leer o escribir en una tabla protegida por FGAC desde motores de código abierto (como Spark, Trino o Apache Flink), consulta Configura las credenciales del motor de código abierto para tablas protegidas por FGAC.

Usa los Controles del servicio de VPC con la venta de credenciales

Cuando usas el extremo del catálogo de REST de Apache Iceberg en el modo de venta de credenciales con buckets de Cloud Storage dentro de un perímetro de servicio de Controles del servicio de VPC, puedes admitir los siguientes casos de uso:

  • Crea y modifica tablas de Apache Iceberg en buckets protegidos: Ejecuta sentencias CREATE TABLE o DML desde BigQuery, Managed Service para Apache Spark, Spark o Trino cuando los buckets de almacén residen dentro de un perímetro de servicio.
  • Delega lecturas de tablas detalladas dentro de un perímetro de almacenamiento: Aplica políticas de IAM a nivel de tabla con tokens de almacenamiento de corta duración y con permisos reducidos sin otorgar a los usuarios finales ni a los entornos de ejecución de consultas roles de IAM directos en los buckets protegidos por el perímetro.

En el modo de venta de credenciales, los motores de consulta y Lakehouse se autentican en Cloud Storage con las credenciales emitidas para la cuenta de servicio aprovisionada automáticamente del extremo del catálogo (blirc-PROJECT_NUMBER-ID@gcp-sa-biglakerestcatalog.iam.gserviceaccount.com). Debido a que este agente de servicio pertenece a un proyecto administrado por Google fuera de tu perímetro de servicio, Cloud Storage evalúa las solicitudes autenticadas con sus credenciales como entrada de perímetro cada vez que el perímetro del proyecto del bucket restringe storage.googleapis.com. Esta evaluación se aplica incluso cuando el extremo del catálogo, el trabajo de consulta y el bucket se encuentran en el mismo proyecto y perímetro de servicio.

Para permitir el acceso, configura una regla de entrada en Access Context Manager en el perímetro que protege el proyecto del bucket con los siguientes parámetros de configuración:

  • Identidad de origen: serviceAccount:blirc-PROJECT_NUMBER-ID@gcp-sa-biglakerestcatalog.iam.gserviceaccount.com
  • Proyecto de destino: El proyecto del bucket (projects/BUCKET_PROJECT_NUMBER)
  • Servicio: storage.googleapis.com con todos los métodos ('*') o métodos de servicio admitidos específicos

En el siguiente ejemplo de ingress.yaml, se permite que la cuenta de servicio del extremo del catálogo acceda a storage.googleapis.com en el proyecto del bucket:

- ingressFrom:
    identities:
    - serviceAccount:CATALOG_ENDPOINT_SERVICE_ACCOUNT
    sources:
    - accessLevel: '*'
  ingressTo:
    operations:
    - serviceName: storage.googleapis.com
      methodSelectors:
      - method: '*'
    resources:
    - projects/BUCKET_PROJECT_NUMBER

Reemplaza lo siguiente:

  • CATALOG_ENDPOINT_SERVICE_ACCOUNT: Es la dirección de correo electrónico de la cuenta de servicio aprovisionada automáticamente del extremo del catálogo (blirc-PROJECT_NUMBER-ID@gcp-sa-biglakerestcatalog.iam.gserviceaccount.com). Para recuperar esta dirección de correo electrónico, describe el extremo del catálogo:

    gcloud biglake iceberg catalogs describe CATALOG_ID \
        --project=PROJECT_ID \
        --format='value(biglake-service-account)'
    

    En este comando, CATALOG_ID es el ID de tu extremo de catálogo y PROJECT_ID es el ID del proyecto que contiene el extremo de catálogo.

  • BUCKET_PROJECT_NUMBER: Es el número numérico del proyecto que contiene el bucket de Cloud Storage.

Si los Controles del servicio de VPC bloquean una solicitud de creación de tabla o de consulta, el mensaje de error incluye un valor vpcServiceControlsUniqueIdentifier. Busca registros de auditoría de política denegada en los Registros de auditoría de Cloud haciendo coincidir protoPayload.metadata.vpcServiceControlsUniqueId con ese identificador, y, luego, inspecciona ingressViolations para la principal blirc-.... Para obtener más información, consulta Recupera errores de los Controles del servicio de VPC a partir de los registros de auditoría.

¿Qué sigue?