El modo de venta de credenciales en el catálogo de entornos de ejecución de Lakehouse te permite delegar el acceso de Cloud Storage a los motores de consulta y aplicar políticas de Identity and Access Management (IAM) detalladas a nivel de catálogo, espacio de nombres y tabla para las tablas de Apache Iceberg. En lugar de otorgar permisos directos de bucket, configuras el extremo del catálogo de REST de Apache Iceberg para que venda tokens de almacenamiento de corta duración y con permisos reducidos para las rutas de tablas autorizadas. Este modo también es necesario para la administración automática de tablas.
Cuándo usar la venta de credenciales
A continuación, se muestran algunos casos de uso comunes:
- Aplica el acceso a nivel de tabla sin roles a nivel de bucket: otorga a los analistas y las cargas de trabajo acceso a tablas específicas de Apache Iceberg, a la vez que evitas el acceso directo a los buckets de Cloud Storage subyacentes o a los directorios de tablas relacionadas.
- Centraliza la administración de acceso en varios motores de consulta: Aplica políticas de IAM coherentes en BigQuery, Managed Service para Apache Spark, Apache Spark de código abierto y Trino con tokens de corta duración con alcance de ruta de acceso.
- Aísla los buckets de almacén dentro de un perímetro de servicio: Almacena los datos de las tablas en buckets de Cloud Storage protegidos por los Controles del servicio de VPC mientras autorizas las lecturas y escrituras de almacenamiento a través de una sola cuenta de servicio de extremo de catálogo.
Cómo funciona la venta de credenciales
Cuando usas el modo de venta de credenciales, la secuencia de operaciones aplica las políticas de IAM antes de que se acceda al almacenamiento. En el siguiente diagrama, se ilustra cómo los motores de consulta obtienen tokens de almacenamiento con permisos reducidos del catálogo de tiempo de ejecución de Lakehouse para leer y escribir datos de forma segura directamente en Cloud Storage:
La secuencia de operaciones que se muestra en el diagrama anterior es la siguiente:
- Solicitud: Un usuario envía una instrucción de SQL, como una consulta, una operación de DML o DDL, a un motor compatible, como Spark o BigQuery.
- Búsqueda de metadatos: El motor envía una solicitud al catálogo de tiempo de ejecución de Lakehouse para resolver la tabla.
- Autenticación y política: El catálogo de tiempo de ejecución de Lakehouse autentica al usuario y verifica sus permisos de IAM en los recursos de Lakehouse.
- Respuesta: Debido a que el modo de venta de credenciales está habilitado, el catálogo de tiempo de ejecución de Lakehouse devuelve los metadatos y un token de almacenamiento de corta duración (credenciales de almacenamiento con alcance reducido) al motor. El token tiene como alcance las rutas asociadas con la tabla y se reduce a los permisos mínimos requeridos (por ejemplo, acceso de solo lectura para consultas que no necesitan escribir archivos).
- Acceso: El motor usa este token para leer o escribir los archivos autorizados específicos directamente desde Cloud Storage.
- Procesamiento: El motor procesa los datos o ejecuta la operación, y devuelve los resultados.
Cuando se habilita la administración automática de tablas (gcp.biglake.table-management.enabled), las tareas de mantenimiento en segundo plano, como la compactación, el vencimiento de las instantáneas y la recolección de elementos no utilizados, usan la cuenta de servicio aprovisionada automáticamente del catálogo para autenticarse directamente en Cloud Storage y actualizar los archivos de datos subyacentes.
Motores compatibles
Para usar la venta de credenciales con motores de consulta, debes configurar el extremo del catálogo de REST de Apache Iceberg en tu catálogo de tiempo de ejecución de Lakehouse en el modo de venta de credenciales. La venta de credenciales no se admite para los extremos del catálogo de Apache Hive.
- Motores de código abierto: Los motores compatibles, como
Spark y Trino, usan tokens de almacenamiento de corta duración que vende
el catálogo de entorno de ejecución de Lakehouse. Tu aplicación cliente
debe especificar la compatibilidad con la venta de credenciales en el
encabezado
X-Iceberg-Access-Delegation. - BigQuery: BigQuery usa credenciales vendidas para el acceso a Cloud Storage en lugar de credenciales de usuario final.
Roles obligatorios
Para garantizar que la cuenta de servicio del extremo del catálogo aprovisionada automáticamente tenga los permisos necesarios para leer y escribir datos de tablas en el modo de venta de credenciales, pídele a tu administrador que otorgue los siguientes roles de IAM a la cuenta de servicio del extremo del catálogo aprovisionada automáticamente:
-
Lee y escribe datos de tablas en Cloud Storage:
Usuario de objetos de almacenamiento (
roles/storage.objectUser) en todos los buckets de Cloud Storage asociados
Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.
Es posible que tu administrador también pueda otorgar a la cuenta de servicio del extremo del catálogo aprovisionada automáticamente los permisos necesarios a través de roles personalizados o de otros roles predefinidos.
Para garantizar que la cuenta de servicio que ejecuta tus trabajos del motor de consultas tenga los permisos necesarios para obtener credenciales vendidas con permiso de escritura, pídele a tu administrador que otorgue los siguientes roles de IAM a la cuenta de servicio que ejecuta tus trabajos del motor de consultas:
-
Obtén credenciales vendidas con permiso de escritura de los trabajos del motor de consultas (como Managed Service para Apache Spark o Dataflow):
Editor de BigLake (
roles/biglake.editor) en el catálogo, el espacio de nombres, la tabla o el proyecto
Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.
Es posible que tu administrador también pueda otorgar a la cuenta de servicio que ejecuta tus trabajos del motor de consultas los permisos necesarios a través de roles personalizados o de otros roles predefinidos.
Si usas la consola de Google Cloud , haz clic en Establecer permisos del bucket
para verificar el rol de usuario de objetos de almacenamiento (roles/storage.objectUser) en los
buckets asociados. Para Google Cloud CLI, Terraform o la API de REST,
debes otorgar este rol a la cuenta de servicio del extremo del catálogo aprovisionada automáticamente
de forma manual.
La creación de la cuenta de servicio del extremo del catálogo aprovisionado automáticamente es coherente de forma eventual. La cuenta de servicio tarda un tiempo en propagarse por el sistema. Si intentas otorgar roles a la cuenta de servicio inmediatamente después de crearla, es posible que la solicitud falle. Para obtener más información sobre cuánto tiempo tardan, en promedio, en propagarse los cambios de acceso, consulta Propagación de cambios de acceso.
Protección de venta de credenciales para tablas protegidas por FGAC
Cuando las políticas de datos a nivel de fila o de columna (control de acceso detallado o FGAC) protegen una tabla de Apache Iceberg en un catálogo que usa el modo de venta de credenciales, el acceso directo a los archivos de Cloud Storage omite la evaluación de políticas en el momento de la consulta en BigQuery.
Para evitar la exposición no autorizada de datos, el extremo del catálogo de REST de Apache Iceberg
devuelve un código de estado HTTP 403 Forbidden para las solicitudes de venta de credenciales en
tablas protegidas por FGAC, a menos que la principal que realiza la llamada tenga acceso completo a la
tabla:
- Acceso a datos sin enmascarar (sin procesar) a todas las columnas protegidas: Cada columna protegida
de la tabla también debe tener un
RAW_DATA_ACCESS_POLICYadjunto. Otorga a la principal que realiza la llamada el privilegioFINE_GRAINED_READen esa política de datos deRAW_DATA_ACCESS_POLICYcon su identificador de principal de IAM v2 (comoprincipal://iam.googleapis.com/projects/-/serviceAccounts/SA_EMAIL). - Acceso a filas sin filtrar (todas las filas): Si la tabla tiene políticas de acceso a nivel de fila
adjuntas, otorga al principal que realiza la llamada una política de acceso a nivel de fila
que tenga una cláusula
FILTER USING (TRUE).
Si quieres configurar una cuenta de servicio para leer o escribir en una tabla protegida por FGAC desde motores de código abierto (como Spark, Trino o Apache Flink), consulta Configura las credenciales del motor de código abierto para tablas protegidas por FGAC.
Usa los Controles del servicio de VPC con la venta de credenciales
Cuando usas el extremo del catálogo de REST de Apache Iceberg en el modo de venta de credenciales con buckets de Cloud Storage dentro de un perímetro de servicio de Controles del servicio de VPC, puedes admitir los siguientes casos de uso:
- Crea y modifica tablas de Apache Iceberg en buckets protegidos: Ejecuta
sentencias
CREATE TABLEo DML desde BigQuery, Managed Service para Apache Spark, Spark o Trino cuando los buckets de almacén residen dentro de un perímetro de servicio. - Delega lecturas de tablas detalladas dentro de un perímetro de almacenamiento: Aplica políticas de IAM a nivel de tabla con tokens de almacenamiento de corta duración y con permisos reducidos sin otorgar a los usuarios finales ni a los entornos de ejecución de consultas roles de IAM directos en los buckets protegidos por el perímetro.
En el modo de venta de credenciales, los motores de consulta y Lakehouse
se autentican en Cloud Storage con las credenciales emitidas para la cuenta de servicio aprovisionada automáticamente
del extremo del catálogo
(blirc-PROJECT_NUMBER-ID@gcp-sa-biglakerestcatalog.iam.gserviceaccount.com).
Debido a que este agente de servicio pertenece a un proyecto administrado por Google fuera de tu
perímetro de servicio, Cloud Storage evalúa las solicitudes autenticadas con
sus credenciales como entrada de perímetro cada vez que el perímetro del proyecto del bucket
restringe storage.googleapis.com. Esta evaluación se aplica incluso cuando el
extremo del catálogo, el trabajo de consulta y el bucket se encuentran en el mismo proyecto y perímetro de
servicio.
Para permitir el acceso, configura una regla de entrada en Access Context Manager en el perímetro que protege el proyecto del bucket con los siguientes parámetros de configuración:
- Identidad de origen:
serviceAccount:blirc-PROJECT_NUMBER-ID@gcp-sa-biglakerestcatalog.iam.gserviceaccount.com - Proyecto de destino: El proyecto del bucket
(
projects/BUCKET_PROJECT_NUMBER) - Servicio:
storage.googleapis.comcon todos los métodos ('*') o métodos de servicio admitidos específicos
En el siguiente ejemplo de ingress.yaml, se permite que la cuenta de servicio del extremo del catálogo
acceda a storage.googleapis.com en el proyecto del bucket:
- ingressFrom:
identities:
- serviceAccount:CATALOG_ENDPOINT_SERVICE_ACCOUNT
sources:
- accessLevel: '*'
ingressTo:
operations:
- serviceName: storage.googleapis.com
methodSelectors:
- method: '*'
resources:
- projects/BUCKET_PROJECT_NUMBER
Reemplaza lo siguiente:
CATALOG_ENDPOINT_SERVICE_ACCOUNT: Es la dirección de correo electrónico de la cuenta de servicio aprovisionada automáticamente del extremo del catálogo (blirc-PROJECT_NUMBER-ID@gcp-sa-biglakerestcatalog.iam.gserviceaccount.com). Para recuperar esta dirección de correo electrónico, describe el extremo del catálogo:gcloud biglake iceberg catalogs describe CATALOG_ID \ --project=PROJECT_ID \ --format='value(biglake-service-account)'En este comando,
CATALOG_IDes el ID de tu extremo de catálogo yPROJECT_IDes el ID del proyecto que contiene el extremo de catálogo.BUCKET_PROJECT_NUMBER: Es el número numérico del proyecto que contiene el bucket de Cloud Storage.
Si los Controles del servicio de VPC bloquean una solicitud de creación de tabla o de consulta, el mensaje de error incluye un valor vpcServiceControlsUniqueIdentifier. Busca
registros de auditoría de política denegada en los Registros de auditoría de Cloud
haciendo coincidir protoPayload.metadata.vpcServiceControlsUniqueId con ese
identificador, y, luego, inspecciona ingressViolations para la principal blirc-.... Para
obtener más información, consulta
Recupera errores de los Controles del servicio de VPC a partir de los registros de auditoría.
¿Qué sigue?
- Crea un extremo de catálogo en el modo de venta de credenciales.
- Habilita la venta de credenciales para un extremo de catálogo existente.
- Configura tu aplicación cliente para la venta de credenciales.
- Configura la seguridad a nivel de fila y de columna en las tablas de Apache Iceberg.