O modo de venda de credenciais no catálogo do ambiente de execução do Lakehouse permite delegar o acesso do Cloud Storage a mecanismos de consulta e aplicar políticas refinadas do Identity and Access Management (IAM) nos níveis de catálogo, namespace e tabela para tabelas do Apache Iceberg. Em vez de conceder permissões diretas ao bucket, configure o endpoint do catálogo REST do Apache Iceberg para vender tokens de armazenamento de curta duração e escopo reduzido para caminhos de tabela autorizados. Esse modo também é necessário para o gerenciamento automático de tabelas.
Quando usar a venda de credenciais
Veja alguns casos de uso comuns:
- Aplicar o acesso no nível da tabela sem papéis no nível do bucket: conceda a analistas e cargas de trabalho acesso a tabelas específicas do Apache Iceberg, impedindo o acesso direto aos buckets do Cloud Storage ou aos diretórios de tabelas irmãs.
- Centralize a governança de acesso em vários mecanismos de consulta: aplique políticas consistentes do IAM no BigQuery, no Serviço Gerenciado para Apache Spark, no Apache Spark de código aberto e no Trino usando tokens de curta duração com escopo de caminho.
- Isole os buckets de armazenamento em um perímetro de serviço: armazene dados de tabela em buckets do Cloud Storage protegidos pelo VPC Service Controls e autorize leituras e gravações de armazenamento por meio de uma única conta de serviço de endpoint de catálogo.
Como funciona o fornecimento de credenciais
Quando você usa o modo de venda de credenciais, a sequência de operações aplica as políticas do IAM antes que o armazenamento seja acessado. O diagrama a seguir ilustra como os mecanismos de consulta recebem tokens de armazenamento com escopo reduzido do catálogo do ambiente de execução do Lakehouse para ler e gravar dados com segurança diretamente no Cloud Storage:
A sequência de operações mostrada no diagrama anterior é a seguinte:
- Solicitação: um usuário envia uma instrução SQL, como uma consulta, uma operação DML ou DDL, para um mecanismo compatível, como o Spark ou o BigQuery.
- Pesquisa de metadados: o mecanismo envia uma solicitação ao catálogo do ambiente de execução do Lakehouse para resolver a tabela.
- Autenticação e política: o catálogo do ambiente de execução do Lakehouse autentica o usuário e verifica as permissões do IAM dele nos recursos do Lakehouse.
- Resposta: como o modo de fornecimento de credenciais está ativado, o catálogo do ambiente de execução do Lakehouse retorna os metadados e um token de armazenamento de curta duração (credenciais de armazenamento com escopo reduzido) para o mecanismo. O token tem como escopo os caminhos associados à tabela e tem o escopo reduzido para as permissões mínimas necessárias (por exemplo, acesso somente leitura para consultas que não precisam gravar arquivos).
- Acesso: o mecanismo usa esse token para ler ou gravar os arquivos autorizados específicos diretamente do Cloud Storage.
- Computação: o mecanismo processa os dados ou executa a operação e retorna os resultados.
Quando o gerenciamento automático de tabelas (gcp.biglake.table-management.enabled) está ativado, as tarefas de manutenção em segundo plano, como compactação, expiração de snapshot e coleta de lixo, usam a conta de serviço provisionada automaticamente do catálogo para autenticar diretamente no Cloud Storage e atualizar os arquivos de dados subjacentes.
Mecanismos compatíveis
Para usar a distribuição de credenciais com mecanismos de consulta, configure o endpoint do catálogo REST do Apache Iceberg no catálogo do ambiente de execução do Lakehouse no modo de distribuição de credenciais. A venda de credenciais não é compatível com endpoints de catálogo do Apache Hive.
- Mecanismos de código aberto: os mecanismos compatíveis, como
Spark e Trino, usam tokens de armazenamento de curta duração fornecidos
pelo catálogo do ambiente de execução do Lakehouse. O aplicativo cliente
precisa especificar o suporte à venda de credenciais no
cabeçalho
X-Iceberg-Access-Delegation. - BigQuery: o BigQuery usa credenciais vendidas para acesso ao Cloud Storage em vez de credenciais de usuário final.
Funções exigidas
Para garantir que a conta de serviço do endpoint do catálogo com provisionamento automático tenha as permissões necessárias para ler e gravar dados de tabela no modo de venda de credenciais, peça ao administrador para conceder os seguintes papéis do IAM à conta de serviço do endpoint do catálogo com provisionamento automático:
-
Ler e gravar dados de tabela em buckets do Cloud Storage:
Usuário de objetos do Storage (
roles/storage.objectUser) em todos os buckets associados do Cloud Storage
Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.
O administrador também pode conceder à conta de serviço do endpoint do catálogo de provisionamento automático as permissões necessárias por meio de papéis personalizados ou de outros papéis predefinidos.
Para garantir que a conta de serviço que executa os jobs do mecanismo de consulta tenha as permissões necessárias para receber credenciais vendidas com escopo de gravação, peça ao administrador para conceder os seguintes papéis do IAM à conta de serviço que executa os jobs do mecanismo de consulta:
-
Receber credenciais vendidas com escopo de gravação de jobs do mecanismo de consulta (como o Serviço Gerenciado para Apache Spark ou o Dataflow):
Editor do BigLake (
roles/biglake.editor) no catálogo, namespace, tabela ou projeto
Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.
O administrador também pode conceder à conta de serviço que executa os jobs do mecanismo de consulta as permissões necessárias por meio de papéis personalizados ou outros papéis predefinidos.
Se você usar o console do Google Cloud , clicar em Definir permissões do bucket
vai verificar o papel de Usuário de objetos do Storage (roles/storage.objectUser) nos
buckets associados. Para a Google Cloud CLI, o Terraform ou a API REST,
é necessário conceder esse papel manualmente à conta de serviço do endpoint de catálogo
provisionado automaticamente.
A criação da conta de serviço do endpoint do catálogo provisionado automaticamente é consistente. Leva tempo para que a conta de serviço seja propagada pelo sistema. Se você tentar conceder papéis à conta de serviço imediatamente após a criação, a solicitação poderá falhar. Para mais informações sobre quanto tempo leva, em média, para as alterações de acesso serem propagadas, consulte Propagação de alteração de acesso.
Proteção de fornecimento de credenciais para tabelas protegidas por FGAC
Quando as políticas de dados de segurança no nível da linha ou da coluna (controle de acesso refinado ou FGAC) protegem uma tabela do Apache Iceberg em um catálogo que usa o modo de venda de credenciais, o acesso direto a arquivos do Cloud Storage ignora a avaliação de políticas no momento da consulta no BigQuery.
Para evitar a exposição não autorizada de dados, o endpoint do catálogo REST do Apache Iceberg
retorna um código de status HTTP 403 Forbidden para solicitações de venda de credenciais em
tabelas protegidas por FGAC, a menos que o principal de chamada tenha acesso total à
tabela:
- Acesso a dados não mascarados (brutos) em todas as colunas protegidas: cada coluna protegida na tabela também precisa ter um
RAW_DATA_ACCESS_POLICYanexado. Conceda ao principal de chamada o privilégioFINE_GRAINED_READnessa política de dadosRAW_DATA_ACCESS_POLICYusando o identificador principal do IAM v2 (comoprincipal://iam.googleapis.com/projects/-/serviceAccounts/SA_EMAIL). - Acesso a linhas não filtradas (todas as linhas): se a tabela tiver políticas de acesso no nível da linha
anexadas, conceda ao principal de chamada uma política de acesso no nível da linha
com uma cláusula
FILTER USING (TRUE).
Para configurar uma conta de serviço para ler ou gravar em uma tabela protegida por FGAC em mecanismos de código aberto (como Spark, Trino ou Apache Flink), consulte Configurar credenciais de mecanismo de código aberto para tabelas protegidas por FGAC.
Usar o VPC Service Controls com a venda de credenciais
Ao usar o endpoint do catálogo REST do Apache Iceberg no modo de venda de credenciais com buckets do Cloud Storage dentro de um perímetro de serviço do VPC Service Controls, é possível oferecer suporte aos seguintes casos de uso:
- Criar e modificar tabelas do Apache Iceberg em buckets protegidos: execute
instruções
CREATE TABLEou DML do BigQuery, do Serviço Gerenciado para Apache Spark, do Spark ou do Trino quando os buckets do warehouse estiverem dentro de um perímetro de serviço. - Delegar leituras de tabela detalhadas dentro de um perímetro de armazenamento: aplique políticas do IAM no nível da tabela usando tokens de armazenamento de curta duração e com escopo reduzido, sem conceder aos usuários finais ou aos ambientes de execução de consulta papéis diretos do IAM em buckets protegidos por perímetro.
No modo de venda de credenciais, os mecanismos de consulta e o Lakehouse se autenticam no Cloud Storage usando credenciais emitidas para a conta de serviço de provisionamento automático do endpoint do catálogo (blirc-PROJECT_NUMBER-ID@gcp-sa-biglakerestcatalog.iam.gserviceaccount.com). Como esse agente de serviço pertence a um projeto gerenciado pelo Google fora do seu perímetro de serviço, o Cloud Storage avalia as solicitações autenticadas com as credenciais dele como entrada de perímetro sempre que o perímetro do projeto do bucket restringe storage.googleapis.com. Essa avaliação se aplica mesmo quando o
endpoint do catálogo, o job de consulta e o bucket estão no mesmo projeto e perímetro de
serviço.
Para permitir o acesso, configure uma regra de entrada no Access Context Manager no perímetro que protege o projeto do bucket com as seguintes configurações:
- Identidade de origem:
serviceAccount:blirc-PROJECT_NUMBER-ID@gcp-sa-biglakerestcatalog.iam.gserviceaccount.com - Projeto de destino: o projeto do bucket
(
projects/BUCKET_PROJECT_NUMBER) - Serviço:
storage.googleapis.comcom todos os métodos ('*') ou métodos de serviço compatíveis específicos.
O exemplo de ingress.yaml a seguir permite que a conta de serviço do endpoint do catálogo acesse storage.googleapis.com no projeto do bucket:
- ingressFrom:
identities:
- serviceAccount:CATALOG_ENDPOINT_SERVICE_ACCOUNT
sources:
- accessLevel: '*'
ingressTo:
operations:
- serviceName: storage.googleapis.com
methodSelectors:
- method: '*'
resources:
- projects/BUCKET_PROJECT_NUMBER
Substitua:
CATALOG_ENDPOINT_SERVICE_ACCOUNT: o endereço de e-mail da conta de serviço provisionada automaticamente do endpoint do catálogo (blirc-PROJECT_NUMBER-ID@gcp-sa-biglakerestcatalog.iam.gserviceaccount.com). Para recuperar esse endereço de e-mail, descreva o endpoint do catálogo:gcloud biglake iceberg catalogs describe CATALOG_ID \ --project=PROJECT_ID \ --format='value(biglake-service-account)'Nesse comando,
CATALOG_IDé o ID do endpoint do catálogo ePROJECT_IDé o ID do projeto que contém o endpoint do catálogo.BUCKET_PROJECT_NUMBER: o número do projeto que contém o bucket do Cloud Storage.
Se uma solicitação de criação ou consulta de tabela for bloqueada pelo VPC Service Controls, a mensagem de erro vai incluir um valor vpcServiceControlsUniqueIdentifier. Pesquise
registros de auditoria de política negada nos registros de auditoria do Cloud
correspondendo protoPayload.metadata.vpcServiceControlsUniqueId a esse
identificador e inspecione ingressViolations para o principal blirc-.... Para
mais informações, consulte
Recuperar erros do VPC Service Controls nos registros de auditoria.
A seguir
- Crie um endpoint de catálogo no modo de venda de credenciais.
- Ative a venda de credenciais para um endpoint de catálogo atual.
- Configure o aplicativo cliente para venda de credenciais.
- Configurar a segurança no nível da linha e da coluna em tabelas do Apache Iceberg.