Segurança no nível da linha e da coluna

Para restringir as linhas que os principais podem ver e mascarar ou bloquear valores de colunas sensíveis sem duplicar os arquivos subjacentes do Cloud Storage, configure o controle de acesso refinado (FGAC) do BigQuery em tabelas do Apache Iceberg gerenciadas pelo catálogo do ambiente de execução do Lakehouse. O FGAC inclui segurança no nível da linha e segurança no nível da coluna com mascaramento de dados dinâmicos. Neste documento, mostramos como criar políticas de acesso no nível da linha e aplicar políticas de dados diretamente às colunas.

Para anexar e gerenciar políticas de acesso no nível da linha e de dados de coluna em tabelas do Apache Iceberg, execute instruções da linguagem de definição de dados (DDL) do GoogleSQL no BigQuery que usam o identificador de tabela P.C.N.T (Project.Catalog.Namespace.Table) de quatro partes. Quando o catálogo usa o modo de venda de credenciais, o endpoint do catálogo REST do Apache Iceberg aplica uma proteção de venda de credenciais em tabelas protegidas por FGAC. O endpoint retorna um código de status HTTP 403 Forbidden para solicitações diretas de credenciais do Cloud Storage, a menos que o principal chamador tenha acesso não mascarado (RAW_DATA_ACCESS_POLICY) a todas as colunas protegidas e, se a tabela tiver políticas de acesso no nível da linha, acesso a linhas não filtradas (FILTER USING (TRUE)).

Limitações

O controle de acesso refinado em tabelas do Apache Iceberg gerenciadas pelo catálogo do ambiente de execução do Lakehouse está sujeito às seguintes limitações, além das limitações de política de dados de coluna e das limitações de segurança no nível da linha:

  • Somente SQL DDL: é possível anexar, atualizar ou desanexar políticas de dados de coluna e criar ou descartar políticas de acesso no nível da linha apenas por meio de instruções DDL do GoogleSQL do BigQuery (CREATE TABLE, ALTER TABLE ... ADD COLUMN, ALTER TABLE ... ALTER COLUMN ... SET OPTIONS, CREATE ROW ACCESS POLICY e DROP ROW ACCESS POLICY). Não é possível gerenciar essas vinculações de tabela usando o console do Google Cloud , a API BigQuery (tables.patch), a ferramenta de linha de comando bq ou o Terraform.
  • Identificador de tabela P.C.N.T de quatro partes obrigatório: ao referenciar uma tabela do Apache Iceberg gerenciada pelo catálogo do ambiente de execução do Lakehouse em instruções ou consultas DDL, use o formato P.C.N.T (PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME) de quatro partes.
  • Não há suporte para tags de política e de governança de dados: as tags de política (e taxonomias) do Data Catalog e as tags de governança de dados do Resource Manager não são compatíveis com tabelas do Apache Iceberg no catálogo do ambiente de execução do Lakehouse. Para aplicar a segurança no nível da coluna e o mascaramento de dados, é necessário aplicar políticas de dados diretamente às colunas.
  • Não há suporte para subconsultas em políticas de acesso no nível da linha: as políticas de acesso no nível da linha em tabelas do Apache Iceberg no catálogo do ambiente de execução do Lakehouse não oferecem suporte a subconsultas na expressão de filtro FILTER USING.
  • Proteção de venda de credenciais para mecanismos de código aberto: em catálogos configurados com o modo de venda de credenciais, o endpoint do catálogo REST do Apache Iceberg retorna um código de status HTTP 403 Forbidden quando um cliente, como um mecanismo de código aberto, solicita credenciais temporárias do Cloud Storage para uma tabela protegida por FGAC. Para receber credenciais vendidas, o principal de chamada precisa ter acesso não mascarado (RAW_DATA_ACCESS_POLICY) a todas as colunas protegidas e, se a tabela tiver políticas de acesso no nível da linha, acesso a linhas não filtradas (FILTER USING (TRUE)). Para ver as etapas de configuração, consulte Configurar credenciais de mecanismo de código aberto para tabelas protegidas por FGAC.
  • Modo de credenciais do usuário final: em catálogos que não usam o modo de venda de credenciais, o BigQuery aplica políticas de acesso no nível da linha e da coluna apenas em consultas executadas no BigQuery, não quando os principais leem os arquivos do Cloud Storage diretamente. Para impedir que os principais ignorem os controles de acesso refinados lendo diretamente os arquivos de armazenamento, use o modo de venda de credenciais.
  • Os catálogos federados não são compatíveis: o controle de acesso refinado (segurança no nível da linha e políticas de dados de coluna) não é compatível com catálogos federados ou tabelas externas acessadas usando conexões entre nuvens.

Antes de começar

  1. Verifique se o faturamento está ativado para o projeto do Google Cloud .

  2. Ative as APIs BigLake e BigQuery Data Policy, se ainda não estiverem ativadas.

    Funções necessárias para ativar APIs

    Para ativar APIs, você precisa da permissão serviceusage.services.enable. Se você criou o projeto, provavelmente já tem essa permissão pelo papel de proprietário (roles/owner). Caso contrário, é possível conseguir essa permissão pelo papel de administrador do Service Usage (roles/serviceusage.serviceUsageAdmin). Saiba como conceder papéis.

    Ativar as APIs

  3. Configure o catálogo do ambiente de execução do Lakehouse com o endpoint do catálogo REST do Apache Iceberg no modo de venda de credenciais.
  4. Crie uma tabela do Apache Iceberg.

Funções exigidas

Para gerenciar e consultar políticas de controle de acesso refinado em tabelas do Apache Iceberg, é necessário ter permissões do Identity and Access Management (IAM) na tabela do Lakehouse (biglake.*) e na política de dados ou no job de consulta do BigQuery (bigquery.*).

Para receber as permissões necessárias para configurar e consultar a segurança no nível da linha e da coluna em tabelas do Apache Iceberg, peça ao administrador para conceder a você os seguintes papéis do IAM:

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esses papéis predefinidos contêm as permissões necessárias para configurar e consultar a segurança no nível da linha e da coluna em tabelas do Apache Iceberg. Para acessar as permissões exatas necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As seguintes permissões são necessárias para configurar e consultar a segurança no nível da linha e da coluna em tabelas do Apache Iceberg:

  • Criar, atualizar, excluir ou conceder acesso a uma política de dados:
    • bigquery.dataPolicies.create no projeto
    • bigquery.dataPolicies.update na política de dados
    • bigquery.dataPolicies.delete na política de dados
    • bigquery.dataPolicies.get na política de dados
    • bigquery.dataPolicies.setIamPolicy na política de dados
    • bigquery.jobs.create no projeto de consulta
  • Anexe uma política de dados a uma coluna de tabela do Apache Iceberg:
    • biglake.tables.setColumnDataPolicy na tabela (ou namespace em CREATE TABLE)
    • biglake.tables.update na tabela (ou biglake.tables.create em CREATE TABLE)
    • bigquery.dataPolicies.get na política de dados
    • bigquery.dataPolicies.attach na política de dados
    • bigquery.jobs.create no projeto de consulta
  • Remova uma política de dados de uma coluna de tabela do Apache Iceberg:
    • biglake.tables.setColumnDataPolicy na tabela
    • biglake.tables.update na tabela
    • bigquery.jobs.create no projeto de consulta
  • Criar ou atualizar uma política de acesso no nível da linha:
    • biglake.rowAccessPolicies.create na tabela
    • biglake.rowAccessPolicies.update na tabela
    • biglake.rowAccessPolicies.setIamPolicy na tabela
    • biglake.tables.getData na tabela de destino
    • bigquery.jobs.create no projeto de consulta
  • Listar ou visualizar políticas de acesso no nível da linha:
    • biglake.rowAccessPolicies.list na tabela
    • biglake.rowAccessPolicies.get na tabela
    • biglake.rowAccessPolicies.getIamPolicy na tabela
  • Exclua uma ou todas as políticas de acesso no nível da linha:
    • biglake.rowAccessPolicies.delete na tabela
    • biglake.rowAccessPolicies.setIamPolicy na tabela
    • biglake.rowAccessPolicies.list na tabela (ao descartar todas as políticas)
    • bigquery.jobs.create no projeto de consulta
  • Consulte uma tabela do Apache Iceberg protegida por FGAC:
    • biglake.tables.get na tabela
    • biglake.tables.getData na tabela
    • bigquery.jobs.create no projeto de consulta

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

Além das permissões do IAM no nível da tabela, as políticas detalhadas na tabela também precisam autorizar os principais de consulta:

  • Segurança no nível da coluna: o principal precisa receber FINE_GRAINED_READ na lista grantees de um RAW_DATA_ACCESS_POLICY (para valores não mascarados) ou um DATA_MASKING_POLICY (para valores mascarados) anexado à coluna consultada.
  • Segurança no nível da linha: o principal precisa ser incluído no grantee_list de uma política de acesso no nível da linha na tabela, o que concede automaticamente ao principal o papel roles/biglake.filteredDataViewer gerenciado pelo sistema. Esse papel contém a permissão biglake.rowAccessPolicies.getFilteredData.

Além das permissões do IAM no nível da tabela, as políticas detalhadas na tabela também precisam conceder acesso aos principais de consulta:

  • Segurança no nível da coluna: o principal precisa receber FINE_GRAINED_READ na lista grantees de um RAW_DATA_ACCESS_POLICY (para valores não mascarados) ou um DATA_MASKING_POLICY (para valores mascarados) anexado à coluna consultada.
  • Segurança no nível da linha: o principal precisa ser incluído no grantee_list de uma política de acesso no nível da linha na tabela, o que concede automaticamente ao principal o papel roles/biglake.filteredDataViewer gerenciado pelo sistema. Esse papel contém a permissão biglake.rowAccessPolicies.getFilteredData.

Configurar a segurança no nível da coluna e o mascaramento de dados

Configure o controle de acesso no nível da coluna e o mascaramento dinâmico de dados em tabelas do Apache Iceberg no catálogo do ambiente de execução do Lakehouse criando políticas de dados do BigQuery e anexando-as diretamente às colunas da tabela usando a DDL do GoogleSQL. Para mais informações sobre conceitos gerais e definições de regras de mascaramento, consulte Introdução ao mascaramento de dados e Mascarar dados aplicando políticas de dados a uma coluna.

Criar políticas de dados

Uma política de dados define uma regra de mascaramento de dados (DATA_MASKING_POLICY) ou o acesso a dados brutos não mascarados (RAW_DATA_ACCESS_POLICY). É possível criar políticas de dados usando a DDL do GoogleSQL ou a API BigQuery Data Policy v2. Dependendo do caso de uso, execute uma das seguintes instruções:

  • Para criar uma política de dados com uma expressão de mascaramento predefinida (como SHA256 ou ALWAYS_NULL), execute a instrução CREATE DATA_POLICY:

    CREATE DATA_POLICY IF NOT EXISTS `PROJECT_ID.region-LOCATION.MASKING_POLICY_NAME`
    OPTIONS (
        data_policy_type = "DATA_MASKING_POLICY",
        masking_expression = "SHA256"
    );
    
  • Para criar uma política de acesso a dados brutos que autorize os principais a ler valores de coluna não mascarados, defina data_policy_type como RAW_DATA_ACCESS_POLICY:

    CREATE DATA_POLICY IF NOT EXISTS `PROJECT_ID.region-LOCATION.RAW_POLICY_NAME`
    OPTIONS (
        data_policy_type = "RAW_DATA_ACCESS_POLICY"
    );
    

Substitua:

  • PROJECT_ID: o ID do projeto do Google Cloud.
  • LOCATION: o local regional ou multirregional da política de dados (por exemplo, us ou us-central1).
  • MASKING_POLICY_NAME: um nome exclusivo para a política de mascaramento de dados.
  • RAW_POLICY_NAME: um nome exclusivo para a política de acesso a dados brutos.

Conceder ou revogar acesso de leitura granular

Quando você aplica políticas de dados diretamente às colunas, a lista grantees na política de dados controla o acesso de leitura no momento da consulta. No GoogleSQL, você concede ou revoga o privilégio FINE_GRAINED_READ na política de dados:

  • Conceder FINE_GRAINED_READ em um DATA_MASKING_POLICY dá ao principal acesso de leitura mascarado às colunas protegidas por essa política.
  • Conceder FINE_GRAINED_READ em um RAW_DATA_ACCESS_POLICY dá ao principal acesso de leitura não mascarado (bruto) às colunas protegidas por essa política.
  • Usuário: principal://goog/subject/USER_EMAIL
  • Conta de serviço: principal://iam.googleapis.com/projects/-/serviceAccounts/SA_EMAIL
  • Grupo do Google: principalSet://goog/group/GROUP_EMAIL

Para gerenciar o acesso de leitura granular em uma política de dados, execute uma das seguintes instruções:

Para conceder acesso de leitura refinado aos principais em uma política de dados, execute a instrução GRANT FINE_GRAINED_READ:

GRANT FINE_GRAINED_READ ON DATA_POLICY `PROJECT_ID.region-LOCATION.DATA_POLICY_NAME`
TO "principal://goog/subject/USER_EMAIL",
    "principalSet://goog/group/GROUP_EMAIL";

Para revogar o acesso de leitura detalhado de um principal, execute a instrução REVOKE FINE_GRAINED_READ:

REVOKE FINE_GRAINED_READ ON DATA_POLICY `PROJECT_ID.region-LOCATION.DATA_POLICY_NAME`
FROM "principal://goog/subject/USER_EMAIL";

Substitua:

  • PROJECT_ID: o ID do projeto Google Cloud .
  • LOCATION: o local regional ou multirregional da política de dados.
  • DATA_POLICY_NAME: o nome da política de mascaramento de dados ou de acesso a dados brutos.
  • USER_EMAIL: o endereço de e-mail da conta de usuário.
  • GROUP_EMAIL: o endereço de e-mail do Grupo do Google.

Anexar políticas de dados a colunas com DDL P.C.N.T

Anexe políticas de dados a colunas na tabela do Apache Iceberg no catálogo do ambiente de execução do Lakehouse usando o P.C.N.T (PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME) de quatro partes.

identificador exclusivo. Dependendo do caso de uso, execute uma das seguintes instruções:

  • Para anexar políticas de dados a uma coluna atual, adicione (+=) à opção data_policies da coluna e execute a instrução ALTER TABLE ... ALTER COLUMN SET OPTIONS:

    ALTER TABLE `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME`
    ALTER COLUMN COLUMN_NAME SET OPTIONS (
      data_policies += ["{'name':'PROJECT_ID.region-LOCATION.MASKING_POLICY_NAME'}",
                        "{'name':'PROJECT_ID.region-LOCATION.RAW_POLICY_NAME'}"]
    );
    
  • Para adicionar uma nova coluna com uma política de dados anexada, execute a instrução ALTER TABLE ... ADD COLUMN:

    ALTER TABLE `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME`
    ADD COLUMN COLUMN_NAME STRING OPTIONS (
      data_policies = ["{'name':'PROJECT_ID.region-LOCATION.MASKING_POLICY_NAME'}"]
    );
    
  • Para criar uma nova tabela do Apache Iceberg com políticas de dados de coluna anexadas, execute a instrução CREATE TABLE:

    CREATE TABLE `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME` (
      id INT64,
      COLUMN_NAME STRING OPTIONS (
        data_policies = ["{'name':'PROJECT_ID.region-LOCATION.MASKING_POLICY_NAME'}",
                         "{'name':'PROJECT_ID.region-LOCATION.RAW_POLICY_NAME'}"]
      )
    );
    

Substitua:

  • PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME: o identificador P.C.N.T de quatro partes da tabela do Apache Iceberg.
  • COLUMN_NAME: o nome da coluna a ser protegida.
  • LOCATION: o local regional ou multirregional da política de dados.
  • MASKING_POLICY_NAME e RAW_POLICY_NAME: os nomes das políticas de dados a serem anexadas.

Desvincular ou substituir políticas de dados de coluna

Para remover ou substituir políticas de dados em uma coluna de uma tabela do Apache Iceberg, use uma das seguintes instruções com o identificador de tabela P.C.N.T de quatro partes:

  • Para remover todas as políticas de dados de uma coluna, defina data_policies como uma matriz vazia ([]):

    ALTER TABLE `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME`
    ALTER COLUMN COLUMN_NAME SET OPTIONS (
      data_policies = []
    );
    
  • Para substituir as políticas de dados atuais em uma coluna por uma nova lista, use o operador = em vez do operador +=:

    ALTER TABLE `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME`
    ALTER COLUMN COLUMN_NAME SET OPTIONS (
      data_policies = ["{'name':'PROJECT_ID.region-LOCATION.NEW_POLICY_NAME'}"]
    );
    
  • Para excluir uma política de dados depois de removê-la de todas as colunas de tabela que fazem referência a ela, execute a instrução DROP DATA_POLICY:

    DROP DATA_POLICY IF EXISTS `PROJECT_ID.region-LOCATION.MASKING_POLICY_NAME`;
    

Substitua:

  • PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME: o identificador P.C.N.T de quatro partes da tabela do Apache Iceberg.
  • COLUMN_NAME: o nome da coluna.
  • LOCATION: o local regional ou multirregional da política de dados
  • NEW_POLICY_NAME e MASKING_POLICY_NAME: os nomes das políticas de dados a serem anexadas ou excluídas.

Configurar a segurança no nível da linha

É possível restringir o acesso a linhas específicas em uma tabela do Apache Iceberg gerenciada pelo catálogo do ambiente de execução do Lakehouse criando políticas de acesso no nível da linha com instruções DDL do GoogleSQL que usam o identificador de tabela P.C.N.T de quatro partes. Para mais informações sobre conceitos gerais de segurança no nível da linha e semântica de filtro, consulte Usar segurança no nível da linha.

Criar ou atualizar uma política de acesso no nível da linha

Ao configurar a segurança no nível da linha em uma tabela, crie uma política com uma cláusula FILTER USING (TRUE) para administradores e contas de serviço de gravação que precisam de acesso total à linha e, em seguida, crie políticas filtradas para grupos de usuários específicos.

  1. Conceda acesso total às linhas (FILTER USING (TRUE)) aos administradores de tabelas ou às contas de serviço de gravação:

    CREATE OR REPLACE ROW ACCESS POLICY ADMIN_POLICY_NAME
    ON `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME`
    GRANT TO ("group:ADMIN_GROUP_EMAIL")
    FILTER USING (TRUE);
    
  2. Crie uma política de acesso no nível da linha que filtre linhas com base em uma expressão de predicado:

    CREATE OR REPLACE ROW ACCESS POLICY FILTER_POLICY_NAME
    ON `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME`
    GRANT TO ("user:USER_EMAIL", "group:ANALYST_GROUP_EMAIL")
    FILTER USING (FILTER_EXPRESSION);
    

    Substitua:

    • ADMIN_POLICY_NAME e FILTER_POLICY_NAME: nomes exclusivos para as políticas de acesso no nível da linha na tabela.
    • PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME: o identificador P.C.N.T de quatro partes da tabela do Apache Iceberg.
    • ADMIN_GROUP_EMAIL, USER_EMAIL e ANALYST_GROUP_EMAIL: os endereços de e-mail dos Grupos do Google ou dos usuários que receberam acesso à linha.
    • FILTER_EXPRESSION: uma expressão de filtro booleano avaliada como uma cláusula WHERE (por exemplo, region = 'APAC').

Excluir políticas de acesso no nível da linha

Para remover políticas de acesso no nível da linha de uma tabela do Apache Iceberg, execute uma das seguintes instruções:

  • Para excluir uma política de acesso no nível da linha específica quando outras políticas de acesso no nível da linha permanecerem na tabela, execute a instrução DROP ROW ACCESS POLICY:

    DROP ROW ACCESS POLICY IF EXISTS FILTER_POLICY_NAME
    ON `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME`;
    
  • Para excluir a última política de acesso no nível da linha restante ou todas as políticas de acesso no nível da linha na tabela, execute a instrução DROP ALL ROW ACCESS POLICIES:

    DROP ALL ROW ACCESS POLICIES
    ON `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME`;
    

Substitua:

  • FILTER_POLICY_NAME: o nome da política de acesso no nível da linha a ser excluída.
  • PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME: o identificador P.C.N.T de quatro partes da tabela do Apache Iceberg.

Consultar uma tabela protegida por FGAC no BigQuery

Quando um principal consulta uma tabela do Apache Iceberg protegida por FGAC no BigQuery usando o identificador P.C.N.T de quatro partes, o BigQuery avalia as políticas no nível da linha e da coluna no momento da consulta:

  • Avaliação no nível da linha: os principais no grantee_list de uma ou mais políticas de acesso no nível da linha veem a união de linhas que correspondem aos predicados filter_expression dessas políticas. Os participantes não incluídos em nenhuma política de acesso no nível da linha na tabela não veem nenhuma linha.
  • Avaliação no nível da coluna:
    • Os principais que recebem FINE_GRAINED_READ em uma RAW_DATA_ACCESS_POLICY anexada a uma coluna veem dados não mascarados (brutos).
    • Os principais que receberam FINE_GRAINED_READ em uma DATA_MASKING_POLICY (e não em uma RAW_DATA_ACCESS_POLICY para essa coluna) veem dados mascarados. Se várias políticas de mascaramento se aplicarem ao mesmo principal em uma coluna, o BigQuery selecionará a regra de acordo com a hierarquia de regras de mascaramento de dados.
    • Os principais que não receberem FINE_GRAINED_READ em nenhuma política de dados anexada a uma coluna protegida vão receber um erro Access Denied ao consultar essa coluna. Esses principais ainda podem consultar colunas desprotegidas explicitamente ou usar SELECT * EXCEPT(PROTECTED_COLUMN).

Por exemplo, a consulta a seguir retorna valores de linhas e colunas de acordo com as políticas do autor da chamada:

SELECT id, COLUMN_NAME
FROM `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME`;

Substitua:

  • COLUMN_NAME: o nome da coluna a ser consultada.
  • PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME: o identificador P.C.N.T de quatro partes da tabela do Apache Iceberg.

Configurar credenciais de mecanismo de código aberto para tabelas protegidas por FGAC

Quando um mecanismo de consulta de código aberto (como Apache Spark, Trino ou Apache Flink) lê ou grava em uma tabela do Apache Iceberg em um catálogo configurado com o modo de venda de credenciais, o mecanismo chama o endpoint do catálogo REST do Apache Iceberg para receber credenciais do Cloud Storage de escopo reduzido e curta duração.

Como o acesso direto a arquivos do Cloud Storage ignora a avaliação de políticas no momento da consulta no BigQuery, o endpoint do catálogo REST do Apache Iceberg impõe uma proteção de venda de credenciais. A proteção retorna um código de status HTTP 403 Forbidden quando um principal solicita credenciais de armazenamento para uma tabela protegida por FGAC, a menos que o principal tenha acesso total à tabela:

  • Acesso a dados não mascarados (brutos) em todas as colunas protegidas: cada coluna protegida na tabela também precisa ter um RAW_DATA_ACCESS_POLICY anexado. Conceda ao principal de chamada o privilégio FINE_GRAINED_READ nesse RAW_DATA_ACCESS_POLICY.
  • Acesso a linhas sem filtro (todas as linhas): se a tabela tiver políticas de acesso no nível da linha anexadas, conceda ao principal de chamada uma política de acesso no nível da linha com uma cláusula FILTER USING (TRUE).

Conceder acesso total a uma conta de serviço de gravador de mecanismo de código aberto

Uma conta de serviço que executa jobs de mecanismo de código aberto, como jobs no Serviço Gerenciado para Apache Spark ou Dataflow, precisa de acesso total à tabela para receber credenciais vendidas para uma tabela do Apache Iceberg protegida por FGAC. Para conceder esse acesso, siga estas etapas no BigQuery:

  1. Conceder acesso a dados brutos (RAW_DATA_ACCESS_POLICY) em todas as colunas protegidas: anexe um RAW_DATA_ACCESS_POLICY a cada coluna protegida na tabela e conceda o privilégio FINE_GRAINED_READ à conta de serviço usando o identificador principal do IAM v2, principal://IAM.googleapis.com/projects/-/serviceAccounts/SA_EMAIL:

    -- 1. Create a raw data access policy (if not already created)
    CREATE DATA_POLICY IF NOT EXISTS `PROJECT_ID.region-LOCATION.RAW_POLICY_NAME`
    OPTIONS (
      data_policy_type = "RAW_DATA_ACCESS_POLICY"
    );
    
    -- 2. Grant FINE_GRAINED_READ on the raw data access policy to the writer service account
    GRANT FINE_GRAINED_READ ON DATA_POLICY `PROJECT_ID.region-LOCATION.RAW_POLICY_NAME`
    TO "principal://iam.googleapis.com/projects/-/serviceAccounts/WRITER_SA_EMAIL";
    
    -- 3. Attach the raw data access policy to each protected column on the table
    ALTER TABLE `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME`
    ALTER COLUMN COLUMN_NAME SET OPTIONS (
      data_policies += ["{'name':'PROJECT_ID.region-LOCATION.RAW_POLICY_NAME'}"]
    );
    
  2. Conceder uma política de acesso a todas as linhas se a segurança no nível da linha estiver ativada: se a tabela tiver políticas de acesso no nível da linha, conceda à conta de serviço uma política de acesso no nível da linha que tenha uma cláusula FILTER USING (TRUE):

    CREATE OR REPLACE ROW ACCESS POLICY WRITER_ROW_POLICY_NAME
    ON `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME`
    GRANT TO ("serviceAccount:WRITER_SA_EMAIL")
    FILTER USING (TRUE);
    

Substitua:

  • PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME: o identificador P.C.N.T de quatro partes da tabela do Apache Iceberg.
  • LOCATION: o local regional ou multirregional da política de dados
  • RAW_POLICY_NAME: o nome da política de acesso a dados brutos
  • COLUMN_NAME: o nome de cada coluna protegida na tabela
  • WRITER_ROW_POLICY_NAME: um nome exclusivo para a política de acesso no nível da linha do gravador
  • WRITER_SA_EMAIL: o endereço de e-mail da conta de serviço que chama o endpoint do catálogo REST do Apache Iceberg, por exemplo, spark-writer-sa@PROJECT_ID.iam.gserviceaccount.com.

A seguir