Gerenciar recursos de linhagem de dados usando restrições personalizadas

É possível usar restrições personalizadas da política da organização Google Cloud para restringir operações específicas em recursos de linhagem de dados. Embora a política da organização ofereça restrições predefinidas para vários serviços doGoogle Cloud , com as restrições personalizadas, você define um controle granular sobre campos específicos nas políticas da organização.

Sobre a Google Cloud política da organização

Com a política da organização doGoogle Cloud , você controla de forma centralizada e programática os recursos da sua organização. Como administrador de políticas da organização, você pode definir uma política da organização, que é um conjunto de restrições chamado restrições que se aplicam aos recursos do Google Cloud e aos elementos que descendem dele na hierarquia de recursos doGoogle Cloud . É possível aplicar políticas da organização no nível da organização, da pasta ou do projeto.

Vantagens

As políticas da organização personalizadas oferecem um controle mais granular e personalizável sobre os campos específicos restritos nas políticas da organização.

É possível usar uma política da organização personalizada para permitir ou negar a criação de processos de linhagem de dados com condições baseadas em atributos de recursos compatíveis, como nome do processo, tipo de origem e origem.

Para mais informações, consulte restrições predefinidas.

Herança de políticas

Por padrão, as políticas da organização são herdadas pelos elementos que descendem dos recursos em que elas são aplicadas. Por exemplo, se você aplicar uma política a uma pasta, o Google Cloud vai aplicá-la a todos os projetos dessa pasta. Para saber mais sobre esse comportamento e como alterá-lo, consulte Regras de avaliação de hierarquia.

Preços

O Organization Policy Service, incluindo políticas predefinidas e personalizadas, é oferecido sem custos financeiros.

Limitações

• As restrições personalizadas só podem ser aplicadas aos recursos de linhagem de dados Process. Outros recursos, como Runs e Events, não são compatíveis.

• As restrições personalizadas recém-aplicadas não se aplicam aos recursos atuais.

Antes de começar

• Certifique-se de conhecer o ID da organização.

• Se você quiser testar políticas da organização personalizadas que se referem a recursos de linhagem de dados, crie um novo projeto. Testar essas políticas da organização em um projeto atual pode interromper os fluxos de trabalho de segurança.

  1. Ensure that you have the Project Creator IAM role (roles/resourcemanager.projectCreator). Learn how to grant roles.

  2. In the Google Cloud console, go to the project selector page.

     Go to project selector

  3. Click Create project.

  4. Name your project. Make a note of your generated project ID.

  5. Edit the other fields as needed.

  6. Click Create.

Funções exigidas

Para receber as permissões necessárias a fim de gerenciar as políticas da organização, peça ao administrador para conceder a você o papel do IAM de Administrador de políticas da organização (roles/orgpolicy.policyAdmin) na organização. Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esse papel predefinido contém as permissões necessárias para gerenciar as políticas da organização. Para conferir as permissões exatas necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As permissões a seguir são necessárias para gerenciar as políticas da organização:

• orgpolicy.constraints.list
• orgpolicy.policies.create
• orgpolicy.policies.delete
• orgpolicy.policies.list
• orgpolicy.policies.update
• orgpolicy.policy.get
• orgpolicy.policy.set

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

Criar uma restrição personalizada

Uma restrição personalizada é definida em um arquivo YAML pelos recursos, métodos, condições e ações compatíveis com o serviço em que você está aplicando a política da organização. As condições das restrições personalizadas são definidas usando a Common Expression Language (CEL). Para mais informações sobre como criar condições em restrições personalizadas usando a CEL, consulte a seção CEL de Como criar e gerenciar restrições personalizadas.

Para criar um arquivo YAML para uma restrição personalizada:

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- datalineage.googleapis.com/RESOURCE_TYPE
methodTypes:
- CREATE
- UPDATE
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

Substitua:

• ORGANIZATION_ID: o ID da organização, como 123456789.

• CONSTRAINT_NAME: o nome da nova restrição personalizada. Uma restrição personalizada precisa começar com custom. e só pode incluir letras maiúsculas, minúsculas ou números, por exemplo, custom.denyLineageProcess. O tamanho máximo desse campo é de 70 caracteres, sem contar o prefixo (por exemplo, organizations/123456789/customConstraints/custom).

• RESOURCE_TYPE: o nome (não o URI) do recurso REST da API Data Lineage que contém o objeto e o campo que você quer restringir. Para linhagem de dados, apenas Process está disponível.

• CONDITION: uma condição de CEL gravada em uma representação de um recurso de serviço compatível. Esse campo pode ter no máximo 1000 caracteres. Consulte Recursos compatíveis para mais informações sobre os recursos disponíveis para gravação de condições. Por exemplo, "resource.name.contains('invalid_name')".

• ACTION: a ação a ser realizada se o condition for atendido. Pode ser ALLOW ou DENY.

• DISPLAY_NAME: um nome legível para a restrição. Esse campo pode ter no máximo 200 caracteres.

• DESCRIPTION: uma descrição legível da restrição a ser exibida como mensagem de erro quando a política é violada. Esse campo pode ter no máximo 2000 caracteres.

Para saber como criar uma restrição personalizada, consulte Como definir restrições personalizadas.

Configurar uma restrição personalizada

Console

Para criar uma restrição personalizada, faça o seguinte:

1. No console do Google Cloud , acesse a página Políticas da organização.

   Acessar a página Políticas da organização

2. No seletor de projetos, selecione o projeto em que você quer definir a política da organização.
3. Clique em Restrição personalizada.
4. Na caixa Nome de exibição, insira um nome legível para a restrição. Esse nome é usado em mensagens de erro e pode ser usado para identificação e depuração. Não use PII ou dados sensíveis em nomes de exibição, porque eles podem ser expostos em mensagens de erro. Esse campo pode ter até 200 caracteres.
5. Na caixa ID da restrição, insira o nome que você quer para a nova restrição personalizada. Uma restrição personalizada só pode conter letras (maiúsculas e minúsculas) ou números, por exemplo, custom.disableGkeAutoUpgrade. Esse campo pode conter até 70 caracteres, sem contar o prefixo (custom.), por exemplo, organizations/123456789/customConstraints/custom. Não inclua PII ou dados sensíveis no ID da restrição, porque eles podem ser expostos em mensagens de erro.
6. Na caixa Descrição, insira uma descrição legível da restrição. Essa descrição é usada como uma mensagem de erro quando a política é violada. Inclua detalhes sobre o motivo da violação e como resolver o problema. Não inclua PII ou dados sensíveis na descrição, porque eles podem ser expostos em mensagens de erro. Esse campo pode conter até 2.000 caracteres.
7. Na caixa Tipo de recurso, selecione o nome do recurso REST do Google Cloud que contém o objeto e o campo que você quer restringir. Por exemplo, container.googleapis.com/NodePool. A maioria dos tipos de recursos aceita até 20 restrições personalizadas. Se você tentar criar mais restrições personalizadas, a operação vai falhar.
8. Em Método de aplicação, selecione se quer aplicar a restrição em um método REST CREATE ou em ambos os métodos CREATE e UPDATE. Se você aplicar a restrição com o método UPDATE em um recurso que a viola, as mudanças nesse recurso serão bloqueadas pela política da organização, a menos que a mudança resolva a violação.

Nem todos os serviços do Google Cloud aceitam os dois métodos. Para ver os métodos compatíveis com cada serviço, encontre o serviço em Serviços compatíveis.

9. Para definir uma condição, clique em Editar condição.
1. No painel Adicionar condição, crie uma condição de CEL que se refira a um recurso de serviço compatível, por exemplo, resource.management.autoUpgrade == false. Esse campo pode ter até 1.000 caracteres. Para detalhes sobre o uso da CEL, consulte Common Expression Language. Para mais informações sobre os recursos de serviço que você pode usar nas restrições personalizadas, consulte Serviços compatíveis com restrição personalizada.
2. Clique em Salvar.
10. Em Ação, selecione se você quer permitir ou negar o método avaliado quando a condição é atendida.

A ação de negação significa que a operação para criar ou atualizar o recurso será bloqueada se a condição for avaliada como verdadeira.

A ação de permissão significa que a operação para criar ou atualizar o recurso só é permitida se a condição for avaliada como verdadeira. Todos os outros casos, exceto os listados explicitamente na condição, estão bloqueados.

11. Clique em Criar restrição.

Quando você digita um valor em cada campo, a configuração YAML equivalente à restrição personalizada aparece à direita.

gcloud

1. Para criar uma restrição personalizada, crie um arquivo YAML com o seguinte formato:

      name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
      resourceTypes:
      - RESOURCE_NAME
      methodTypes:
      - CREATE
- UPDATE 
      condition: "CONDITION"
      actionType: ACTION
      displayName: DISPLAY_NAME
      description: DESCRIPTION
      

Substitua:

• ORGANIZATION_ID: o ID da organização, como 123456789.
• CONSTRAINT_NAME: o nome da sua nova restrição personalizada. Uma restrição personalizada só pode conter letras (maiúsculas e minúsculas) ou números, por exemplo, custom.denyLineageProcess. Esse campo pode ter até 70 caracteres.
• RESOURCE_NAME: o nome totalmente qualificado do recurso Google Cloud que contém o objeto e o campo que você quer restringir. Por exemplo, datalineage.googleapis.com/Process.
• CONDITION: uma condição CEL gravada em uma representação de um recurso de serviço compatível. Esse campo pode conter até 1.000 caracteres. Por exemplo, "resource.name.contains('invalid_name')".

Para mais informações sobre os recursos disponíveis para gravação de condições, consulte Recursos compatíveis.

• ACTION: a ação a ser realizada se o condition for atendido. Os valores possíveis são ALLOW e DENY.

A ação "permitir" significa que, se a condição for avaliada como verdadeira, a operação para criar ou atualizar o recurso será permitida. Isso também significa que todos os outros casos, exceto o listado explicitamente na condição, estão bloqueados.

A ação de negação significa que, se a condição for avaliada como verdadeira, a operação para criar ou atualizar o recurso será bloqueada.

• DISPLAY_NAME: um nome legível para a restrição. Esse campo pode ter até 200 caracteres.
• DESCRIPTION: uma descrição legível da restrição a ser exibida como uma mensagem de erro quando a política for violada. Esse campo pode conter até 2.000 caracteres.
2. Depois de criar o arquivo YAML para uma nova restrição personalizada, faça a configuração necessária para disponibilizá-la para as políticas da organização. Para configurar uma restrição personalizada, use o comando gcloud org-policies set-custom-constraint:

        gcloud org-policies set-custom-constraint CONSTRAINT_PATH
      

Substitua CONSTRAINT_PATH pelo caminho completo do arquivo de restrição personalizada. Por exemplo, /home/user/customconstraint.yaml.

Após a conclusão, as restrições personalizadas vão estar disponíveis como políticas da organização na lista de políticas da organização do Google Cloud .

3. Para verificar se a restrição personalizada existe, use o comando gcloud org-policies list-custom-constraints:

      gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID
      

Substitua ORGANIZATION_ID pelo ID do recurso da organização.

Para mais informações, consulte Como visualizar políticas da organização.

Aplicar uma política personalizada da organização

Para aplicar uma restrição, crie uma política da organização que faça referência a ela e aplique essa política a um recurso do Google Cloud .

Console

1. No console do Google Cloud , acesse a página Políticas da organização.

   Acessar a página Políticas da organização

2. No seletor de projetos, selecione o projeto em que você quer definir a política da organização.
3. Na lista da página Políticas da organização, selecione uma restrição para acessar a página Detalhes da política associada.
4. Para configurar a política da organização nesse recurso, clique em Gerenciar política.
5. Na página Editar política, selecione Substituir a política do recurso pai.
6. Clique em Adicionar uma regra.
7. Na seção Aplicação, selecione se essa política da organização é aplicada ou não.
8. Opcional: para tornar a política da organização condicional em uma tag, clique em Adicionar condição. Se você adicionar uma regra condicional a uma política da organização, inclua pelo menos uma regra não condicional para que a política seja salva. Para mais informações, consulte Como definir uma política da organização com tags.
9. Clique em Testar mudanças para simular o efeito da política da organização. Para mais informações, consulte Testar mudanças na política da organização com o Simulador de política.
10. Para aplicar a política da organização no modo de teste, clique em Definir política de simulação. Para mais informações, consulte Criar uma política da organização no modo de simulação.
11. Depois de verificar se a política da organização no modo de simulação funciona como esperado, clique em Definir política para definir a política ativa.

gcloud

1. Para criar uma política da organização com regras booleanas, crie um arquivo YAML para a política que faça referência à restrição:

        name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
        spec:
          rules:
          - enforce: true
        
        dryRunSpec:
          rules:
          - enforce: true
        
      

Substitua:

• PROJECT_ID: o projeto em que você quer aplicar a restrição.
• CONSTRAINT_NAME: o nome definido para a restrição personalizada. Por exemplo, custom.denyLineageProcess.
2. Para aplicar a política da organização no modo de teste, execute o seguinte comando com a flag dryRunSpec:

        gcloud org-policies set-policy POLICY_PATH \
          --update-mask=dryRunSpec
      

Substitua POLICY_PATH pelo caminho completo para o arquivo YAML da política da organização. A política leva até 15 minutos para entrar em vigor.

3. Depois de verificar se a política da organização no modo de simulação funciona conforme o esperado, defina a política ativa com o comando org-policies set-policy e a flag spec:

        gcloud org-policies set-policy POLICY_PATH \
          --update-mask=spec
      

Substitua POLICY_PATH pelo caminho completo para o arquivo YAML da política da organização. A política leva até 15 minutos para entrar em vigor.

Testar a política personalizada da organização

Esta seção descreve como testar uma restrição de política da organização que impede os usuários de criar um processo de linhagem de dados com um nome que contenha o texto invalid_name.

Se você quiser testar essa restrição personalizada, faça o seguinte:

1. Crie um projeto, conforme descrito na seção Antes de começar.

2. Copie a seguinte restrição para um arquivo YAML:

     name: organizations/ORGANIZATION_ID/customConstraints/custom.denyLineageProcess
     resourceTypes: datalineage.googleapis.com/Process
     methodTypes:
       - CREATE
       - UPDATE
     condition:
       "resource.name.contains('invalid_name')"
     actionType: DENY
     displayName: Do not allow data lineage process with 'invalid_name' to be created.
   

   Substitua ORGANIZATION_ID pelo ID numérico da sua organizaçãoGoogle Cloud .

3. Configure a restrição personalizada e aplique ao projeto que você criou para testar a restrição da política da organização personalizada.

4. Crie um processo com o nome que você incluiu na restrição personalizada.

   curl -s -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application.json" \
   "https://datalineage.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/processes" \
   -d '{"name":"projects/PROJECT_ID/locations/LOCATION/processes/invalid_name"}'

   Substitua:

   • PROJECT_ID: ID do projeto em que o processo é criado. Ele precisa estar na mesma organização em que a restrição foi definida.
   • LOCATION: Google Cloud região em que o processo é criado.

   A saída é esta:

   Operation denied by org policy on resource 'projects/PROJECT_ID/locations/LOCATION': ["customConstraints/custom.denyLineageProcess"]
   

Recursos e operações com suporte da linhagem de dados

Os seguintes campos de restrição personalizada estão disponíveis para uso ao criar ou atualizar um processo de linhagem de dados:

• resource.name
• resource.displayName
• resource.origin.name
• resource.origin.sourceType

As restrições personalizadas são verificadas para os seguintes métodos:

• CreateProcess
• UpdateProcess
• ProcessopenLineageRunEvent

Exemplos de políticas personalizadas da organização para casos de uso comuns

A tabela a seguir mostra a sintaxe de algumas restrições personalizadas para casos de uso comuns:

Para mais informações sobre as macros da CEL disponíveis para uso em condições de restrição personalizada, consulte Common Expression Language.

Caso de uso	Sintaxe da restrição
Desativar a criação de processos de linhagem de dados	name: organizations/ORGANIZATION_ID/customConstraints/custom.denyLineageProcessesCreation resourceTypes: - datalineage.googleapis.com/Process methodTypes: - CREATE condition: "True" actionType: DENY displayName: Deny creation of all data lineage processes.
Desativar a criação de processos de linhagem de dados pelo BigQuery ou Dataproc	name: organizations/ORGANIZATION_ID/customConstraints/custom.denyLineageProcessesCreation resourceTypes: - datalineage.googleapis.com/Process methodTypes: - CREATE condition: "resource.origin.sourceType == 'BIGQUERY' || resource.origin.sourceType == 'DATAPROC'" actionType: DENY displayName: Deny data lineage processes created by BigQuery or Dataproc.
Desativar processos de linhagem de dados com o nome especificado	name: organizations/ORGANIZATION_ID/customConstraints/custom.denyLineageProcessesCreation resourceTypes: - datalineage.googleapis.com/Process methodTypes: - CREATE - UPDATE condition: "resource.name.contains('RESTRICTED_NAME')" actionType: DENY displayName: Deny data lineage processes whose name contains RESTRICTED_NAME.

A seguir

• Consulte Introdução ao serviço Política da organização para saber mais sobre as políticas da organização.
• Saiba mais sobre como criar e gerenciar políticas da organização.
• Veja a lista completa de restrições da política da organização predefinidas.