Faça a gestão de recursos de linhagem de dados através de restrições personalizadas

Pode usar restrições personalizadas da Política de organização para restringir operações específicas em recursos de linhagem de dados. Google Cloud Embora a política da organização forneça restrições predefinidas para vários serviços, as restrições personalizadas permitem-lhe definir um controlo detalhado sobre campos específicos nas políticas da organização.Google Cloud

Acerca da Google Cloud Política da organização

Google Cloud A política da organização dá-lhe um controlo centralizado e programático sobre os recursos da sua organização. Enquanto administrador da política da organização, pode definir uma política da organização, que é um conjunto de restrições denominadas restrições que se aplicam a recursos e descendentes desses recursos na Google Cloud hierarquia de recursos. Google Cloud Pode aplicar políticas de organização ao nível da organização, da pasta ou do projeto.

Vantagens

As políticas de organização personalizadas oferecem um controlo mais detalhado e personalizável sobre os campos específicos que estão restritos nas políticas de organização.

Pode usar uma política de organização personalizada para permitir ou negar a criação de processos de linhagem de dados com condições baseadas em atributos de recursos suportados, como o nome do processo, o tipo de origem e a origem.

Para mais informações, consulte as restrições predefinidas.

Herança de políticas

Por predefinição, as políticas da organização são herdadas pelos descendentes dos recursos nos quais aplica a política. Por exemplo, se aplicar uma política a uma pasta, Google Cloud aplica a política a todos os projetos na pasta. Para saber mais acerca deste comportamento e como o alterar, consulte as regras de avaliação da hierarquia.

Preços

O serviço de políticas da organização, incluindo políticas da organização predefinidas e personalizadas, é oferecido sem custo financeiro.

Limitações

• As restrições personalizadas só podem ser aplicadas a recursos de linhagem de dados Process. Outros recursos, como Runs e Events, não são suportados.

• As restrições personalizadas aplicadas recentemente não se aplicam aos recursos existentes.

Antes de começar

• Certifique-se de que sabe o ID da sua organização.

• Se quiser testar políticas de organização personalizadas que referenciem recursos de linhagem de dados, crie um novo projeto. Testar estas políticas da organização num projeto existente pode interromper os fluxos de trabalho de segurança.

  1. Ensure that you have the Project Creator IAM role (roles/resourcemanager.projectCreator). Learn how to grant roles.

  2. In the Google Cloud console, go to the project selector page.

     Go to project selector

  3. Click Create project.

  4. Name your project. Make a note of your generated project ID.

  5. Edit the other fields as needed.

  6. Click Create.

Funções necessárias

Para receber as autorizações de que precisa para gerir políticas da organização, peça ao seu administrador para lhe conceder a função de IAM de administrador de políticas da organização (roles/orgpolicy.policyAdmin) na organização. Para mais informações sobre a atribuição de funções, consulte o artigo Faça a gestão do acesso a projetos, pastas e organizações.

Esta função predefinida contém as autorizações necessárias para gerir políticas da organização. Para ver as autorizações exatas que são necessárias, expanda a secção Autorizações necessárias:

Autorizações necessárias

São necessárias as seguintes autorizações para gerir as políticas da organização:

• orgpolicy.constraints.list
• orgpolicy.policies.create
• orgpolicy.policies.delete
• orgpolicy.policies.list
• orgpolicy.policies.update
• orgpolicy.policy.get
• orgpolicy.policy.set

Também pode conseguir estas autorizações com funções personalizadas ou outras funções predefinidas.

Crie uma restrição personalizada

Uma restrição personalizada é definida num ficheiro YAML pelos recursos, métodos, condições e ações suportados pelo serviço no qual está a aplicar a política da organização. As condições para as restrições personalizadas são definidas através do Idioma de expressão comum (IEC). Para mais informações sobre como criar condições em restrições personalizadas através da CEL, consulte a secção CEL do artigo Criar e gerir restrições personalizadas.

Para criar um ficheiro YAML para uma restrição personalizada:

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- datalineage.googleapis.com/RESOURCE_TYPE
methodTypes:
- CREATE
- UPDATE
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

Substitua o seguinte:

• ORGANIZATION_ID: o ID da sua organização, como 123456789.

• CONSTRAINT_NAME: o nome que quer para a nova restrição personalizada. Uma restrição personalizada tem de começar com custom. e só pode incluir letras maiúsculas, letras minúsculas ou números, por exemplo, custom.denyLineageProcess. O comprimento máximo deste campo é de 70 carateres, sem contar com o prefixo, por exemplo, organizations/123456789/customConstraints/custom.

• RESOURCE_TYPE: o nome (não o URI) do recurso REST da API Data Lineage que contém o objeto e o campo que quer restringir. Para a linhagem de dados, só está disponível o Process.

• CONDITION: uma condição CEL escrita em função de uma representação de um recurso de serviço suportado. Este campo tem um comprimento máximo de 1000 carateres. Consulte o artigo Recursos suportados para mais informações sobre os recursos disponíveis para escrever condições. Por exemplo, "resource.name.contains('invalid_name')".

• ACTION: a ação a tomar se a condição condition for cumprida. Pode ser ALLOW ou DENY.

• DISPLAY_NAME: um nome simples para a restrição. Este campo tem um comprimento máximo de 200 carateres.

• DESCRIPTION: uma descrição acessível da restrição a apresentar como uma mensagem de erro quando a política é violada. Este campo tem um comprimento máximo de 2000 carateres.

Para mais informações sobre como criar uma restrição personalizada, consulte o artigo Definir restrições personalizadas.

Configure uma restrição personalizada

Consola

Para criar uma restrição personalizada, faça o seguinte:

1. Na Google Cloud consola, aceda à página Políticas de organização.

   Aceda às políticas da organização

2. No seletor de projetos, selecione o projeto para o qual quer definir a política de organização.
3. Clique em Restrição personalizada.
4. Na caixa Nome a apresentar, introduza um nome legível para a restrição. Este nome é usado em mensagens de erro e pode ser usado para identificação e depuração. Não use IIP nem dados confidenciais em nomes a apresentar, uma vez que este nome pode ser exposto em mensagens de erro. Este campo pode conter até 200 carateres.
5. Na caixa ID da restrição, introduza o nome pretendido para a nova restrição personalizada. Uma restrição personalizada só pode conter letras (incluindo maiúsculas e minúsculas) ou números, por exemplo, custom.disableGkeAutoUpgrade. Este campo pode conter até 70 carateres, sem contar com o prefixo (custom.), por exemplo, organizations/123456789/customConstraints/custom. Não inclua PII nem dados confidenciais no ID da restrição, uma vez que podem ser expostos em mensagens de erro.
6. Na caixa Descrição, introduza uma descrição legível da restrição. Esta descrição é usada como uma mensagem de erro quando a política é violada. Inclua detalhes sobre o motivo da violação de política e como resolvê-la. Não inclua PII nem dados confidenciais na descrição, uma vez que podem ser expostos em mensagens de erro. Este campo pode conter até 2000 carateres.
7. Na caixa Tipo de recurso, selecione o nome do Google Cloud recurso REST que contém o objeto e o campo que quer restringir, por exemplo, container.googleapis.com/NodePool. A maioria dos tipos de recursos suporta até 20 restrições personalizadas. Se tentar criar mais restrições personalizadas, a operação falha.
8. Em Método de aplicação, selecione se quer aplicar a restrição a um método CREATE do REST ou aos métodos CREATE e UPDATE. Se aplicar a restrição com o método UPDATE num recurso que viole a restrição, as alterações a esse recurso são bloqueadas pela política da organização, a menos que a alteração resolva a violação.

Nem todos os serviços Google Cloud suportam ambos os métodos. Para ver os métodos suportados para cada serviço, encontre o serviço em Serviços suportados.

9. Para definir uma condição, clique em Editar condição.
1. No painel Adicionar condição, crie uma condição CEL que faça referência a um recurso de serviço suportado, por exemplo, resource.management.autoUpgrade == false. Este campo pode conter até 1000 carateres. Para ver detalhes sobre a utilização do IEC, consulte o artigo Idioma de expressão comum. Para mais informações sobre os recursos de serviço que pode usar nas suas restrições personalizadas, consulte Serviços suportados de restrições personalizadas.
2. Clique em Guardar.
10. Em Ação, selecione se quer permitir ou recusar o método avaliado se a condição for cumprida.

A ação de recusa significa que a operação para criar ou atualizar o recurso é bloqueada se a condição for avaliada como verdadeira.

A ação allow significa que a operação para criar ou atualizar o recurso só é permitida se a condição for avaliada como verdadeira. Todos os outros casos, exceto os explicitamente listados na condição, são bloqueados.

11. Clique em Criar restrição.

Quando tiver introduzido um valor em cada campo, a configuração YAML equivalente para esta restrição personalizada é apresentada à direita.

gcloud

1. Para criar uma restrição personalizada, crie um ficheiro YAML com o seguinte formato:

      name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
      resourceTypes:
      - RESOURCE_NAME
      methodTypes:
      - CREATE
- UPDATE 
      condition: "CONDITION"
      actionType: ACTION
      displayName: DISPLAY_NAME
      description: DESCRIPTION
      

Substitua o seguinte:

• ORGANIZATION_ID: o ID da sua organização, como 123456789.
• CONSTRAINT_NAME: o nome que quer para a sua nova restrição personalizada. Uma restrição personalizada só pode conter letras (incluindo maiúsculas e minúsculas) ou números, por exemplo, custom.denyLineageProcess. Este campo pode conter até 70 carateres.
• RESOURCE_NAME: o nome totalmente qualificado do recurso que contém o objeto e o campo que quer restringir. Google CloudPor exemplo, datalineage.googleapis.com/Process.
• CONDITION: uma condição CEL escrita em função de uma representação de um recurso de serviço suportado. Este campo pode conter até 1000 carateres. Por exemplo, "resource.name.contains('invalid_name')".

Para mais informações sobre os recursos disponíveis para escrever condições, consulte o artigo Recursos suportados.

• ACTION: a ação a realizar se a condição condition for cumprida. Os valores possíveis são ALLOW e DENY.

A ação allow significa que, se a condição for avaliada como verdadeira, a operação para criar ou atualizar o recurso é permitida. Isto também significa que todos os outros casos, exceto o que está explicitamente listado na condição, são bloqueados.

A ação de recusa significa que, se a condição for avaliada como verdadeira, a operação para criar ou atualizar o recurso é bloqueada.

• DISPLAY_NAME: um nome intuitivo para a restrição. Este campo pode conter até 200 carateres.
• DESCRIPTION: uma descrição acessível da restrição a apresentar como uma mensagem de erro quando a política é violada. Este campo pode conter até 2000 carateres.
2. Depois de criar o ficheiro YAML para uma nova restrição personalizada, tem de a configurar para a disponibilizar para as políticas da organização na sua organização. Para configurar uma restrição personalizada, use o comando gcloud org-policies set-custom-constraint:

        gcloud org-policies set-custom-constraint CONSTRAINT_PATH
      

Substitua CONSTRAINT_PATH pelo caminho completo para o ficheiro de restrição personalizado. Por exemplo, /home/user/customconstraint.yaml.

Após a conclusão desta operação, as restrições personalizadas ficam disponíveis como políticas da organização na sua lista de Google Cloud políticas da organização.

3. Para verificar se a restrição personalizada existe, use o comando gcloud org-policies list-custom-constraints:

      gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID
      

Substitua ORGANIZATION_ID pelo ID do recurso da sua organização.

Para mais informações, consulte o artigo Ver políticas da organização.

Aplique uma política da organização personalizada

Pode aplicar uma restrição criando uma política da organização que a referencie e, em seguida, aplicando essa política da organização a um Google Cloud recurso.

Consola

1. Na Google Cloud consola, aceda à página Políticas de organização.

   Aceda às políticas da organização

2. No seletor de projetos, selecione o projeto para o qual quer definir a política de organização.
3. Na lista da página Políticas da organização, selecione a restrição para ver a página Detalhes da política dessa restrição.
4. Para configurar a política da organização para este recurso, clique em Gerir política.
5. Na página Editar política, selecione Substituir política do elemento principal.
6. Clique em Adicionar regra.
7. Na secção Aplicação, selecione se esta política de organização é aplicada ou não.
8. Opcional: para tornar a política de organização condicional a uma etiqueta, clique em Adicionar condição. Tenha em atenção que, se adicionar uma regra condicional a uma política da organização, tem de adicionar, pelo menos, uma regra incondicional. Caso contrário, não é possível guardar a política. Para mais informações, consulte Definir uma política de organização com etiquetas.
9. Clique em Testar alterações para simular o efeito da política da organização. Para mais informações, consulte o artigo Teste as alterações da política da organização com o simulador de políticas.
10. Para aplicar a política da organização no modo de execução de ensaio, clique em Definir política de execução de ensaio. Para mais informações, consulte Crie uma política de organização no modo de teste.
11. Depois de verificar que a política da organização no modo de teste funciona como esperado, clique em Definir política para definir a política ativa.

gcloud

1. Para criar uma política da organização com regras booleanas, crie um ficheiro YAML de política que faça referência à restrição:

        name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
        spec:
          rules:
          - enforce: true
        
        dryRunSpec:
          rules:
          - enforce: true
        
      

Substitua o seguinte:

• PROJECT_ID: o projeto no qual quer aplicar a restrição.
• CONSTRAINT_NAME: o nome que definiu para a restrição personalizada. Por exemplo, custom.denyLineageProcess.
2. Para aplicar a política da organização no modo de teste, execute o seguinte comando com a flag dryRunSpec:

        gcloud org-policies set-policy POLICY_PATH \
          --update-mask=dryRunSpec
      

Substitua POLICY_PATH pelo caminho completo para o ficheiro YAML da política da organização. A política demora até 15 minutos a entrar em vigor.

3. Depois de verificar que a política da organização no modo de teste funciona como pretendido, defina a política ativa com o comando org-policies set-policy e a flag spec:

        gcloud org-policies set-policy POLICY_PATH \
          --update-mask=spec
      

Substitua POLICY_PATH pelo caminho completo para o ficheiro YAML da política da organização. A política demora até 15 minutos a entrar em vigor.

Teste a política de organização personalizada

Esta secção descreve como testar uma restrição de política da organização que impede os utilizadores de criarem um processo de linhagem de dados com um nome que contenha o texto invalid_name.

Se quiser testar esta restrição personalizada, faça o seguinte:

1. Crie um novo projeto, conforme descrito na secção Antes de começar.

2. Copie a seguinte restrição para um ficheiro YAML:

     name: organizations/ORGANIZATION_ID/customConstraints/custom.denyLineageProcess
     resourceTypes: datalineage.googleapis.com/Process
     methodTypes:
       - CREATE
       - UPDATE
     condition:
       "resource.name.contains('invalid_name')"
     actionType: DENY
     displayName: Do not allow data lineage process with 'invalid_name' to be created.
   

   Substitua ORGANIZATION_ID pelo ID numérico da sua organização.Google Cloud

3. Configure a restrição personalizada e aplique-a ao projeto que criou para testar a restrição personalizada da política de organização.

4. Crie um processo com o nome que incluiu na restrição personalizada.

   curl -s -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application.json" \
   "https://datalineage.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/processes" \
   -d '{"name":"projects/PROJECT_ID/locations/LOCATION/processes/invalid_name"}'

   Substitua o seguinte:

   • PROJECT_ID: ID do projeto onde o processo é criado. Tem de estar na mesma organização em que a restrição está definida.
   • LOCATION: Google Cloud região onde o processo é criado.

   O resultado é o seguinte:

   Operation denied by org policy on resource 'projects/PROJECT_ID/locations/LOCATION': ["customConstraints/custom.denyLineageProcess"]
   

Recursos e operações suportados da linhagem de dados

Os seguintes campos de restrição personalizada estão disponíveis para utilização quando cria ou atualiza um processo de linhagem de dados:

• resource.name
• resource.displayName
• resource.origin.name
• resource.origin.sourceType

As restrições personalizadas são verificadas para os seguintes métodos:

• CreateProcess
• UpdateProcess
• ProcessopenLineageRunEvent

Exemplos de políticas da organização personalizadas para exemplos de utilização comuns

A tabela seguinte apresenta a sintaxe de algumas restrições personalizadas para exemplos de utilização comuns:

Para mais informações sobre as macros do IEC disponíveis para utilização em condições de restrição personalizadas, consulte o artigo Idioma de expressão comum.

Exemplo de utilização	Sintaxe de restrição
Desative a criação de processos de linhagem de dados	name: organizations/ORGANIZATION_ID/customConstraints/custom.denyLineageProcessesCreation resourceTypes: - datalineage.googleapis.com/Process methodTypes: - CREATE condition: "True" actionType: DENY displayName: Deny creation of all data lineage processes.
Desative a criação de processos de linhagem de dados pelo BigQuery ou Dataproc	name: organizations/ORGANIZATION_ID/customConstraints/custom.denyLineageProcessesCreation resourceTypes: - datalineage.googleapis.com/Process methodTypes: - CREATE condition: "resource.origin.sourceType == 'BIGQUERY' || resource.origin.sourceType == 'DATAPROC'" actionType: DENY displayName: Deny data lineage processes created by BigQuery or Dataproc.
Desative os processos de linhagem de dados com o nome especificado	name: organizations/ORGANIZATION_ID/customConstraints/custom.denyLineageProcessesCreation resourceTypes: - datalineage.googleapis.com/Process methodTypes: - CREATE - UPDATE condition: "resource.name.contains('RESTRICTED_NAME')" actionType: DENY displayName: Deny data lineage processes whose name contains RESTRICTED_NAME.

O que se segue?

• Consulte o artigo Introdução ao serviço de políticas de organização para saber mais sobre as políticas de organização.
• Saiba como criar e gerir políticas da organização.
• Consulte a lista completa de restrições da política de organização predefinidas.