Gerenciar recursos do Dataflow usando restrições personalizadas

Com a política da organização doGoogle Cloud , você controla de forma centralizada e programática os recursos da sua organização. Um administrador de políticas da organização pode definir políticas da organização, ou seja, conjuntos de restrições que se aplicam aos recursos doGoogle Cloud e aos elementos que descendem dele na hierarquia de recursos doGoogle Cloud . É possível aplicar políticas da organização no nível da organização, de pastas ou de projetos.

A política da organização fornece restrições predefinidas para diversos serviços doGoogle Cloud . No entanto, se você quiser um controle mais granular e personalizável sobre os campos específicos restritos nas suas políticas da organização, crie também políticas da organização personalizadas.

Benefícios

É possível usar uma política da organização personalizada para permitir ou negar a criação de jobs do Dataflow com condições baseadas em atributos de recursos com suporte, como nome, tipo e opções de serviços.

Herança de políticas

Por padrão, as políticas da organização são herdadas pelos elementos que descendem dos recursos em que elas são aplicadas. Por exemplo, se você aplicar uma política a uma pasta, o Google Cloud vai aplicá-la a todos os projetos desta pasta. Para saber mais sobre esse comportamento e como fazer alterações, confira Regras para a avaliação da hierarquia.

Preços

O Organization Policy Service, incluindo políticas predefinidas e personalizadas, é oferecido sem custos financeiros.

Limitações

As restrições personalizadas para recursos Job do Dataflow só podem ser configuradas usando o console do Google Cloud ou a Google Cloud CLI.
As restrições personalizadas só podem ser aplicadas no método CREATE para recursos Job do Dataflow.
As restrições personalizadas recém-aplicadas não se aplicam aos recursos atuais.

Antes de começar

Para mais informações sobre o que são políticas e restrições da organização e como elas funcionam, consulte Introdução ao serviço de políticas da organização.

Funções exigidas

Para receber as permissões necessárias a fim de gerenciar as políticas da organização, peça ao administrador para conceder a você o papel do IAM de Administrador de políticas da organização (roles/orgpolicy.policyAdmin) na organização. Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esse papel predefinido contém as permissões necessárias para gerenciar as políticas da organização. Para conferir as permissões exatas necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As permissões a seguir são necessárias para gerenciar as políticas da organização:

orgpolicy.constraints.list
orgpolicy.policies.create
orgpolicy.policies.delete
orgpolicy.policies.list
orgpolicy.policies.update
orgpolicy.policy.get
orgpolicy.policy.set

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

Criar uma restrição personalizada

Uma restrição personalizada é definida em um arquivo YAML pelos recursos, métodos, condições e ações compatíveis com o serviço em que você está aplicando a política da organização. As condições das restrições personalizadas são definidas usando a Common Expression Language (CEL). Para mais informações sobre como criar condições em restrições personalizadas usando a CEL, consulte a seção CEL de Como criar e gerenciar restrições personalizadas.

Para criar um arquivo YAML para uma restrição personalizada:

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- dataflow.googleapis.com/RESOURCE_NAME
methodTypes:
- CREATE
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

Substitua:

ORGANIZATION_ID: o ID da organização, como 123456789.
CONSTRAINT_NAME: o nome da sua nova restrição personalizada. Uma restrição personalizada precisa começar com custom., e só pode incluir letras maiúsculas, minúsculas ou números, por exemplo, custom.denyPrimeJobs. O tamanho máximo desse campo é de 70 caracteres, sem contar o prefixo (por exemplo, organizations/123456789/customConstraints/custom).
RESOURCE_NAME: o nome (não o URI) do recurso REST da API Dataflow que contém o objeto e o campo que você quer restringir. Por exemplo, dataflow.googleapis.com/Job.
CONDITION: uma condição de CEL gravada em uma representação de um recurso de serviço compatível. Esse campo pode ter no máximo 1000 caracteres. Consulte Recursos compatíveis para mais informações sobre os recursos disponíveis para gravação de condições. Por exemplo, "resource.environment.serviceOptions.exists(value, value=='enable_prime')".
ACTION: a ação a ser realizada ao atender a condition. Os valores com suporte são ALLOW e DENY.
DISPLAY_NAME: um nome legível para a restrição. Esse campo pode ter no máximo 200 caracteres.
DESCRIPTION: uma descrição legível da restrição a ser exibida como mensagem de erro quando a política é violada. Esse campo pode ter no máximo 2000 caracteres.

Para saber como criar uma restrição personalizada, consulte Como definir restrições personalizadas.

Configurar uma restrição personalizada

Console

Para criar uma restrição personalizada, faça o seguinte:

No console do Google Cloud , acesse a página Políticas da organização.
Acessar a página Políticas da organização
No seletor de projetos, selecione o projeto em que você quer definir a política da organização.
Clique em Restrição personalizada.
Na caixa Nome de exibição, insira um nome legível para a restrição. Esse nome é usado em mensagens de erro e pode ser usado para identificação e depuração. Não use informações de identificação pessoal (PII) ou dados sensíveis em nomes de exibição, porque eles podem ser expostos em mensagens de erro. Esse campo pode ter até 200 caracteres.
Na caixa ID da restrição, insira o ID que você quer para a nova restrição personalizada. Uma restrição personalizada só pode conter letras (maiúsculas e minúsculas) ou números, por exemplo, custom.denyPrimeJobs. Esse campo pode conter até 70 caracteres, sem contar o prefixo (custom.), por exemplo, organizations/123456789/customConstraints/custom. Não inclua PII ou dados sensíveis no ID da restrição, porque eles podem ser expostos em mensagens de erro.
Na caixa Descrição, insira uma descrição legível da restrição. Essa descrição é usada como uma mensagem de erro quando a política é violada. Inclua detalhes sobre o motivo da violação e como resolver o problema. Não inclua PII ou dados sensíveis na descrição, porque eles podem ser expostos em mensagens de erro. Esse campo pode conter até 2.000 caracteres.
Na caixa Tipo de recurso, selecione o nome do recurso REST do Google Cloud que contém o objeto e o campo que você quer restringir. Por exemplo, container.googleapis.com/NodePool. A maioria dos tipos de recursos aceita até 20 restrições personalizadas. Se você tentar criar mais restrições personalizadas, a operação vai falhar.
Essa restrição só pode ser aplicada no método REST CREATE.

Para ver os métodos compatíveis para cada serviço, encontre o serviço em Serviços que aceitam restrições personalizadas.

Para definir uma condição, clique em Editar condição.

No painel Adicionar condição, crie uma condição de CEL que se refira a um recurso de serviço compatível, por exemplo, resource.management.autoUpgrade == false. Esse campo pode ter até 1.000 caracteres. Para detalhes sobre o uso da CEL, consulte Common Expression Language. Para mais informações sobre os recursos de serviço que você pode usar nas restrições personalizadas, consulte Serviços compatíveis com restrição personalizada.
Clique em Salvar.

Em Ação, selecione se você quer permitir ou negar o método avaliado quando a condição é atendida.

A ação de negação significa que a operação para criar ou atualizar o recurso será bloqueada se a condição for avaliada como verdadeira.

A ação de permissão significa que a operação para criar ou atualizar o recurso só é permitida se a condição for avaliada como verdadeira. Todos os outros casos, exceto os listados explicitamente na condição, estão bloqueados.

Clique em Criar restrição.

Quando você digita um valor em cada campo, a configuração YAML equivalente à restrição personalizada aparece à direita.

gcloud

Para criar uma restrição personalizada, crie um arquivo YAML com o seguinte formato:

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes: RESOURCE_NAME
methodTypes:
  - CREATE
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

Substitua:

ORGANIZATION_ID: o ID da organização, como 123456789.
CONSTRAINT_NAME: o nome da sua nova restrição personalizada. Uma restrição personalizada só pode conter letras (maiúsculas e minúsculas) ou números, por exemplo, custom.denyPrimeJobs. Esse campo pode conter até 70 caracteres, sem contar o prefixo (custom.), por exemplo, organizations/123456789/customConstraints/custom. Não inclua PII ou dados sensíveis no ID da restrição, porque eles podem ser expostos em mensagens de erro.
RESOURCE_NAME: o nome totalmente qualificado do recurso Google Cloud que contém o objeto e o campo que você quer restringir. Por exemplo, dataflow.googleapis.com/Job. A maioria dos tipos de recursos aceita até 20 restrições personalizadas. Se você tentar criar mais restrições personalizadas, a operação vai falhar.
methodTypes: os métodos REST em que a restrição é aplicada. Só pode ser CREATE.

Para ver os métodos compatíveis com cada serviço, encontre o serviço em Serviços que aceitam restrições personalizadas.

CONDITION: uma condição de CEL gravada em uma representação de um recurso de serviço compatível. Esse campo pode conter até 1.000 caracteres. Por exemplo, "resource.environment.serviceOptions.exists(value, value=='enable_prime')".

Para mais informações sobre os recursos disponíveis para gravação de condições, consulte Recursos compatíveis.

ACTION: a ação a ser realizada se o condition for atendido. Só pode ser ALLOW.

A ação "permitir" significa que, se a condição for avaliada como verdadeira, a operação para criar ou atualizar o recurso será permitida. Isso também significa que todos os outros casos, exceto o listado explicitamente na condição, estão bloqueados.

DISPLAY_NAME: um nome legível para a restrição. Esse nome é usado em mensagens de erro e pode ser usado para identificação e depuração. Não use PII ou dados sensíveis em nomes de exibição, porque eles podem ser expostos em mensagens de erro. Esse campo pode ter até 200 caracteres.
DESCRIPTION: uma descrição legível da restrição a ser exibida como uma mensagem de erro quando a política for violada. Esse campo pode conter até 2.000 caracteres.

Depois de criar o arquivo YAML para uma nova restrição personalizada, faça a configuração necessária para disponibilizá-la para as políticas da organização. Para configurar uma restrição personalizada, use o comando gcloud org-policies set-custom-constraint:

gcloud org-policies set-custom-constraint CONSTRAINT_PATH

Substitua CONSTRAINT_PATH pelo caminho completo do arquivo de restrição personalizada. Por exemplo, /home/user/customconstraint.yaml.

Após a conclusão, as restrições personalizadas vão estar disponíveis como políticas da organização na lista de políticas da organização do Google Cloud .

Para verificar se a restrição personalizada existe, use o comando gcloud org-policies list-custom-constraints:

gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID

Substitua ORGANIZATION_ID pelo ID do recurso da organização.

Para mais informações, consulte Como visualizar políticas da organização.

Aplicar uma política personalizada da organização

Para aplicar uma restrição, crie uma política da organização que faça referência a ela e aplique essa política a um recurso do Google Cloud .

Console

No console do Google Cloud , acesse a página Políticas da organização.
Acessar a página Políticas da organização
No seletor de projetos, selecione o projeto em que você quer definir a política da organização.
Na lista da página Políticas da organização, selecione uma restrição para acessar a página Detalhes da política associada.
Para configurar a política da organização nesse recurso, clique em Gerenciar política.
Na página Editar política, selecione Substituir a política do recurso pai.
Clique em Adicionar uma regra.
Na seção Aplicação, selecione se essa política da organização é aplicada ou não.
Opcional: para tornar a política da organização condicional em uma tag, clique em Adicionar condição. Se você adicionar uma regra condicional a uma política da organização, inclua pelo menos uma regra não condicional para que a política seja salva. Para mais informações, consulte Definir o escopo das políticas da organização com tags.
Clique em Testar mudanças para simular o efeito da política da organização. Para mais informações, consulte Testar mudanças na política da organização com o Simulador de política.
Para aplicar a política da organização no modo de teste, clique em Definir política de simulação. Para mais informações, consulte Testar políticas da organização.
Depois de verificar se a política da organização no modo de simulação funciona como esperado, clique em Definir política para definir a política ativa.

gcloud

Para criar uma política da organização com regras booleanas, crie um arquivo YAML para a política que faça referência à restrição:

name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
spec:
  rules:
  - enforce: true

dryRunSpec:
  rules:
  - enforce: true

Substitua:

PROJECT_ID: o projeto em que você quer aplicar a restrição.
CONSTRAINT_NAME: o nome definido para a restrição personalizada. Por exemplo, custom.denyPrimeJobs.

Para aplicar a política da organização no modo de teste, execute o seguinte comando com a flag dryRunSpec:

gcloud org-policies set-policy POLICY_PATH --update-mask=dryRunSpec

Substitua POLICY_PATH pelo caminho completo para o arquivo YAML da política da organização. A política leva até 15 minutos para entrar em vigor.

Depois de verificar se a política da organização no modo de simulação funciona conforme o esperado, defina a política ativa com o comando org-policies set-policy e a flag spec:

gcloud org-policies set-policy POLICY_PATH --update-mask=spec

Substitua POLICY_PATH pelo caminho completo para o arquivo YAML da política da organização. A política leva até 15 minutos para entrar em vigor.

Exemplo: criar uma restrição para negar a criação de um job com o Prime ativado

gcloud

Crie um arquivo de restrição denyPrimeJobs.yaml com as seguintes informações. Substitua ORGANIZATION_ID pelo ID da organização.

name: organizations/ORGANIZATION_ID/customConstraints/custom.denyPrimeJobs
resource_types: dataflow.googleapis.com/Job
condition: "resource.environment.serviceOptions.exists(value, value=='enable_prime')"
action_type: DENY
method_types: CREATE
display_name: Restrict creation of job with prime enabled
description: Deny creation of jobs with prime enabled.

Defina a restrição personalizada.

gcloud org-policies set-custom-constraint denyPrimeJobs.yaml

Crie um arquivo de política enforce-policy-denyPrimeJobs.yaml com a seguinte informação. Neste exemplo, a restrição é aplicada no nível do projeto. Também é possível definir essa restrição no nível da organização ou da pasta. Substitua PROJECT_ID pelo ID do projeto.
```
      name: projects/PROJECT_ID/policies/custom.denyPrimeJobs
      spec:
        rules:
        – enforce: true
```

Aplique a política executando o comando a seguir.

gcloud org-policies set-policy enforce-policy-denyPrimeJobs.yaml

Para testar a restrição, tente criar um job do Dataflow com a opção enable_prime. Siga o guia de início rápido Criar um pipeline do Dataflow usando Java para criar um job de contagem de palavras.

mvn -Pdataflow-runner compile \
exec:java \
-Dexec.mainClass=org.apache.beam.examples.WordCount \
-Dexec.args="--project=PROJECT_ID \
--gcpTempLocation=gs://BUCKET_NAME/temp/ \
--output=gs://BUCKET_NAME/output \
--runner=DataflowRunner \
--region=us-central1 \
--dataflowServiceOptions=enable_prime" \
-Pdataflow-runner

A resposta será semelhante a:

"details" : [ {
  "@type" : "type.googleapis.com/google.rpc.ErrorInfo",
  "reason" : "CUSTOM_ORG_POLICY_VIOLATION"
}]

O registro de auditoria mostra os detalhes da violação da seguinte forma:

  policyViolationInfo: {
    orgPolicyViolationInfo: {
    violationInfo: [
    0: {
      constraint: "customConstraints/custom.denyPrimeJobs"
      errorMessage: "Restrict creation of job with prime enabled"
      policyType: "CUSTOM_CONSTRAINT"
    }]}}

Campos de expressão para condições

A tabela a seguir contém os campos de expressão que podem ser usados para criar condições. As condições são escritas no Common Expression Language (CEL). O valor dos campos de expressão diferencia maiúsculas de minúsculas.

Para descrições dos campos de expressão a seguir e quais valores é possível especificar, consulte a representação JSON Job do Dataflow.

Campo de expressão	Tipo de valor
`name`	`string`
`type`	`string`
`transformNameMapping`	`map`
`location`	`string`
`environment`	`message`
`environment.serviceOptions`	`list of string`
`environment.serviceKmsKeyName`	`string`
`environment.serviceAccountEmail`	`string`
`environment.workerRegion`	`string`
`environment.workerZone`	`string`
`environment.streamingMode`	`string`
`environment.debugOptions`	`message`
`environment.debugOptions.enableHotKeyLogging`	`bool`

Exemplos de casos de uso

Confira alguns exemplos de casos de uso na tabela a seguir.

Caso de uso	Ação	Restrição personalizada
Não permitir o uso de trabalho principal	NEGAR	`resource.environment.serviceOptions.exists(value, value=='enable_prime')`
Evita que as VMs aceitem chaves SSH armazenadas nos metadados do projeto.	NEGAR	`!resource.environment.serviceOptions.exists(value, value=='block_project_ssh_keys')`
Não permitir jobs sem definir o número máximo de segundos que o job pode executar	NEGAR	`!resource.environment.serviceOptions.exists(value, value.contains('max_workflow_runtime_walltime_seconds=')`

A seguir

Consulte Introdução ao serviço Política da organização para saber mais sobre as políticas da organização.
Saiba mais sobre como criar e gerenciar políticas da organização.
Veja a lista completa de restrições da política da organização predefinidas.

Gerenciar recursos do Dataflow usando restrições personalizadas Mantenha tudo organizado com as coleções Salve e categorize o conteúdo com base nas suas preferências.

Benefícios

Herança de políticas

Preços

Limitações

Antes de começar

Funções exigidas

Permissões necessárias

Criar uma restrição personalizada

Configurar uma restrição personalizada

Console

gcloud

Aplicar uma política personalizada da organização

Console

gcloud

Exemplo: criar uma restrição para negar a criação de um job com o Prime ativado

gcloud

Campos de expressão para condições

Exemplos de casos de uso

A seguir

Gerenciar recursos do Dataflow usando restrições personalizadas