"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).

Google uses AI technology to translate content into your preferred language. AI translations can contain errors.

Gerenciar recursos usando restrições personalizadas

Com a política da organização doGoogle Cloud , você controla de forma centralizada e programática os recursos da sua organização. Um administrador de políticas da organização pode definir políticas da organização, ou seja, conjuntos de restrições que se aplicam aos recursos doGoogle Cloud e aos elementos que descendem dele na hierarquia de recursos doGoogle Cloud . É possível aplicar políticas da organização no nível da organização, de pastas ou de projetos.

A política da organização oferece restrições predefinidas para vários serviços doGoogle Cloud . No entanto, se você quiser um controle mais granular e personalizável sobre os campos específicos restritos nas suas políticas da organização, crie também restrições personalizadas e use-as em uma política da organização.

Vantagens

É possível usar uma política personalizada da organização para permitir ou negar operações específicas em clusters do Serviço Gerenciado para Apache Spark. Por exemplo, se uma solicitação para criar ou atualizar um cluster não atender à validação de restrição personalizada definida pela política da organização, a solicitação vai falhar, e um erro será retornado ao autor da chamada.

Herança de políticas

Por padrão, as políticas da organização são herdadas pelos elementos que descendem dos recursos em que elas são aplicadas. Por exemplo, se você aplicar uma política a uma pasta, o Google Cloud vai aplicá-la a todos os projetos dessa pasta. Para saber mais sobre esse comportamento e como alterá-lo, consulte Regras de avaliação de hierarquia.

Preços

O serviço de políticas da organização, incluindo as políticas da organização predefinidas e personalizadas, é oferecido sem custos financeiros.

Antes de começar

Configurar seu projeto
1. Verifique qual é o ID da organização.

Funções exigidas

Para receber as permissões necessárias para gerenciar políticas da organização, peça ao administrador que conceda a você os seguintes papéis do IAM:

Administrador de políticas da organização (roles/orgpolicy.policyAdmin) no recurso da organização
Para criar ou atualizar um cluster do Serviço Gerenciado para Apache Spark: Administrador ou editor do Serviço Gerenciado para Apache Spark (roles/dataproc.admin ou roles/dataproc.editor) no recurso do projeto

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esses papéis predefinidos contêm as permissões necessárias para gerenciar políticas da organizações. Para conferir as permissões exatas necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As permissões a seguir são necessárias para gerenciar as políticas da organização:

orgpolicy.constraints.list
orgpolicy.policies.create
orgpolicy.policies.delete
orgpolicy.policies.list
orgpolicy.policies.update
orgpolicy.policy.get
orgpolicy.policy.set

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

Criar uma restrição personalizada

Uma restrição personalizada é definida em um arquivo YAML pelos recursos, métodos, condições e ações a que ela é aplicada. O Serviço Gerenciado para Apache Spark oferece suporte a restrições personalizadas aplicadas aos métodos CREATE e UPDATE do recurso CLUSTER. Consulte Restrições do Serviço Gerenciado para Apache Spark em recursos e operações.

Para criar um arquivo YAML para uma restrição personalizada do Serviço Gerenciado para Apache Spark:

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- dataproc.googleapis.com/Cluster
methodTypes: 
- METHOD
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

Substitua:

ORGANIZATION_ID: o ID da organização, como 123456789.
CONSTRAINT_NAME: o nome da nova restrição personalizada. Uma restrição personalizada precisa começar com custom. e só pode incluir letras maiúsculas, minúsculas ou números, por exemplo, custom.dataprocEnableComponentGateway. O tamanho máximo desse campo é de 70 caracteres, sem contar o prefixo (por exemplo, organizations/123456789/customConstraints/custom).
METHOD: ao criar uma restrição de criação de cluster, especifique CREATE. Ao criar uma restrição de UPDATE de cluster, especifique as duas da seguinte maneira:
```
methodTypes:
- CREATE
- UPDATE
```
CONDITION: uma condição de CEL gravada em uma representação de um recurso de serviço compatível. Esse campo pode ter no máximo 1.000 caracteres. Consulte Recursos compatíveis para mais informações sobre os recursos disponíveis para gravação de condições. Por exemplo, "resource.config.endpointConfig.enableHttpPortAccess==true".
ACTION: a ação a ser realizada ao atender a condition. Pode ser ALLOW ou DENY.
DISPLAY_NAME: um nome legível para a restrição. Por exemplo, "Aplicar a ativação do Gateway de componentes do Dataproc". Esse campo pode ter no máximo 200 caracteres.
DESCRIPTION: uma descrição legível da restrição a ser exibida como uma mensagem de erro quando a política for violada, por exemplo, "Só permitir a criação de clusters do Dataproc se o Gateway de componentes estiver ativado". Esse campo tem um comprimento máximo de 2000 caracteres.

Para mais informações sobre como criar uma restrição personalizada, consulte Como definir restrições personalizadas.

Configurar uma restrição personalizada

Console

Para criar uma restrição personalizada, faça o seguinte:

No console do Google Cloud , acesse a página Políticas da organização.
Acessar a página Políticas da organização
No seletor de projetos, selecione o projeto em que você quer definir a política da organização.
Clique em Restrição personalizada.
Na caixa Nome de exibição, insira um nome legível para a restrição. Esse nome é usado em mensagens de erro e pode ser usado para identificação e depuração. Não use informações de identificação pessoal (PII) ou dados sensíveis em nomes de exibição, porque eles podem ser expostos em mensagens de erro. Esse campo pode ter até 200 caracteres.
Na caixa ID da restrição, insira o ID que você quer para a nova restrição personalizada. Uma restrição personalizada só pode conter letras (maiúsculas e minúsculas) ou números, por exemplo, custom.dataprocEnableComponentGateway. Esse campo pode conter até 70 caracteres, sem contar o prefixo (custom.), por exemplo, organizations/123456789/customConstraints/custom. Não inclua PII ou dados sensíveis no ID da restrição, porque eles podem ser expostos em mensagens de erro.
Na caixa Descrição, insira uma descrição legível da restrição. Essa descrição é usada como uma mensagem de erro quando a política é violada. Inclua detalhes sobre o motivo da violação e como resolver o problema. Não inclua PII ou dados sensíveis na descrição, porque eles podem ser expostos em mensagens de erro. Esse campo pode conter até 2.000 caracteres.
Na caixa Tipo de recurso, selecione o nome do recurso REST do Google Cloud que contém o objeto e o campo que você quer restringir. Por exemplo, container.googleapis.com/NodePool. A maioria dos tipos de recursos aceita até 20 restrições personalizadas. Se você tentar criar mais restrições personalizadas, a operação vai falhar.
Essa restrição só pode ser aplicada no método REST CREATE.

Para ver os métodos compatíveis para cada serviço, encontre o serviço em Serviços que aceitam restrições personalizadas.

Para definir uma condição, clique em Editar condição.

No painel Adicionar condição, crie uma condição de CEL que se refira a um recurso de serviço compatível, por exemplo, resource.management.autoUpgrade == false. Esse campo pode conter até 1.000 caracteres. Para detalhes sobre o uso da CEL, consulte Common Expression Language. Para mais informações sobre os recursos de serviço que você pode usar nas restrições personalizadas, consulte Serviços compatíveis com restrição personalizada.
Clique em Salvar.

Em Ação, selecione se você quer permitir ou negar o método avaliado quando a condição é atendida.

A ação de negação significa que a operação para criar ou atualizar o recurso será bloqueada se a condição for avaliada como verdadeira.

A ação de permissão significa que a operação para criar ou atualizar o recurso só é permitida se a condição for avaliada como verdadeira. Todos os outros casos, exceto os listados explicitamente na condição, estão bloqueados.

Clique em Criar restrição.

Quando você digita um valor em cada campo, a configuração YAML equivalente à restrição personalizada aparece à direita.

gcloud

Para criar uma restrição personalizada, crie um arquivo YAML com o seguinte formato:

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes: RESOURCE_NAME
methodTypes:
  - CREATE
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

Substitua:

ORGANIZATION_ID: o ID da organização, como 123456789.
CONSTRAINT_NAME: o nome da sua nova restrição personalizada. Uma restrição personalizada só pode conter letras (maiúsculas e minúsculas) ou números, por exemplo, custom.dataprocEnableComponentGateway. Esse campo pode conter até 70 caracteres, sem contar o prefixo (custom.), por exemplo, organizations/123456789/customConstraints/custom. Não inclua PII ou dados sensíveis no ID da restrição, porque eles podem ser expostos em mensagens de erro.
RESOURCE_NAME: o nome totalmente qualificado do recurso Google Cloud que contém o objeto e o campo que você quer restringir. Por exemplo, dataproc.googleapis.com/Cluster. A maioria dos tipos de recursos aceita até 20 restrições personalizadas. Se você tentar criar mais restrições personalizadas, a operação vai falhar.
methodTypes: os métodos REST em que a restrição é aplicada. Só pode ser CREATE.

Para ver os métodos compatíveis com cada serviço, encontre o serviço em Serviços que aceitam restrições personalizadas.

CONDITION: uma condição de CEL gravada em uma representação de um recurso de serviço compatível. Esse campo pode conter até 1.000 caracteres. Por exemplo, "resource.config.endpointConfig.enableHttpPortAccess==true".

Para mais informações sobre os recursos disponíveis para gravação de condições, consulte Recursos compatíveis.

ACTION: a ação a ser realizada se o condition for atendido. Só pode ser ALLOW.

A ação "permitir" significa que, se a condição for avaliada como verdadeira, a operação para criar ou atualizar o recurso será permitida. Isso também significa que todos os outros casos, exceto o listado explicitamente na condição, estão bloqueados.

DISPLAY_NAME: um nome legível para a restrição. Esse nome é usado em mensagens de erro e pode ser usado para identificação e depuração. Não use PII ou dados sensíveis em nomes de exibição, porque eles podem ser expostos em mensagens de erro. Esse campo pode ter até 200 caracteres.
DESCRIPTION: uma descrição legível da restrição a ser exibida como uma mensagem de erro quando a política for violada. Esse campo pode conter até 2.000 caracteres.

Depois de criar o arquivo YAML para uma nova restrição personalizada, faça a configuração necessária para disponibilizá-la para as políticas da organização. Para configurar uma restrição personalizada, use o comando gcloud org-policies set-custom-constraint:

gcloud org-policies set-custom-constraint CONSTRAINT_PATH

Substitua CONSTRAINT_PATH pelo caminho completo do arquivo de restrição personalizada. Por exemplo, /home/user/customconstraint.yaml.

Após a conclusão, as restrições personalizadas vão estar disponíveis como políticas da organização na lista de políticas da organização do Google Cloud .

Para verificar se a restrição personalizada existe, use o comando gcloud org-policies list-custom-constraints:

gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID

Substitua ORGANIZATION_ID pelo ID do recurso da organização.

Para mais informações, consulte Como visualizar políticas da organização.

Aplicar uma restrição personalizada

Para aplicar uma restrição, crie uma política da organização que faça referência a ela e aplique essa política a um recurso do Google Cloud .

Console

No console do Google Cloud , acesse a página Políticas da organização.
Acessar a página Políticas da organização
No seletor de projetos, selecione o projeto em que você quer definir a política da organização.
Na lista da página Políticas da organização, selecione uma restrição para acessar a página Detalhes da política associada.
Para configurar a política da organização nesse recurso, clique em Gerenciar política.
Na página Editar política, selecione Substituir a política do recurso pai.
Clique em Adicionar regra.
Na seção Aplicação, selecione se essa política da organização é aplicada ou não.
Opcional: para tornar a política da organização condicional em uma tag, clique em Adicionar condição. Se você adicionar uma regra condicional a uma política da organização, inclua pelo menos uma regra não condicional para que a política seja salva. Para mais informações, consulte Definir o escopo das políticas da organização com tags.
Clique em Testar mudanças para simular o efeito da política da organização. Para mais informações, consulte Testar mudanças na política da organização com o Simulador de política.
Para aplicar a política da organização no modo de teste, clique em Definir política de teste. Para mais informações, consulte Testar políticas da organização.
Depois de verificar se a política da organização no modo de simulação funciona como esperado, clique em Definir política para definir a política ativa.

gcloud

Para criar uma política da organização com regras booleanas, crie um arquivo YAML para a política que faça referência à restrição:

name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
spec:
  rules:
  - enforce: true

dryRunSpec:
  rules:
  - enforce: true

Substitua:

PROJECT_ID: o projeto em que você quer aplicar a restrição.
CONSTRAINT_NAME: o nome definido para a restrição personalizada. Por exemplo, custom.dataprocEnableComponentGateway.

Para aplicar a política da organização no modo de teste, execute o seguinte comando com a flag dryRunSpec:

gcloud org-policies set-policy POLICY_PATH --update-mask=dryRunSpec

Substitua POLICY_PATH pelo caminho completo para o arquivo YAML da política da organização. A política leva até 15 minutos para entrar em vigor.

Depois de verificar se a política da organização no modo de simulação funciona conforme o esperado, defina a política ativa com o comando org-policies set-policy e a flag spec:

gcloud org-policies set-policy POLICY_PATH --update-mask=spec

Substitua POLICY_PATH pelo caminho completo para o arquivo YAML da política da organização. A política leva até 15 minutos para entrar em vigor.

Testar a restrição personalizada

O exemplo de criação de cluster a seguir pressupõe que uma política personalizada da organização foi criada e aplicada na criação do cluster para exigir a ativação do Component Gateway (resource.config.endpointConfig.enableHttpPortAccess==true).

gcloud dataproc clusters create example-cluster \
    --project=PROJECT_ID \
    --zone=COMPUTE_ZONE

Exemplo de saída (por padrão, o Component Gateway não é ativado quando um cluster do Serviço Gerenciado para Apache Spark é criado):

Operation denied by custom org policies: ["customConstraints/custom.dataprocEnableComponentGateway": "Only allow Dataproc cluster creation if the Component Gateway is enabled"]

Restrições do Serviço Gerenciado para Apache Spark em recursos e operações

Os seguintes campos de restrição personalizada do Serviço Gerenciado para Apache Spark estão disponíveis para uso ao criar ou atualizar um cluster do Serviço Gerenciado para Apache Spark. Ao atualizar um cluster, apenas as restrições relacionadas a parâmetros editáveis são aceitas. Consulte Atualizar um cluster.

Configuração de rede do Compute Engine (networkUri, internalIpOnly, serviceAccount e metadata)
- resource.config.gceClusterConfig.networkUri
- resource.config.gceClusterConfig.internalIpOnly
- resource.config.gceClusterConfig.serviceAccount
- resource.config.gceClusterConfig.metadata
Configuração do grupo de instâncias do Compute Engine (imageUri e machineTypeUri)
- resource.config.masterConfig.imageUri
- resource.config.masterConfig.machineTypeUri
- resource.config.workerConfig.imageUri
- resource.config.workerConfig.machineTypeUri
- resource.config.secondaryWorkerConfig.imageUri
- resource.config.secondaryWorkerConfig.machineTypeUri
Configuração de disco do grupo de instâncias do Compute Engine (bootDiskType, bootDiskSizeGb, numLocalSsds e localSsdInterface)
- resource.config.masterConfig.diskConfig.bootDiskType
- resource.config.workerConfig.diskConfig.bootDiskType
- resource.config.secondaryWorkerConfig.diskConfig.bootDiskType
- resource.config.masterConfig.diskConfig.bootDiskSizeGb
- resource.config.workerConfig.diskConfig.bootDiskSizeGb
- resource.config.secondaryWorkerConfig.diskConfig.bootDiskSizeGb
- resource.config.masterConfig.diskConfig.numLocalSsds
- resource.config.workerConfig.diskConfig.numLocalSsds
- resource.config.secondaryWorkerConfig.diskConfig.numLocalSsds
- resource.config.masterConfig.diskConfig.localSsdInterface
- resource.config.workerConfig.diskConfig.localSsdInterface
- resource.config.secondaryWorkerConfig.diskConfig.localSsdInterface
Ações de inicialização (executableFile)
- resource.config.initializationActions.executableFile
Configuração de software (imageVersion, properties e optionalComponents)
- resource.config.softwareConfig.imageVersion
- resource.config.softwareConfig.properties
- resource.config.softwareConfig.optionalComponents
Configuração do Kerberos (enableKerberos e crossRealmTrustKdc)
- resource.config.securityConfig.kerberosConfig.enableKerberos
- resource.config.securityConfig.kerberosConfig.crossRealmTrustKdc
Gateway de componentes (enableHttpPortAccess)
- resource.config.endpointConfig.enableHttpPortAccess
Configuração do metastore (dataprocMetastoreService)
- resource.config.metastoreConfig.dataprocMetastoreService
CMEK do Persistent Disk (gcePdKmsKeyName)
- resource.config.encryptionConfig.gcePdKmsKeyName
Rótulos de cluster
- resource.labels
Tamanho do cluster
- resource.config.masterConfig.numInstances
- resource.config.workerConfig.numInstances
- resource.config.secondaryWorkerConfig.numInstances
Escalonamento automático
- resource.config.autoscalingConfig.policyUri
Configuração de instância protegida (enableSecureBoot, enableVtpm e enableIntegrityMonitoring)
- resource.config.gceClusterConfig.shieldedInstanceConfig.enableSecureBoot
- resource.config.gceClusterConfig.shieldedInstanceConfig.enableVtpm
- resource.config.gceClusterConfig.shieldedInstanceConfig.enableIntegrityMonitoring

Exemplos de restrições personalizadas para casos de uso comuns

A tabela a seguir mostra exemplos de restrições personalizadas:

Descrição	Sintaxe da restrição
Restrinja o número de instâncias de worker do Serviço Gerenciado para Apache Spark a 10 ou menos ao criar ou atualizar um cluster.	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.dataprocNoMoreThan10Workers resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE - UPDATE condition: "resource.config.workerConfig.numInstances + resource.config.secondaryWorkerConfig.numInstances > 10" actionType: DENY displayName: Total number of worker instances cannot be larger than 10 description: Cluster cannot have more than 10 workers, including primary and secondary workers.
Evite que o mestre do aplicativo seja executado nos trabalhadores preemptivos do cluster do Serviço Gerenciado para Apache Spark.	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.dataprocAmPrimaryOnlyEnforced resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "('dataproc:am.primary_only' in resource.config.softwareConfig.properties) && (resource.config.softwareConfig.properties['dataproc:am.primary_only']==true)" actionType: ALLOW displayName: Application master cannot run on preemptible workers description: Property "dataproc:am.primary_only" must be "true".
Não permitir propriedades personalizadas do Hive em clusters do Serviço Gerenciado para Apache Spark.	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.dataprocNoCustomHiveProperties resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "resource.config.softwareConfig.properties.all(p, !p.startsWith('hive:'))" actionType: ALLOW displayName: Cluster cannot have custom Hive properties description: Only allow Dataproc cluster creation if no property starts with Hive prefix "hive:".
Não permitir o uso do tipo de máquina `n1-standard-2` para instâncias principais do Serviço Gerenciado para Apache Spark.	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.dataprocMasterMachineType resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "resource.config.masterConfig.machineTypeUri.contains('n1-standard-2')" actionType: DENY displayName: Master cannot use the n1-standard-2 machine type description: Prevent Dataproc cluster creation if the master machine type is n1-standard-2.
Força o uso de um script de ação de inicialização especificado.	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.dataprocInitActionScript resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "resource.config.initializationActions.exists(action, action.executableFile=='gs://some/init-action.sh')" actionType: ALLOW displayName: Initialization action script "gs://some/init-action.sh" must be used description: Only allow Dataproc cluster creation if the "gs://some/init-action.sh" initialization action script is used.
Força o uso de uma chave de criptografia de disco permanente especificada.	name: organizations/`ORGANIZATION_ID`/custom.dataprocPdCmek resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "resource.config.encryptionConfig.gcePdKmsKeyName == 'projects/project-id/locations/global/keyRings/key-ring-name/cryptoKeys/key-name'" actionType: ALLOW displayName: Cluster PD must be encrypted with "key-name" from "key-ring-name" key-ring description: Only allow Dataproc cluster creation if the PD is encrypted with "key-name" from "key-ring-name" key-ring.
Aplicar restrições de rótulo de cluster.	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.dataprocEnvLabel resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE - UPDATE condition: "('env' in resource.labels) && (resource.labels.env=='test')" actionType: DENY displayName: Cluster cannot have the "env=test" label description: Deny Dataproc cluster creation or update if the cluster will be labeled "env=test".
Aplique o uso de uma rede não padrão.	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.dataprocNoDefaultNetwork resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "resource.config.gceClusterConfig.networkUri.contains('networks/default')" actionType: DENY displayName: Cluster cannot be created in the default network description: Deny Dataproc cluster creation if the cluster will be created in the default network.

A seguir

Consulte Introdução ao serviço Política da organização para saber mais sobre as políticas da organização.
Saiba mais sobre como criar e gerenciar políticas da organização.
Veja a lista completa de restrições da política da organização predefinidas.