Gestionar recursos de Dataproc con restricciones personalizadas
Google Cloud La política de organización te ofrece un control centralizado y programático sobre los recursos de tu organización. Como administrador de políticas de la organización, puedes definir una política de la organización, que es un conjunto de restricciones llamadas "limitaciones" que se aplican a losGoogle Cloud recursos y a los elementos descendientes de esos recursos en la Google Cloud jerarquía de recursos. Puedes aplicar políticas de organización a nivel de organización, carpeta o proyecto.
La política de organización proporciona restricciones predefinidas para varios servicios deGoogle Cloud . Sin embargo, si quieres tener un control más granular y personalizable sobre los campos específicos que están restringidos en las políticas de tu organización, también puedes crear restricciones personalizadas y usarlas en una política de organización personalizada.
Ventajas
Puedes usar una política de organización personalizada para permitir o denegar operaciones específicas en clústeres de Dataproc. Por ejemplo, si una solicitud para crear o actualizar un clúster no cumple la validación de restricciones personalizadas definida por la política de tu organización, la solicitud fallará y se devolverá un error a la persona que la haya enviado.
Herencia de políticas
De forma predeterminada, las políticas de organización se heredan de los descendientes de los recursos en los que se aplican. Por ejemplo, si aplicas una política a una carpeta, Google Cloud se aplicará a todos los proyectos de la carpeta. Para obtener más información sobre este comportamiento y cómo cambiarlo, consulta las reglas de evaluación de la jerarquía.
Precios
El servicio Organization Policy, incluidas las políticas de organización predefinidas y personalizadas, se ofrece sin coste económico.
Antes de empezar
- Configurar un proyecto
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
-
Enable the Dataproc API.
Roles required to enable APIs
To enable APIs, you need the Service Usage Admin IAM role (
roles/serviceusage.serviceUsageAdmin), which contains theserviceusage.services.enablepermission. Learn how to grant roles. -
Install the Google Cloud CLI.
-
Si utilizas un proveedor de identidades (IdP) externo, primero debes iniciar sesión en la CLI de gcloud con tu identidad federada.
-
Para inicializar gcloud CLI, ejecuta el siguiente comando:
gcloud init -
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
-
Enable the Dataproc API.
Roles required to enable APIs
To enable APIs, you need the Service Usage Admin IAM role (
roles/serviceusage.serviceUsageAdmin), which contains theserviceusage.services.enablepermission. Learn how to grant roles. -
Install the Google Cloud CLI.
-
Si utilizas un proveedor de identidades (IdP) externo, primero debes iniciar sesión en la CLI de gcloud con tu identidad federada.
-
Para inicializar gcloud CLI, ejecuta el siguiente comando:
gcloud init - Asegúrate de que conoces el ID de tu organización.
-
Administrador de políticas de organización (
roles/orgpolicy.policyAdmin) en el recurso de organización -
Para crear o actualizar un clúster de Dataproc, sigue estos pasos:
Administrador de Dataproc o Editor de Dataproc (
roles/dataproc.adminoroles/dataproc.editor) en el recurso del proyecto -
orgpolicy.constraints.list -
orgpolicy.policies.create -
orgpolicy.policies.delete -
orgpolicy.policies.list -
orgpolicy.policies.update -
orgpolicy.policy.get -
orgpolicy.policy.set ORGANIZATION_ID: el ID de tu organización, como123456789.CONSTRAINT_NAME: el nombre que quieras asignar a la nueva restricción personalizada. Una restricción personalizada debe empezar porcustom.y solo puede incluir letras mayúsculas, letras minúsculas o números. Por ejemplo, custom.dataprocEnableComponentGateway. La longitud máxima de este campo es de 70 caracteres, sin contar el prefijo, por ejemplo,organizations/123456789/customConstraints/custom.METHOD: al crear una restricción de creación de clústeres, especificaCREATE. Cuando crees una restricciónUPDATEde clúster, especifica ambas de la siguiente manera:methodTypes: - CREATE - UPDATE
CONDITION: una condición de CEL que se escribe en una representación de un recurso de servicio compatible. Este campo tiene una longitud máxima de 1000 caracteres. Consulta los recursos admitidos para obtener más información sobre los recursos con los que puedes escribir condiciones. Por ejemplo,"resource.config.endpointConfig.enableHttpPortAccess==true".ACTION: la acción que se debe llevar a cabo si se cumple la condicióncondition. Puede serALLOWoDENY.DISPLAY_NAME: nombre descriptivo de la restricción; por ejemplo, "Enforce enabling Dataproc Component Gateway". Este campo tiene una longitud máxima de 200 caracteres.DESCRIPTION: una descripción legible de la restricción que se mostrará como mensaje de error cuando se infrinja la política. Por ejemplo, "Solo se permite la creación de clústeres de Dataproc si la pasarela de componentes está habilitada". Este campo tiene una longitud máxima de 2000 caracteres.- En la Google Cloud consola, ve a la página Políticas de la organización.
- En el selector de proyectos, selecciona el proyecto en el que quieras definir la política de la organización.
- Haz clic en Restricción personalizada.
- En el cuadro Nombre visible, introduce un nombre legible para la restricción. Este nombre se usa en los mensajes de error y se puede usar para identificar y depurar. No utilices información personal identificable ni datos sensibles en los nombres visibles, ya que estos nombres podrían mostrarse en mensajes de error. Este campo puede contener hasta 200 caracteres.
-
En el cuadro ID de restricción, escribe el nombre que quieras asignar a la nueva restricción personalizada. Una restricción personalizada solo puede contener letras (mayúsculas y minúsculas) o números, como
custom.disableGkeAutoUpgrade. Este campo puede contener hasta 70 caracteres, sin contar el prefijo (custom.). Por ejemplo,organizations/123456789/customConstraints/custom. No incluyas IPI ni datos sensibles en el ID de la restricción, ya que podría exponerse en mensajes de error. - En el cuadro Description, introduce una descripción de la restricción que sea legible por humanos. Esta descripción se usa como mensaje de error cuando se infringe la política. Incluye detalles sobre por qué se ha producido la infracción de las políticas y cómo resolverla. No incluyas IPI ni datos sensibles en la descripción, ya que podrían exponerse en mensajes de error. Este campo puede contener hasta 2000 caracteres.
-
En el cuadro Tipo de recurso, seleccione el nombre del Google Cloud recurso REST
que contenga el objeto y el campo que quiera restringir. Por ejemplo,
container.googleapis.com/NodePool. La mayoría de los tipos de recursos admiten hasta 20 restricciones personalizadas. Si intentas crear más restricciones personalizadas, la operación fallará. - En Método de aplicación, selecciona si quieres aplicar la restricción al método CREATE de REST o a los métodos CREATE y UPDATE. Si aplicas la restricción con el método UPDATE en un recurso que la infringe, la política de la organización bloqueará los cambios en ese recurso, a menos que el cambio resuelva la infracción.
- Para definir una condición, haz clic en Editar condición.
-
En el panel Añadir condición, crea una condición de CEL que haga referencia a un recurso de servicio compatible, por ejemplo,
resource.management.autoUpgrade == false. Este campo puede contener hasta 1000 caracteres. Para obtener más información sobre el uso de CEL, consulta el artículo Lenguaje de expresión común. Para obtener más información sobre los recursos de servicio que puede usar en sus restricciones personalizadas, consulte Servicios admitidos en restricciones personalizadas. - Haz clic en Guardar.
- En Acción, seleccione si quiere permitir o denegar el método evaluado si se cumple la condición.
- Haz clic en Crear restricción.
- Para crear una restricción personalizada, crea un archivo YAML con el siguiente formato:
-
ORGANIZATION_ID: el ID de tu organización, como123456789. -
CONSTRAINT_NAME: el nombre que quieras asignar a la nueva restricción personalizada. Una restricción personalizada solo puede contener letras (incluidas mayúsculas y minúsculas) o números. Por ejemplo,custom.dataprocEnableComponentGateway. Este campo puede contener hasta 70 caracteres. -
RESOURCE_NAME: nombre completo del recurso Google Cloud que contiene el objeto y el campo que quieres restringir. Por ejemplo,.cluster -
CONDITION: una condición de CEL que se escribe en una representación de un recurso de servicio admitido. Este campo puede contener hasta 1000 caracteres. Por ejemplo,."resource.config.endpointConfig.enableHttpPortAccess==true" -
ACTION: la acción que se debe llevar a cabo si se cumple lacondition. Solo puede serALLOW. -
DISPLAY_NAME: nombre descriptivo de la restricción. Este campo puede contener hasta 200 caracteres. -
DESCRIPTION: descripción de la restricción que se puede leer fácilmente y que se muestra como mensaje de error cuando se infringe la política. Este campo puede contener hasta 2000 caracteres. -
Una vez que hayas creado el archivo YAML de una nueva restricción personalizada, debes configurarla para que esté disponible en las políticas de organización de tu organización. Para configurar una restricción personalizada,
usa el comando
gcloud org-policies set-custom-constraint: -
Para verificar que la restricción personalizada existe, usa el comando
gcloud org-policies list-custom-constraints: - En la Google Cloud consola, ve a la página Políticas de la organización.
- En el selector de proyectos, selecciona el proyecto en el que quieras definir la política de organización.
- En la lista de la página Políticas de organización, selecciona la restricción para ver la página Detalles de la política correspondiente.
- Para configurar la política de organización de este recurso, haz clic en Gestionar política.
- En la página Editar política, selecciona Anular política del recurso superior.
- Haz clic en Añadir regla.
- En la sección Aplicación, selecciona si esta política de la organización se aplica o no.
- Opcional: Para que la política de la organización dependa de una etiqueta, haz clic en Añadir condición. Ten en cuenta que, si añades una regla condicional a una política de organización, debes añadir al menos una regla incondicional o la política no se podrá guardar. Para obtener más información, consulta el artículo Configurar una política de organización con etiquetas.
- Haz clic en Probar cambios para simular el efecto de la política de la organización. Para obtener más información, consulta Probar los cambios en las políticas de la organización con el simulador de políticas.
- Para aplicar la política de la organización en modo de prueba de funcionamiento, haz clic en Definir política de prueba de funcionamiento. Para obtener más información, consulta Crear una política de organización en modo de prueba.
- Una vez que hayas verificado que la política de la organización en modo de prueba funciona correctamente, define la política activa haciendo clic en Definir política.
- Para crear una política de organización con reglas booleanas, crea un archivo YAML de política que haga referencia a la restricción:
-
PROJECT_ID: el proyecto en el que quieras aplicar la restricción. -
CONSTRAINT_NAME: el nombre que has definido para tu restricción personalizada. Por ejemplo,custom.dataprocEnableComponentGateway. -
Para aplicar la política de la organización en el modo de prueba, ejecuta el siguiente comando con la marca
dryRunSpec: -
Una vez que haya verificado que la política de la organización en modo de prueba funciona correctamente, defina la política activa con el comando
org-policies set-policyy la marcaspec: - Configuración de red de Compute Engine (networkUri, internalIpOnly, serviceAccount y metadata)
resource.config.gceClusterConfig.networkUriresource.config.gceClusterConfig.internalIpOnlyresource.config.gceClusterConfig.serviceAccountresource.config.gceClusterConfig.metadata
- Configuración del grupo de instancias de Compute Engine (imageUri y machineTypeUri)
resource.config.masterConfig.imageUriresource.config.masterConfig.machineTypeUriresource.config.workerConfig.imageUriresource.config.workerConfig.machineTypeUriresource.config.secondaryWorkerConfig.imageUriresource.config.secondaryWorkerConfig.machineTypeUri
- Configuración de disco de grupo de instancias de Compute Engine (bootDiskType, bootDiskSizeGb, numLocalSsds y localSsdInterface)
resource.config.masterConfig.diskConfig.bootDiskTyperesource.config.workerConfig.diskConfig.bootDiskTyperesource.config.secondaryWorkerConfig.diskConfig.bootDiskTyperesource.config.masterConfig.diskConfig.bootDiskSizeGbresource.config.workerConfig.diskConfig.bootDiskSizeGbresource.config.secondaryWorkerConfig.diskConfig.bootDiskSizeGbresource.config.masterConfig.diskConfig.numLocalSsdsresource.config.workerConfig.diskConfig.numLocalSsdsresource.config.secondaryWorkerConfig.diskConfig.numLocalSsdsresource.config.masterConfig.diskConfig.localSsdInterfaceresource.config.workerConfig.diskConfig.localSsdInterfaceresource.config.secondaryWorkerConfig.diskConfig.localSsdInterface
- Acciones de inicialización (executableFile)
resource.config.initializationActions.executableFile
- Configuración del software (imageVersion, properties y optionalComponents)
resource.config.softwareConfig.imageVersionresource.config.softwareConfig.propertiesresource.config.softwareConfig.optionalComponents
- Configuración de Kerberos (enableKerberos y crossRealmTrustKdc)
resource.config.securityConfig.kerberosConfig.enableKerberosresource.config.securityConfig.kerberosConfig.crossRealmTrustKdc
- Pasarela de componentes (enableHttpPortAccess)
resource.config.endpointConfig.enableHttpPortAccess
- Configuración de metastore (dataprocMetastoreService)
resource.config.metastoreConfig.dataprocMetastoreService
- CMEK de Persistent Disk (gcePdKmsKeyName)
resource.config.encryptionConfig.gcePdKmsKeyName
- Etiquetas de clústeres
resource.labels
- Tamaño del clúster
resource.config.masterConfig.numInstancesresource.config.workerConfig.numInstancesresource.config.secondaryWorkerConfig.numInstances
- Autoescalado
resource.config.autoscalingConfig.policyUri
- Configuración de instancia protegida (enableSecureBoot, enableVtpm y enableIntegrityMonitoring)
resource.config.gceClusterConfig.shieldedInstanceConfig.enableSecureBootresource.config.gceClusterConfig.shieldedInstanceConfig.enableVtpmresource.config.gceClusterConfig.shieldedInstanceConfig.enableIntegrityMonitoring
- Consulta la introducción al servicio de políticas de organización para obtener más información sobre las políticas de organización.
- Más información sobre cómo crear y gestionar políticas de organización
- Consulta la lista completa de restricciones de las políticas de organización predefinidas.
Roles obligatorios
Para obtener los permisos que necesitas para gestionar las políticas de la organización, pide a tu administrador que te conceda los siguientes roles de gestión de identidades y accesos:
Para obtener más información sobre cómo conceder roles, consulta el artículo Gestionar acceso a proyectos, carpetas y organizaciones.
Estos roles predefinidos contienen los permisos necesarios para gestionar las políticas de la organización. Para ver los permisos exactos que se necesitan, despliega la sección Permisos necesarios:
Permisos obligatorios
Para gestionar las políticas de la organización, se necesitan los siguientes permisos:
También puedes obtener estos permisos con roles personalizados u otros roles predefinidos.
Crear una restricción personalizada
Una restricción personalizada se define en un archivo YAML por los recursos, los métodos, las condiciones y las acciones a los que se aplica. Dataproc admite restricciones personalizadas que se aplican a los métodos
CREATEyUPDATEdel recursoCLUSTER(consulta Restricciones de Dataproc en recursos y operaciones).Para crear un archivo YAML para una restricción personalizada de Dataproc, sigue estos pasos:
name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - METHOD condition: "CONDITION" actionType: ACTION displayName: DISPLAY_NAME description: DESCRIPTIONHaz los cambios siguientes:
Para obtener más información sobre cómo crear una restricción personalizada, consulta Definir restricciones personalizadas.
Configurar una restricción personalizada
Consola
Para crear una restricción personalizada, sigue estos pasos:
No todos los Google Cloud servicios admiten ambos métodos. Para ver los métodos admitidos de cada servicio, busca el servicio en Servicios admitidos.
La acción de denegación significa que la operación para crear o actualizar el recurso se bloquea si la condición se evalúa como verdadera.
La acción de permitir significa que la operación para crear o actualizar el recurso solo se permite si la condición se evalúa como verdadera. Se bloquean todos los demás casos, excepto los que se incluyan explícitamente en la condición.
Cuando haya introducido un valor en cada campo, aparecerá a la derecha la configuración YAML equivalente de esta restricción personalizada.
gcloud
name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME resourceTypes: - RESOURCE_NAME methodTypes: - CREATE condition: "CONDITION" actionType: ACTION displayName: DISPLAY_NAME description: DESCRIPTION
Haz los cambios siguientes:
Para obtener más información sobre los recursos disponibles para escribir condiciones, consulta Recursos admitidos.
La acción de permitir significa que, si la condición se evalúa como verdadera, se permite la operación para crear o actualizar el recurso. Esto también significa que se bloquearán todos los demás casos, excepto el que se haya incluido explícitamente en la condición.
gcloud org-policies set-custom-constraint CONSTRAINT_PATH
Sustituye
CONSTRAINT_PATHpor la ruta completa del archivo de restricción personalizada. Por ejemplo,/home/user/customconstraint.yaml.Una vez completada esta operación, tus restricciones personalizadas estarán disponibles como políticas de organización en tu lista de Google Cloud políticas de organización.
gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID
Sustituye
ORGANIZATION_IDpor el ID del recurso de tu organización.Para obtener más información, consulta Ver las políticas de la organización.
Aplicar una restricción personalizada
Para aplicar una restricción, crea una política de organización que haga referencia a ella y, a continuación, aplica esa política de organización a un Google Cloud recurso.Consola
gcloud
name: projects/PROJECT_ID/policies/CONSTRAINT_NAME spec: rules: - enforce: true dryRunSpec: rules: - enforce: true
Haz los cambios siguientes:
gcloud org-policies set-policy POLICY_PATH \ --update-mask=dryRunSpec
Sustituye
POLICY_PATHpor la ruta completa al archivo YAML de la política de tu organización. La política tarda hasta 15 minutos en aplicarse.gcloud org-policies set-policy POLICY_PATH \ --update-mask=spec
Sustituye
POLICY_PATHpor la ruta completa al archivo YAML de la política de tu organización. La política tarda hasta 15 minutos en aplicarse.Probar la restricción personalizada
En el siguiente ejemplo de creación de clústeres, se presupone que se ha creado y aplicado una política de organización personalizada al crear el clúster para requerir que se habilite Component Gateway (
resource.config.endpointConfig.enableHttpPortAccess==true).gcloud dataproc clusters create example-cluster \ --project=PROJECT_ID \ --zone=COMPUTE_ZONESalida de ejemplo (de forma predeterminada, la pasarela de componentes no está habilitada cuando se crea un clúster de Dataproc):
Operation denied by custom org policies: ["customConstraints/custom.dataprocEnableComponentGateway": "Only allow Dataproc cluster creation if the Component Gateway is enabled"]Restricciones de Dataproc en recursos y operaciones
Los siguientes campos de restricciones personalizadas de Dataproc se pueden usar al crear o actualizar un clúster de Dataproc. Ten en cuenta que, al actualizar un clúster, solo se admiten las restricciones relacionadas con los parámetros de clúster editables (consulta Actualizar un clúster).
Ejemplos de restricciones personalizadas para casos prácticos habituales
En la siguiente tabla se muestran ejemplos de restricciones personalizadas:
Descripción Sintaxis de las restricciones Limita el número de instancias de trabajador de Dataproc a 10 o menos cuando se cree o actualice un clúster. name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocNoMoreThan10Workers resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE - UPDATE condition: "resource.config.workerConfig.numInstances + resource.config.secondaryWorkerConfig.numInstances > 10" actionType: DENY displayName: Total number of worker instances cannot be larger than 10 description: Cluster cannot have more than 10 workers, including primary and secondary workers.
Evita que el maestro de aplicaciones se ejecute en los trabajadores preemptibles de un clúster de Dataproc. name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocAmPrimaryOnlyEnforced resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "('dataproc:am.primary_only' in resource.config.softwareConfig.properties) && (resource.config.softwareConfig.properties['dataproc:am.primary_only']==true)" actionType: ALLOW displayName: Application master cannot run on preemptible workers description: Property "dataproc:am.primary_only" must be "true".
No permitir propiedades personalizadas de Hive en clústeres de Dataproc. name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocNoCustomHiveProperties resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "resource.config.softwareConfig.properties.all(p, !p.startsWith('hive:'))" actionType: ALLOW displayName: Cluster cannot have custom Hive properties description: Only allow Dataproc cluster creation if no property starts with Hive prefix "hive:".
No permitir el uso del tipo de máquina n1-standard-2para las instancias maestras de Dataproc.name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocMasterMachineType resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "resource.config.masterConfig.machineTypeUri.contains('n1-standard-2')" actionType: DENY displayName: Master cannot use the n1-standard-2 machine type description: Prevent Dataproc cluster creation if the master machine type is n1-standard-2.
Fuerza el uso de una secuencia de comandos de acción de inicialización especificada. name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocInitActionScript resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "resource.config.initializationActions.exists(action, action.executableFile=='gs://some/init-action.sh')" actionType: ALLOW displayName: Initialization action script "gs://some/init-action.sh" must be used description: Only allow Dataproc cluster creation if the "gs://some/init-action.sh" initialization action script is used.
Exige el uso de una clave de cifrado de disco persistente específica. name: organizations/ORGANIZATION_ID/custom.dataprocPdCmek resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "resource.config.encryptionConfig.gcePdKmsKeyName == 'projects/project-id/locations/global/keyRings/key-ring-name/cryptoKeys/key-name'" actionType: ALLOW displayName: Cluster PD must be encrypted with "key-name" from "key-ring-name" key-ring description: Only allow Dataproc cluster creation if the PD is encrypted with "key-name" from "key-ring-name" key-ring.
Aplica restricciones de etiquetas de clúster. name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocEnvLabel resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE - UPDATE condition: "('env' in resource.labels) && (resource.labels.env=='test')" actionType: DENY displayName: Cluster cannot have the "env=test" label description: Deny Dataproc cluster creation or update if the cluster will be labeled "env=test".
Exige el uso de una red que no sea la predeterminada. name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocNoDefaultNetwork resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "resource.config.gceClusterConfig.networkUri.contains('networks/default')" actionType: DENY displayName: Cluster cannot be created in the default network description: Deny Dataproc cluster creation if the cluster will be created in the default network.
Siguientes pasos