Administra recursos de Dataproc con restricciones personalizadas
LaGoogle Cloud Política de la organización te brinda un control centralizado y programático sobre los recursos de tu organización. Como administrador de políticas de la organización, puedes definir una política de la organización, que es un conjunto de limitaciones llamadas restricciones que se aplican a los recursos deGoogle Cloud y a sus descendientes en la jerarquía de recursos deGoogle Cloud . Puedes aplicar políticas de la organización a nivel de la organización, carpeta o proyecto.
La política de la organización proporciona restricciones predefinidas para varios servicios deGoogle Cloud . Sin embargo, si deseas un control más detallado y personalizable sobre los campos específicos que están restringidos en las políticas de tu organización, también puedes crear restricciones personalizadas y usarlas en una política de la organización personalizada.
Beneficios
Puedes usar una política de organización personalizada para permitir o rechazar operaciones específicas en clústeres de Dataproc. Por ejemplo, si una solicitud para crear o actualizar un clúster no satisface la validación de restricciones personalizadas según lo establece la política de la organización, la solicitud fallará y se devolverá un error a la persona que llama.
Herencia de políticas
De forma predeterminada, las políticas de la organización se heredan según los subordinados de los recursos en los que se aplica la política. Por ejemplo, si aplicas una política en una carpeta, Google Cloud aplica la política en todos los proyectos en ella. Para obtener más información sobre este comportamiento y cómo cambiarlo, consulta Reglas de evaluación de la jerarquía.
Precios
El Servicio de políticas de la organización, que incluye las políticas de la organización predefinidas y personalizadas, se ofrece sin cargo.
Antes de comenzar
- Configura tu proyecto
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
-
Enable the Dataproc API.
Roles required to enable APIs
To enable APIs, you need the Service Usage Admin IAM role (
roles/serviceusage.serviceUsageAdmin), which contains theserviceusage.services.enablepermission. Learn how to grant roles. -
Install the Google Cloud CLI.
-
Si usas un proveedor de identidad externo (IdP), primero debes Acceder a la gcloud CLI con tu identidad federada.
-
Para inicializar gcloud CLI, ejecuta el siguiente comando:
gcloud init -
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
-
Enable the Dataproc API.
Roles required to enable APIs
To enable APIs, you need the Service Usage Admin IAM role (
roles/serviceusage.serviceUsageAdmin), which contains theserviceusage.services.enablepermission. Learn how to grant roles. -
Install the Google Cloud CLI.
-
Si usas un proveedor de identidad externo (IdP), primero debes Acceder a la gcloud CLI con tu identidad federada.
-
Para inicializar gcloud CLI, ejecuta el siguiente comando:
gcloud init - Asegúrate de saber el ID de la organización.
-
Administrador de políticas de la organización (
roles/orgpolicy.policyAdmin) en el recurso de la organización -
Para crear o actualizar un clúster de Dataproc:
Administrador de Dataproc o Editor de Dataproc (
roles/dataproc.adminoroles/dataproc.editor) en el recurso del proyecto -
orgpolicy.constraints.list -
orgpolicy.policies.create -
orgpolicy.policies.delete -
orgpolicy.policies.list -
orgpolicy.policies.update -
orgpolicy.policy.get -
orgpolicy.policy.set ORGANIZATION_ID: Es el ID de la organización, como123456789.CONSTRAINT_NAME: Es el nombre que deseas usar para tu nueva restricción personalizada. Una restricción personalizada debe comenzar concustom.y solo puede incluir letras mayúsculas, minúsculas o números, por ejemplo, custom.dataprocEnableComponentGateway. La longitud máxima de este campo es de 70 caracteres, sin contar el prefijo (por ejemplo,organizations/123456789/customConstraints/custom).METHOD: Cuando crees una restricción de creación de clúster, especificaCREATE. Cuando crees una restricción de clústerUPDATE, especifica ambas de la siguiente manera:methodTypes: - CREATE - UPDATE
CONDITION: Es una condición de CEL que se escribe en una representación de un recurso de servicio compatible. La longitud máxima de este campo es 1000 caracteres. Consulta Recursos admitidos para obtener más información sobre los recursos disponibles para escribir condiciones. Por ejemplo,"resource.config.endpointConfig.enableHttpPortAccess==true".ACTION: Es la acción que se realiza si se cumplecondition. Puede serALLOWoDENY.DISPLAY_NAME: Es un nombre sencillo para la restricción, por ejemplo, "Forzar la habilitación de la puerta de enlace de componentes de Dataproc". La longitud máxima de este campo es 200 caracteres.DESCRIPTION: Es una descripción fácil de usar de la restricción que se mostrará como un mensaje de error cuando se infrinja la política, por ejemplo, "Solo permite la creación de clústeres de Dataproc si la puerta de enlace de componentes está habilitada". La longitud máxima de este campo es 2000 caracteres.- En la consola de Google Cloud , ve a la página Políticas de la organización.
- En el selector de proyectos, selecciona el proyecto para el que deseas configurar la política de la organización.
- Haz clic en Restricción personalizada.
- En el cuadro Nombre visible, ingresa un nombre legible para la restricción. Este nombre se usa en los mensajes de error y se puede usar para la identificación y la depuración. No uses PII ni datos sensibles en los nombres visibles, ya que podrían exponerse en mensajes de error. Este campo puede contener hasta 200 caracteres.
-
En el cuadro ID de restricción, ingresa el nombre que deseas para la nueva restricción personalizada. Una restricción personalizada solo puede contener letras (incluidas mayúsculas y minúsculas) o
números, por ejemplo,
custom.disableGkeAutoUpgrade. Este campo puede contener hasta 70 caracteres, sin contar el prefijo (custom.), por ejemplo,organizations/123456789/customConstraints/custom. No incluyas PII ni datos sensibles en el ID de la restricción, ya que podrían exponerse en mensajes de error. - En el cuadro Description, ingresa una descripción legible de la restricción. Esta descripción se usa como mensaje de error cuando se infringe la política. Incluye detalles sobre por qué se produjo el incumplimiento de política y cómo resolverlo. No incluyas PII ni datos sensibles en la descripción, ya que podrían exponerse en mensajes de error. Este campo puede contener hasta 2,000 caracteres.
-
En el cuadro Tipo de recurso, selecciona el nombre del recurso de Google Cloud REST
que contiene el objeto y el campo que deseas restringir, por ejemplo,
container.googleapis.com/NodePool. La mayoría de los tipos de recursos admiten hasta 20 restricciones personalizadas. Si intentas crear más restricciones personalizadas, la operación fallará. - En Método de aplicación, selecciona si deseas aplicar la restricción en un método de REST CREATE o en los métodos CREATE y UPDATE. Si aplicas la restricción con el método UPDATE en un recurso que la incumple, la política de la organización bloqueará los cambios en ese recurso, a menos que el cambio resuelva el incumplimiento.
- Para definir una condición, haz clic en Editar condición.
-
En el panel Agregar condición, crea una condición de CEL que haga referencia a un recurso de servicio compatible, por ejemplo,
resource.management.autoUpgrade == false. Este campo puede contener hasta 1,000 caracteres. Para obtener detalles sobre el uso de CEL, consulta Common Expression Language. Para obtener más información sobre los recursos de servicio que puedes usar en tus restricciones personalizadas, consulta Servicios compatibles con restricciones personalizadas. - Haz clic en Guardar.
- En Acción, selecciona si deseas permitir o rechazar el método evaluado si se cumple la condición.
- Haz clic en Crear restricción.
- Para crear una restricción personalizada, crea un archivo YAML con el siguiente formato:
-
ORGANIZATION_ID: Es el ID de tu organización, como123456789. -
CONSTRAINT_NAME: Es el nombre que deseas para tu nueva restricción personalizada. Una restricción personalizada solo puede contener letras (incluidas mayúsculas y minúsculas) o números, por ejemplo,custom.dataprocEnableComponentGateway. Este campo puede contener hasta 70 caracteres. -
RESOURCE_NAME: Es el nombre completamente calificado del recurso de Google Cloud que contiene el objeto y el campo que deseas restringir. Por ejemplo:.cluster -
CONDITION: Una condición de CEL que se escribe en una representación de un recurso de servicio compatible. Este campo puede contener hasta 1,000 caracteres. Por ejemplo:."resource.config.endpointConfig.enableHttpPortAccess==true" -
ACTION: Es la acción que se realiza si se cumplecondition. Solo puede serALLOW. -
DISPLAY_NAME: Es un nombre descriptivo para la restricción. Este campo puede contener hasta 200 caracteres. -
DESCRIPTION: Una descripción fácil de usar de la restricción que se mostrará como un mensaje de error cuando se infrinja la política. Este campo puede contener hasta 2,000 caracteres. -
Después de crear el archivo YAML de una nueva restricción personalizada, debes configurarla para que esté
disponible para las políticas de la organización de tu organización. Para configurar una restricción personalizada,
usa el
comando
gcloud org-policies set-custom-constraint: -
Para verificar que la restricción personalizada exista, usa el comando
gcloud org-policies list-custom-constraints: - En la consola de Google Cloud , ve a la página Políticas de la organización.
- En el selector de proyectos, selecciona el proyecto para el que deseas configurar la política de la organización.
- En la lista de la página Políticas de la organización, selecciona una restricción para ver la página Detalles de la política de esa restricción.
- Si deseas configurar las políticas de la organización para este recurso, haz clic en Administrar política.
- En la página Editar política, selecciona Anular la política del superior.
- Haz clic en Agregar una regla.
- En la sección Aplicación, selecciona si se aplica o no esta política de la organización.
- Opcional: para que la política de la organización sea condicional en una etiqueta, haz clic en Agregar condición. Ten en cuenta que, si agregas una regla condicional a una política de la organización, debes agregar al menos una regla sin condición o la política no se puede guardar. Para obtener más información, consulta Configura una política de la organización con etiquetas.
- Haz clic en Probar cambios para simular el efecto de la política de la organización. Para obtener más información, consulta Prueba los cambios en las políticas de la organización con Policy Simulator.
- Para aplicar la política de la organización en modo de ejecución de prueba, haz clic en Establecer política de ejecución de prueba. Para obtener más información, consulta Crea una política de la organización en modo de ejecución de prueba.
- Después de verificar que la política de la organización en el modo de ejecución de prueba funciona según lo previsto, haz clic en Establecer política para establecer la política activa.
- Para crear una política de la organización con reglas booleanas, crea un archivo YAML de política que haga referencia a la restricción:
-
PROJECT_ID: Es el proyecto en el que deseas aplicar tu restricción. -
CONSTRAINT_NAME: Es el nombre que definiste para tu restricción personalizada. Por ejemplo:custom.dataprocEnableComponentGateway -
Para aplicar la política de la organización en el modo de ejecución de prueba, ejecuta el siguiente comando con la marca
dryRunSpec: -
Después de verificar que la política de la organización en modo de ejecución de prueba funcione según lo previsto, configura la política activa con el comando
org-policies set-policyy la marcaspec: - Configuración de red de Compute Engine (networkUri, internalIpOnly, serviceAccount y metadata)
resource.config.gceClusterConfig.networkUriresource.config.gceClusterConfig.internalIpOnlyresource.config.gceClusterConfig.serviceAccountresource.config.gceClusterConfig.metadata
- Configuración del grupo de instancias de Compute Engine (imageUri y machineTypeUri)
resource.config.masterConfig.imageUriresource.config.masterConfig.machineTypeUriresource.config.workerConfig.imageUriresource.config.workerConfig.machineTypeUriresource.config.secondaryWorkerConfig.imageUriresource.config.secondaryWorkerConfig.machineTypeUri
- Configuración de disco del grupo de instancias de Compute Engine (bootDiskType, bootDiskSizeGb, numLocalSsds y localSsdInterface)
resource.config.masterConfig.diskConfig.bootDiskTyperesource.config.workerConfig.diskConfig.bootDiskTyperesource.config.secondaryWorkerConfig.diskConfig.bootDiskTyperesource.config.masterConfig.diskConfig.bootDiskSizeGbresource.config.workerConfig.diskConfig.bootDiskSizeGbresource.config.secondaryWorkerConfig.diskConfig.bootDiskSizeGbresource.config.masterConfig.diskConfig.numLocalSsdsresource.config.workerConfig.diskConfig.numLocalSsdsresource.config.secondaryWorkerConfig.diskConfig.numLocalSsdsresource.config.masterConfig.diskConfig.localSsdInterfaceresource.config.workerConfig.diskConfig.localSsdInterfaceresource.config.secondaryWorkerConfig.diskConfig.localSsdInterface
- Acciones de inicialización (executableFile)
resource.config.initializationActions.executableFile
- Configuración de software (imageVersion, properties y optionalComponents)
resource.config.softwareConfig.imageVersionresource.config.softwareConfig.propertiesresource.config.softwareConfig.optionalComponents
- Configuración de Kerberos (enableKerberos y crossRealmTrustKdc)
resource.config.securityConfig.kerberosConfig.enableKerberosresource.config.securityConfig.kerberosConfig.crossRealmTrustKdc
- Puerta de enlace del componente (enableHttpPortAccess)
resource.config.endpointConfig.enableHttpPortAccess
- Configuración de Metastore (dataprocMetastoreService)
resource.config.metastoreConfig.dataprocMetastoreService
- CMEK de Persistent Disk (gcePdKmsKeyName)
resource.config.encryptionConfig.gcePdKmsKeyName
- Etiquetas de clúster
resource.labels
- Tamaño del clúster
resource.config.masterConfig.numInstancesresource.config.workerConfig.numInstancesresource.config.secondaryWorkerConfig.numInstances
- Autoscaling
resource.config.autoscalingConfig.policyUri
- Configuración de instancia protegida (enableSecureBoot, enableVtpm y enableIntegrityMonitoring)
resource.config.gceClusterConfig.shieldedInstanceConfig.enableSecureBootresource.config.gceClusterConfig.shieldedInstanceConfig.enableVtpmresource.config.gceClusterConfig.shieldedInstanceConfig.enableIntegrityMonitoring
- Consulta Introducción al Servicio de las Políticas de la Organización para obtener más información sobre las políticas de la organización.
- Obtén más información para crear y administrar políticas de la organización.
- Consulta la lista completa de Restricciones de políticas de la organización predefinidas.
Roles obligatorios
Para obtener los permisos que necesitas para administrar las políticas de la organización, pídele a tu administrador que te otorgue los siguientes roles de IAM:
Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.
Estos roles predefinidos contienen los permisos necesarios para administrar las políticas de la organización. Para ver los permisos exactos que son necesarios, expande la sección Permisos requeridos:
Permisos necesarios
Se requieren los siguientes permisos para administrar las políticas de la organización:
También puedes obtener estos permisos con roles personalizados o con otros roles predefinidos.
Crea una restricción personalizada
Una restricción personalizada se define en un archivo YAML por los recursos, los métodos, las condiciones y las acciones a los que se aplica. Dataproc admite restricciones personalizadas que se aplican a los métodos
CREATEyUPDATEdel recursoCLUSTER(consulta Restricciones de Dataproc en recursos y operaciones).Para crear un archivo YAML para una restricción personalizada de Dataproc, haz lo siguiente:
name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - METHOD condition: "CONDITION" actionType: ACTION displayName: DISPLAY_NAME description: DESCRIPTIONReemplaza lo siguiente:
Para obtener más información sobre cómo crear una restricción personalizada, consulta Define restricciones personalizadas.
Configura una restricción personalizada
Console
Para crear una restricción personalizada, haz lo siguiente:
No todos los servicios de Google Cloud admiten ambos métodos. Para ver los métodos compatibles para cada servicio, busca el servicio en Servicios compatibles.
La acción de rechazo significa que la operación para crear o actualizar el recurso se bloquea si la condición se evalúa como verdadera.
La acción de permitir significa que la operación para crear o actualizar el recurso solo se permite si la condición se evalúa como verdadera. Se bloquean todos los demás casos, excepto los que se indican explícitamente en la condición.
Cuando ingreses un valor en cada campo, aparecerá a la derecha la configuración de YAML equivalente para esta restricción personalizada.
gcloud
name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME resourceTypes: - RESOURCE_NAME methodTypes: - CREATE condition: "CONDITION" actionType: ACTION displayName: DISPLAY_NAME description: DESCRIPTION
Reemplaza lo siguiente:
Para obtener más información sobre los recursos disponibles para escribir condiciones, consulta Recursos admitidos.
La acción de permitir significa que, si la condición se evalúa como verdadera, se permite la operación para crear o actualizar el recurso. Esto también significa que se bloquean todos los demás casos, excepto el que se indica explícitamente en la condición.
gcloud org-policies set-custom-constraint CONSTRAINT_PATH
Reemplaza
CONSTRAINT_PATHpor la ruta de acceso completa a tu archivo de restricción personalizado. Por ejemplo,/home/user/customconstraint.yamlUna vez que se complete esta operación, tus restricciones personalizadas estarán disponibles como políticas de la organización en la lista de Google Cloud políticas de la organización.
gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID
Reemplaza
ORGANIZATION_IDpor el ID del recurso de tu organización.Para obtener más información, consulta Cómo visualizar las políticas de la organización.
Aplica una restricción personalizada
Puedes aplicar una restricción cuando creas una política de la organización que haga referencia a ella y, luego, aplicas esa política a un recurso de Google Cloud .Consola
gcloud
name: projects/PROJECT_ID/policies/CONSTRAINT_NAME spec: rules: - enforce: true dryRunSpec: rules: - enforce: true
Reemplaza lo siguiente:
gcloud org-policies set-policy POLICY_PATH \ --update-mask=dryRunSpec
Reemplaza
POLICY_PATHpor la ruta de acceso completa al archivo YAML de la política de la organización. La política tarda hasta 15 minutos en aplicarse.gcloud org-policies set-policy POLICY_PATH \ --update-mask=spec
Reemplaza
POLICY_PATHpor la ruta de acceso completa al archivo YAML de la política de la organización. La política tarda hasta 15 minutos en aplicarse.Prueba la restricción personalizada
En el siguiente ejemplo de creación de clústeres, se supone que se creó y aplicó una política de la organización personalizada en la creación del clúster para requerir la habilitación de Component Gateway (
resource.config.endpointConfig.enableHttpPortAccess==true).gcloud dataproc clusters create example-cluster \ --project=PROJECT_ID \ --zone=COMPUTE_ZONEEjemplo de salida (de forma predeterminada, la puerta de enlace de componentes no está habilitada cuando se crea un clúster de Dataproc):
Operation denied by custom org policies: ["customConstraints/custom.dataprocEnableComponentGateway": "Only allow Dataproc cluster creation if the Component Gateway is enabled"]Restricciones de Dataproc en recursos y operaciones
Los siguientes campos de restricción personalizada de Dataproc están disponibles para usarse cuando crees o actualices un clúster de Dataproc. Ten en cuenta que, cuando actualizas un clúster, solo se admiten las restricciones relacionadas con los parámetros del clúster que se pueden editar (consulta Actualiza un clúster).
Restricciones personalizadas de ejemplo para casos de uso comunes
En la siguiente tabla, se proporcionan ejemplos de restricciones personalizadas:
Descripción Sintaxis de la restricción Restringe la cantidad de instancias de trabajador de Dataproc a 10 o menos cuando se crea o actualiza un clúster. name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocNoMoreThan10Workers resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE - UPDATE condition: "resource.config.workerConfig.numInstances + resource.config.secondaryWorkerConfig.numInstances > 10" actionType: DENY displayName: Total number of worker instances cannot be larger than 10 description: Cluster cannot have more than 10 workers, including primary and secondary workers.
Evita que la aplicación principal se ejecute en los trabajadores interrumpibles del clúster de Dataproc. name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocAmPrimaryOnlyEnforced resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "('dataproc:am.primary_only' in resource.config.softwareConfig.properties) && (resource.config.softwareConfig.properties['dataproc:am.primary_only']==true)" actionType: ALLOW displayName: Application master cannot run on preemptible workers description: Property "dataproc:am.primary_only" must be "true".
No permitir propiedades personalizadas de Hive en clústeres de Dataproc name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocNoCustomHiveProperties resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "resource.config.softwareConfig.properties.all(p, !p.startsWith('hive:'))" actionType: ALLOW displayName: Cluster cannot have custom Hive properties description: Only allow Dataproc cluster creation if no property starts with Hive prefix "hive:".
No se permite el uso del tipo de máquina n1-standard-2para las instancias principales de Dataproc.name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocMasterMachineType resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "resource.config.masterConfig.machineTypeUri.contains('n1-standard-2')" actionType: DENY displayName: Master cannot use the n1-standard-2 machine type description: Prevent Dataproc cluster creation if the master machine type is n1-standard-2.
Aplicar el uso de una secuencia de comandos de acción de inicialización especificada name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocInitActionScript resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "resource.config.initializationActions.exists(action, action.executableFile=='gs://some/init-action.sh')" actionType: ALLOW displayName: Initialization action script "gs://some/init-action.sh" must be used description: Only allow Dataproc cluster creation if the "gs://some/init-action.sh" initialization action script is used.
Aplicar el uso de una clave de encriptación de disco persistente especificada name: organizations/ORGANIZATION_ID/custom.dataprocPdCmek resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "resource.config.encryptionConfig.gcePdKmsKeyName == 'projects/project-id/locations/global/keyRings/key-ring-name/cryptoKeys/key-name'" actionType: ALLOW displayName: Cluster PD must be encrypted with "key-name" from "key-ring-name" key-ring description: Only allow Dataproc cluster creation if the PD is encrypted with "key-name" from "key-ring-name" key-ring.
Aplica restricciones de etiquetas de clúster. name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocEnvLabel resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE - UPDATE condition: "('env' in resource.labels) && (resource.labels.env=='test')" actionType: DENY displayName: Cluster cannot have the "env=test" label description: Deny Dataproc cluster creation or update if the cluster will be labeled "env=test".
Aplica el uso de una red no predeterminada. name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocNoDefaultNetwork resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "resource.config.gceClusterConfig.networkUri.contains('networks/default')" actionType: DENY displayName: Cluster cannot be created in the default network description: Deny Dataproc cluster creation if the cluster will be created in the default network.
¿Qué sigue?