Dataproc-Ressourcen mit benutzerdefinierten Einschränkungen verwalten
Mit der Organisationsrichtlinie vonGoogle Cloud können Sie die Ressourcen Ihrer Organisation zentral und programmatisch steuern. Als Administrator für Organisationsrichtlinien können Sie eine Organisationsrichtlinie definieren, also eine Reihe von Einschränkungen, die fürGoogle Cloud -Ressourcen und untergeordnete Elemente dieser Ressourcen in der Google Cloud -Ressourcenhierarchie gelten. Sie können Organisationsrichtlinien auf Organisations-, Ordner- oder Projektebene erzwingen.
Die Organisationsrichtlinie bietet vordefinierte Einschränkungen für verschiedeneGoogle Cloud -Dienste. Wenn Sie jedoch eine detailliertere, anpassbare Steuerung der spezifischen Felder wünschen, die in Ihren Organisationsrichtlinien eingeschränkt werden, können Sie auch benutzerdefinierte Einschränkungen erstellen und diese benutzerdefinierten Einschränkungen in einer benutzerdefinierten Organisationsrichtlinie verwenden.
Vorteile
Mit einer benutzerdefinierten Organisationsrichtlinie können Sie bestimmte Vorgänge für Dataproc-Cluster zulassen oder ablehnen. Wenn beispielsweise eine Anfrage zum Erstellen oder Aktualisieren eines Clusters die benutzerdefinierte Beschränkungsvalidierung, die durch Ihre Organisationsrichtlinie festgelegt wurde, nicht erfüllt, schlägt die Anfrage fehl und dem Aufrufer wird ein Fehler zurückgegeben.
Übernahme von Richtlinien
Standardmäßig werden Organisationsrichtlinien von den Nachfolgerelementen der Ressourcen übernommen, für die Sie die Richtlinie erzwingen. Wenn Sie beispielsweise eine Richtlinie für einen Ordner erzwingen, erzwingt Google Cloud die Richtlinie für alle Projekte in dem Ordner. Weitere Informationen zu diesem Verhalten und zu dessen Änderung finden Sie unter Regeln für die Bewertung der Hierarchie.
Preise
Der Organisationsrichtliniendienst, einschließlich vordefinierter und benutzerdefinierter Organisationsrichtlinien, wird kostenlos angeboten.
Hinweise
- Projekt einrichten
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
-
Enable the Dataproc API.
Roles required to enable APIs
To enable APIs, you need the Service Usage Admin IAM role (
roles/serviceusage.serviceUsageAdmin), which contains theserviceusage.services.enablepermission. Learn how to grant roles. -
Install the Google Cloud CLI.
-
Wenn Sie einen externen Identitätsanbieter (IdP) verwenden, müssen Sie sich zuerst mit Ihrer föderierten Identität in der gcloud CLI anmelden.
-
Führen Sie den folgenden Befehl aus, um die gcloud CLI zu initialisieren:
gcloud init -
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
-
Enable the Dataproc API.
Roles required to enable APIs
To enable APIs, you need the Service Usage Admin IAM role (
roles/serviceusage.serviceUsageAdmin), which contains theserviceusage.services.enablepermission. Learn how to grant roles. -
Install the Google Cloud CLI.
-
Wenn Sie einen externen Identitätsanbieter (IdP) verwenden, müssen Sie sich zuerst mit Ihrer föderierten Identität in der gcloud CLI anmelden.
-
Führen Sie den folgenden Befehl aus, um die gcloud CLI zu initialisieren:
gcloud init - Sie müssen Ihre Organisations-ID kennen.
-
Administrator für Organisationsrichtlinien (
roles/orgpolicy.policyAdmin) für die Organisationsressource -
So erstellen oder aktualisieren Sie einen Dataproc-Cluster:
Dataproc-Administrator oder Dataproc-Bearbeiter (
roles/dataproc.adminoderroles/dataproc.editor) für die Projektressource -
orgpolicy.constraints.list -
orgpolicy.policies.create -
orgpolicy.policies.delete -
orgpolicy.policies.list -
orgpolicy.policies.update -
orgpolicy.policy.get -
orgpolicy.policy.set ORGANIZATION_ID: Ihre Organisations-ID, z. B.123456789.CONSTRAINT_NAME: Name, den Sie für Ihre neue benutzerdefinierte Beschränkung verwenden möchten. Eine benutzerdefinierte Einschränkung muss mitcustom.beginnen und darf nur Großbuchstaben, Kleinbuchstaben oder Ziffern enthalten, zum Beispiel custom.dataprocEnableComponentGateway. Die maximale Länge dieses Feldes beträgt 70 Zeichen, das Präfix wird nicht gezählt (zum Beispielorganizations/123456789/customConstraints/custom).METHOD: Wenn Sie eine Einschränkung für die Clustererstellung erstellen, geben SieCREATEan. Wenn Sie eineUPDATE-Einschränkung für einen Cluster erstellen, geben Sie beide so an:methodTypes: - CREATE - UPDATE
CONDITION: eine CEL-Bedingung, die für eine Darstellung einer unterstützten Dienstressource geschrieben wird. Dieses Feld hat eine maximale Länge von 1.000 Zeichen. Weitere Informationen zu den verfügbaren Ressourcen, auf die Bedingungen geschrieben werden können, finden Sie unter Unterstützte Ressourcen. Beispiel:"resource.config.endpointConfig.enableHttpPortAccess==true"ACTION: Aktion, die ausgeführt werden soll, wennconditionerfüllt ist. Dies kann entwederALLOWoderDENYsein.DISPLAY_NAME: Ein benutzerfreundlicher Name für die Einschränkung, z. B. „Dataproc Component Gateway aktivieren“. Dieses Feld hat eine maximale Länge von 200 Zeichen.DESCRIPTION: Eine nutzerfreundliche Beschreibung der Einschränkung, die als Fehlermeldung angezeigt werden soll, wenn die Richtlinie verletzt wird, z. B. „Dataproc-Cluster dürfen nur erstellt werden, wenn das Component Gateway aktiviert ist“. Dieses Feld hat eine maximale Länge von 2000 Zeichen.- Wechseln Sie in der Google Cloud Console zur Seite Organisationsrichtlinien.
- Wählen Sie in der Projektauswahl das Projekt aus, für das Sie die Organisationsrichtlinie festlegen möchten.
- Klicken Sie auf Benutzerdefinierte Einschränkung.
- Geben Sie im Feld Anzeigename einen nutzerfreundlichen Namen für die Einschränkung ein. Dieser Name wird in Fehlermeldungen verwendet und kann zur Identifizierung und Fehlerbehebung genutzt werden. Verwenden Sie keine personenidentifizierbaren Informationen oder vertraulichen Daten in Anzeigenamen, da dieser Name in Fehlermeldungen angezeigt werden kann. Dieses Feld kann bis zu 200 Zeichen enthalten.
-
Geben Sie im Feld Einschränkungs-ID den gewünschten Namen für die neue benutzerdefinierte Einschränkung ein. Eine benutzerdefinierte Einschränkung darf nur Buchstaben (Groß- und Kleinbuchstaben) oder Ziffern enthalten, z. B.
custom.disableGkeAutoUpgrade. Dieses Feld kann bis zu 70 Zeichen enthalten. Das Präfix (custom.) wird nicht gezählt, z. B.organizations/123456789/customConstraints/custom. Die Einschränkungs-ID darf keine personenidentifizierbaren Informationen oder vertraulichen Daten enthalten, da diese in Fehlermeldungen angezeigt werden können. - Geben Sie im Feld Beschreibung eine für Menschen lesbare Beschreibung der Einschränkung ein. Diese Beschreibung wird als Fehlermeldung verwendet, wenn gegen die Richtlinie verstoßen wird. Geben Sie Details dazu an, warum der Richtlinienverstoß aufgetreten ist und wie er behoben werden kann. Nehmen Sie keine personenidentifizierbaren Informationen oder vertraulichen Daten in die Beschreibung auf, da sie in Fehlermeldungen preisgegeben werden könnten. Dieses Feld kann bis zu 2.000 Zeichen enthalten.
-
Wählen Sie im Feld Ressourcentyp den Namen der Google Cloud REST-Ressource aus, die das Objekt und das Feld enthält, das Sie einschränken möchten, z. B.
container.googleapis.com/NodePool. Die meisten Ressourcentypen unterstützen bis zu 20 benutzerdefinierte Einschränkungen. Wenn Sie versuchen, weitere benutzerdefinierte Einschränkungen zu erstellen, schlägt der Vorgang fehl. - Wählen Sie unter Methode erzwingen aus, ob die Einschränkung für eine REST-Methode CREATE oder sowohl für die Methoden CREATE als auch UPDATE erzwungen werden soll. Wenn Sie die Einschränkung mit der Methode UPDATE für eine Ressource erzwingen, die gegen die Einschränkung verstößt, werden Änderungen an dieser Ressource durch die Organisationsrichtlinie blockiert, sofern die Änderung den Verstoß nicht behebt.
- Klicken Sie zum Definieren einer Bedingung auf Bedingung bearbeiten.
-
Erstellen Sie im Bereich Bedingung hinzufügen eine CEL-Bedingung, die auf eine unterstützte Dienstressource verweist, z. B.
resource.management.autoUpgrade == false. Dieses Feld kann bis zu 1.000 Zeichen enthalten. Weitere Informationen zur Verwendung von CEL finden Sie unter Common Expression Language. Weitere Informationen zu den Dienstressourcen, die Sie in Ihren benutzerdefinierten Einschränkungen verwenden können, finden Sie unter Von benutzerdefinierten Einschränkungen unterstützte Dienste. - Klicken Sie auf Speichern.
- Wählen Sie unter Aktion aus, ob die ausgewertete Methode zugelassen oder abgelehnt werden soll, wenn die Bedingung erfüllt ist.
- Klicken Sie auf Einschränkung erstellen.
- Zum Erstellen einer benutzerdefinierten Beschränkung erstellen Sie eine YAML-Datei im folgenden Format:
-
ORGANIZATION_ID: Ihre Organisations-ID, z. B.123456789. -
CONSTRAINT_NAME: der Name, den Sie für Ihre neue benutzerdefinierte Einschränkung verwenden möchten. Eine benutzerdefinierte Einschränkung darf nur Buchstaben (Groß- und Kleinbuchstaben) oder Ziffern enthalten, z. B.custom.dataprocEnableComponentGateway. Dieses Feld kann bis zu 70 Zeichen enthalten. -
RESOURCE_NAME: Der vollständig qualifizierte Name der Google Cloud-Ressource, die das Objekt und das Feld enthält, das Sie einschränken möchten. Beispiel:.cluster -
CONDITION: eine CEL-Bedingung, die für eine Darstellung einer unterstützten Dienstressource geschrieben wird. Dieses Feld kann bis zu 1.000 Zeichen enthalten. Beispiel:."resource.config.endpointConfig.enableHttpPortAccess==true" -
ACTION: Aktion, die ausgeführt werden soll, wennconditionerfüllt ist. Kann nurALLOWsein. -
DISPLAY_NAME: Ein nutzerfreundlicher Name für die Einschränkung. Dieses Feld kann bis zu 200 Zeichen enthalten. -
DESCRIPTION: Eine nutzerfreundliche Beschreibung der Einschränkung, die als Fehlermeldung angezeigt werden soll, wenn die Richtlinie verletzt wird. Dieses Feld kann bis zu 2.000 Zeichen enthalten. -
Nachdem Sie die YAML-Datei für eine neue benutzerdefinierte Einschränkung erstellt haben, müssen Sie sie einrichten, um sie für Organisationsrichtlinien in Ihrer Organisation verfügbar zu machen. Verwenden Sie zum Einrichten einer benutzerdefinierten Einschränkung den Befehl
gcloud org-policies set-custom-constraint: -
Prüfen Sie mit dem Befehl
gcloud org-policies list-custom-constraints, ob die benutzerdefinierte Einschränkung vorhanden ist: - Wechseln Sie in der Google Cloud Console zur Seite Organisationsrichtlinien.
- Wählen Sie in der Projektauswahl das Projekt aus, für das Sie die Organisationsrichtlinie festlegen möchten.
- Wählen Sie auf der Seite Organisationsrichtlinien die gewünschte Beschränkung aus, um die Seite Richtliniendetails aufzurufen.
- Zum Konfigurieren der Organisationsrichtlinie für diese Ressource klicken Sie auf Richtlinie verwalten.
- Wählen Sie auf der Seite Richtlinie bearbeiten die Option Richtlinie der übergeordneten Ressource überschreiben aus.
- Klicken Sie auf Regel hinzufügen.
- Wählen Sie im Abschnitt Erzwingung aus, ob diese Organisationsrichtlinie erzwungen wird.
- Klicken Sie optional auf Bedingung hinzufügen, um die Organisationsrichtlinie von einem Tag abhängig zu machen. Wenn Sie einer Organisationsrichtlinie eine bedingte Regel hinzufügen, müssen Sie mindestens eine unbedingte Regel hinzufügen, da die Richtlinie sonst nicht gespeichert werden kann. Weitere Informationen finden Sie unter Organisationsrichtlinie mit Tags festlegen.
- Klicken Sie auf Änderungen testen, um die Auswirkungen der Organisationsrichtlinie zu simulieren. Weitere Informationen finden Sie unter Änderungen an Organisationsrichtlinien mit dem Richtliniensimulator testen.
- Klicken Sie auf Probelaufrichtlinie festlegen, um die Organisationsrichtlinie im Probelaufmodus zu erzwingen. Weitere Informationen finden Sie unter Organisationsrichtlinie im Probelaufmodus erstellen.
- Nachdem Sie überprüft haben, ob die Organisationsrichtlinie im Probelaufmodus wie vorgesehen funktioniert, legen Sie die aktive Richtlinie fest, indem Sie auf Richtlinie festlegen klicken.
- Wenn Sie eine Organisationsrichtlinie mit booleschen Regeln erstellen möchten, erstellen Sie eine YAML-Richtliniendatei, die auf die Beschränkung verweist:
-
PROJECT_ID: das Projekt, für das Sie die Einschränkung erzwingen möchten. -
CONSTRAINT_NAME: der Name, den Sie für Ihre benutzerdefinierte Beschränkung definiert haben. Beispiel:custom.dataprocEnableComponentGateway. -
Führen Sie den folgenden Befehl mit dem Flag
dryRunSpecaus, um die Organisationsrichtlinie im Probelaufmodus zu erzwingen: -
Nachdem Sie überprüft haben, ob die Organisationsrichtlinie im Probelaufmodus wie vorgesehen funktioniert, legen Sie die aktive Richtlinie mit dem Befehl
org-policies set-policyund dem Flagspecfest: - Compute Engine-Netzwerkkonfiguration (networkUri, internalIpOnly, serviceAccount und metadata)
resource.config.gceClusterConfig.networkUriresource.config.gceClusterConfig.internalIpOnlyresource.config.gceClusterConfig.serviceAccountresource.config.gceClusterConfig.metadata
- Konfiguration der Compute Engine-Instanzgruppe (imageUri und machineTypeUri)
resource.config.masterConfig.imageUriresource.config.masterConfig.machineTypeUriresource.config.workerConfig.imageUriresource.config.workerConfig.machineTypeUriresource.config.secondaryWorkerConfig.imageUriresource.config.secondaryWorkerConfig.machineTypeUri
- Festplattenkonfiguration der Compute Engine-Instanzgruppe (bootDiskType, bootDiskSizeGb, numLocalSsds und localSsdInterface)
resource.config.masterConfig.diskConfig.bootDiskTyperesource.config.workerConfig.diskConfig.bootDiskTyperesource.config.secondaryWorkerConfig.diskConfig.bootDiskTyperesource.config.masterConfig.diskConfig.bootDiskSizeGbresource.config.workerConfig.diskConfig.bootDiskSizeGbresource.config.secondaryWorkerConfig.diskConfig.bootDiskSizeGbresource.config.masterConfig.diskConfig.numLocalSsdsresource.config.workerConfig.diskConfig.numLocalSsdsresource.config.secondaryWorkerConfig.diskConfig.numLocalSsdsresource.config.masterConfig.diskConfig.localSsdInterfaceresource.config.workerConfig.diskConfig.localSsdInterfaceresource.config.secondaryWorkerConfig.diskConfig.localSsdInterface
- Initialisierungsaktionen (executableFile)
resource.config.initializationActions.executableFile
- Softwarekonfiguration (imageVersion, properties und optionalComponents)
resource.config.softwareConfig.imageVersionresource.config.softwareConfig.propertiesresource.config.softwareConfig.optionalComponents
- Kerberos-Konfiguration (enableKerberos und crossRealmTrustKdc)
resource.config.securityConfig.kerberosConfig.enableKerberosresource.config.securityConfig.kerberosConfig.crossRealmTrustKdc
- Komponentengateway (enableHttpPortAccess)
resource.config.endpointConfig.enableHttpPortAccess
- Metastore-Konfiguration (dataprocMetastoreService)
resource.config.metastoreConfig.dataprocMetastoreService
- CMEK für Persistent Disk (gcePdKmsKeyName)
resource.config.encryptionConfig.gcePdKmsKeyName
- Cluster labels
resource.labels
- Clustergröße
resource.config.masterConfig.numInstancesresource.config.workerConfig.numInstancesresource.config.secondaryWorkerConfig.numInstances
- Autoscaling
resource.config.autoscalingConfig.policyUri
- Konfiguration der abgeschirmten Instanz (enableSecureBoot, enableVtpm und enableIntegrityMonitoring)
resource.config.gceClusterConfig.shieldedInstanceConfig.enableSecureBootresource.config.gceClusterConfig.shieldedInstanceConfig.enableVtpmresource.config.gceClusterConfig.shieldedInstanceConfig.enableIntegrityMonitoring
- Weitere Informationen zu Organisationsrichtlinien finden Sie unter Einführung in den Organisationsrichtliniendienst.
- Organisationsrichtlinien erstellen und verwalten
- Eine vollständige Liste der vordefinierten Einschränkungen für Organisationsrichtlinien finden Sie hier.
Erforderliche Rollen
Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zur Verwaltung von Organisationsrichtlinien benötigen:
Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.
Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Verwalten von Organisationsrichtlinien erforderlich sind. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:
Erforderliche Berechtigungen
Die folgenden Berechtigungen sind für die Verwaltung von Organisationsrichtlinien erforderlich:
Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.
Benutzerdefinierte Beschränkung erstellen
Eine benutzerdefinierte Einschränkung wird in einer YAML-Datei durch die Ressourcen, Methoden, Bedingungen und Aktionen definiert, auf die sie angewendet wird. Dataproc unterstützt benutzerdefinierte Einschränkungen, die auf die Methoden
CREATEundUPDATEder RessourceCLUSTERangewendet werden (siehe Dataproc-Einschränkungen für Ressourcen und Vorgänge).So erstellen Sie eine YAML-Datei für eine benutzerdefinierte Dataproc-Einschränkung:
name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - METHOD condition: "CONDITION" actionType: ACTION displayName: DISPLAY_NAME description: DESCRIPTIONErsetzen Sie Folgendes:
Weitere Informationen zum Erstellen einer benutzerdefinierten Einschränkung finden Sie unter Benutzerdefinierte Einschränkungen definieren.
Benutzerdefinierte Beschränkung einrichten
Console
So erstellen Sie eine benutzerdefinierte Einschränkung:
Nicht alle Google Cloud Dienste unterstützen beide Methoden. Unter Unterstützte Dienste finden Sie die unterstützten Methoden für jeden Dienst.
Die Aktion „Verweigern“ bedeutet, dass der Vorgang zum Erstellen oder Aktualisieren der Ressource blockiert wird, wenn die Bedingung als „true“ ausgewertet wird.
Die Aktion „Zulassen“ bedeutet, dass der Vorgang zum Erstellen oder Aktualisieren der Ressource nur zulässig ist, wenn die Bedingung als „true“ ausgewertet wird. Alle anderen Fälle, die nicht explizit in der Bedingung aufgeführt sind, werden blockiert.
Wenn Sie in jedes Feld einen Wert eingegeben haben, wird rechts die entsprechende YAML-Konfiguration für diese benutzerdefinierte Einschränkung angezeigt.
gcloud
name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME resourceTypes: - RESOURCE_NAME methodTypes: - CREATE condition: "CONDITION" actionType: ACTION displayName: DISPLAY_NAME description: DESCRIPTION
Ersetzen Sie Folgendes:
Weitere Informationen zu den verfügbaren Ressourcen, auf die Bedingungen geschrieben werden können, finden Sie unter Unterstützte Ressourcen.
Die Aktion „allow“ bedeutet, dass der Vorgang zum Erstellen oder Aktualisieren der Ressource zulässig ist, wenn die Bedingung als „true“ ausgewertet wird. Das bedeutet auch, dass jeder andere Fall als der, der explizit in der Bedingung aufgeführt ist, blockiert wird.
gcloud org-policies set-custom-constraint CONSTRAINT_PATH
Ersetzen Sie
CONSTRAINT_PATHdurch den vollständigen Pfad zu Ihrer benutzerdefinierten Einschränkungsdatei. Beispiel:/home/user/customconstraint.yaml.Nach Abschluss des Vorgangs sind Ihre benutzerdefinierten Einschränkungen als Organisationsrichtlinien in der Liste der Organisationsrichtlinien von Google Cloud verfügbar.
gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID
Ersetzen Sie
ORGANIZATION_IDdurch die ID Ihrer Organisationsressource.Weitere Informationen finden Sie unter Organisationsrichtlinien aufrufen.
Benutzerdefinierte Einschränkung erzwingen
Sie können eine Beschränkung erzwingen, indem Sie eine Organisationsrichtlinie erstellen, die darauf verweist, und diese Organisationsrichtlinie dann auf eine Ressource von Google Cloud anwenden.Console
gcloud
name: projects/PROJECT_ID/policies/CONSTRAINT_NAME spec: rules: - enforce: true dryRunSpec: rules: - enforce: true
Ersetzen Sie Folgendes:
gcloud org-policies set-policy POLICY_PATH \ --update-mask=dryRunSpec
Ersetzen Sie
POLICY_PATHdurch den vollständigen Pfad zur YAML-Datei Ihrer Organisationsrichtlinie. Es kann bis zu 15 Minuten dauern, bis die Richtlinie wirksam wird.gcloud org-policies set-policy POLICY_PATH \ --update-mask=spec
Ersetzen Sie
POLICY_PATHdurch den vollständigen Pfad zur YAML-Datei Ihrer Organisationsrichtlinie. Es kann bis zu 15 Minuten dauern, bis die Richtlinie wirksam wird.Benutzerdefinierte Einschränkung testen
Im folgenden Beispiel für die Clustererstellung wird davon ausgegangen, dass eine benutzerdefinierte Organisationsrichtlinie erstellt und bei der Clustererstellung erzwungen wurde, um die Aktivierung des Component Gateway (
resource.config.endpointConfig.enableHttpPortAccess==true) zu erzwingen.gcloud dataproc clusters create example-cluster \ --project=PROJECT_ID \ --zone=COMPUTE_ZONEBeispielausgabe (standardmäßig ist das Component Gateway nicht aktiviert, wenn ein Dataproc-Cluster erstellt wird):
Operation denied by custom org policies: ["customConstraints/custom.dataprocEnableComponentGateway": "Only allow Dataproc cluster creation if the Component Gateway is enabled"]Dataproc-Einschränkungen für Ressourcen und Vorgänge
Die folgenden benutzerdefinierten Dataproc-Einschränkungsfelder sind verfügbar, wenn Sie einen Dataproc-Cluster erstellen oder aktualisieren. Beachten Sie, dass beim Aktualisieren eines Clusters nur die Einschränkungen unterstützt werden, die sich auf bearbeitbare Clusterparameter beziehen (siehe Cluster aktualisieren).
Beispiele für benutzerdefinierte Einschränkungen für häufige Anwendungsfälle
In der folgenden Tabelle finden Sie Beispiele für benutzerdefinierte Beschränkungen:
Beschreibung Beschränkungssyntax Beschränken Sie die Anzahl der Dataproc-Worker-Instanzen auf maximal 10, wenn ein Cluster erstellt oder aktualisiert wird. name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocNoMoreThan10Workers resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE - UPDATE condition: "resource.config.workerConfig.numInstances + resource.config.secondaryWorkerConfig.numInstances > 10" actionType: DENY displayName: Total number of worker instances cannot be larger than 10 description: Cluster cannot have more than 10 workers, including primary and secondary workers.
Verhindern, dass der Anwendungsmaster auf Workern auf Abruf des Dataproc-Clusters ausgeführt wird. name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocAmPrimaryOnlyEnforced resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "('dataproc:am.primary_only' in resource.config.softwareConfig.properties) && (resource.config.softwareConfig.properties['dataproc:am.primary_only']==true)" actionType: ALLOW displayName: Application master cannot run on preemptible workers description: Property "dataproc:am.primary_only" must be "true".
Benutzerdefinierte Hive-Attribute für Dataproc-Cluster nicht zulassen name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocNoCustomHiveProperties resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "resource.config.softwareConfig.properties.all(p, !p.startsWith('hive:'))" actionType: ALLOW displayName: Cluster cannot have custom Hive properties description: Only allow Dataproc cluster creation if no property starts with Hive prefix "hive:".
Die Verwendung des Maschinentyps n1-standard-2für Dataproc-Masterinstanzen ist nicht zulässig.name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocMasterMachineType resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "resource.config.masterConfig.machineTypeUri.contains('n1-standard-2')" actionType: DENY displayName: Master cannot use the n1-standard-2 machine type description: Prevent Dataproc cluster creation if the master machine type is n1-standard-2.
Die Verwendung eines angegebenen Skripts mit Initialisierungsaktionen erzwingen. name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocInitActionScript resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "resource.config.initializationActions.exists(action, action.executableFile=='gs://some/init-action.sh')" actionType: ALLOW displayName: Initialization action script "gs://some/init-action.sh" must be used description: Only allow Dataproc cluster creation if the "gs://some/init-action.sh" initialization action script is used.
Die Verwendung eines angegebenen Verschlüsselungsschlüssels für nichtflüchtige Speicher erzwingen. name: organizations/ORGANIZATION_ID/custom.dataprocPdCmek resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "resource.config.encryptionConfig.gcePdKmsKeyName == 'projects/project-id/locations/global/keyRings/key-ring-name/cryptoKeys/key-name'" actionType: ALLOW displayName: Cluster PD must be encrypted with "key-name" from "key-ring-name" key-ring description: Only allow Dataproc cluster creation if the PD is encrypted with "key-name" from "key-ring-name" key-ring.
Einschränkungen für Clusterlabels erzwingen name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocEnvLabel resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE - UPDATE condition: "('env' in resource.labels) && (resource.labels.env=='test')" actionType: DENY displayName: Cluster cannot have the "env=test" label description: Deny Dataproc cluster creation or update if the cluster will be labeled "env=test".
Erzwingen Sie die Verwendung eines nicht standardmäßigen Netzwerks. name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocNoDefaultNetwork resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "resource.config.gceClusterConfig.networkUri.contains('networks/default')" actionType: DENY displayName: Cluster cannot be created in the default network description: Deny Dataproc cluster creation if the cluster will be created in the default network.
Nächste Schritte