Ressourcen mit benutzerdefinierten Einschränkungen verwalten

Mit benutzerdefinierten Einschränkungen können Sie detaillierte Governance-Regeln für Managed Service for Apache Spark-Clusterkonfigurationen in Ihrer gesamten Google Cloud -Ressourcenhierarchie erzwingen. Durch die Definition dieser Regeln können Sie bestimmte Clusterattribute einschränken und die Compliance in Ihren Umgebungen aufrechterhalten.

Der Organisationsrichtliniendienst bietet vordefinierte Einschränkungen für gängige Einstellungen. Mit benutzerdefinierten Einschränkungen können Sie jedoch bestimmte Ressourcenfelder beim Erstellen oder Aktualisieren von Clustern gezielt ansprechen. Als Administrator für Organisationsrichtlinien können Sie benutzerdefinierte Einschränkungen definieren und auf Organisations-, Ordner- oder Projektebene erzwingen.

Vorteile

Mit einer benutzerdefinierten Organisationsrichtlinie können Sie bestimmte Vorgänge für Managed Service for Apache Spark-Cluster zulassen oder ablehnen. Wenn beispielsweise eine Anfrage zum Erstellen oder Aktualisieren eines Clusters die benutzerdefinierte Beschränkungsvalidierung, die durch Ihre Organisationsrichtlinie festgelegt wurde, nicht erfüllt, schlägt die Anfrage fehl und dem Aufrufer wird ein Fehler zurückgegeben.

Übernahme von Richtlinien

Standardmäßig werden Organisationsrichtlinien von den Nachfolgerelementen der Ressourcen übernommen, für die Sie die Richtlinie erzwingen. Wenn Sie beispielsweise eine Richtlinie für einen Ordner erzwingen, erzwingt Google Cloud die Richtlinie für alle Projekte in dem Ordner. Weitere Informationen zu diesem Verhalten und zu dessen Änderung finden Sie unter Regeln für die Bewertung der Hierarchie.

Preise

Die Organisationsrichtlinie, einschließlich vordefinierter und benutzerdefinierter Organisationsrichtlinien, wird kostenlos angeboten.

Hinweis

  1. Projekt einrichten
    1. Melden Sie sich in Ihrem Google Cloud -Konto an. Wenn Sie mit Google Cloudnoch nicht vertraut sind, erstellen Sie einfach ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.
    2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

      Roles required to select or create a project

      • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
      • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

      Go to project selector

    3. Verify that billing is enabled for your Google Cloud project.

    4. Enable the Managed Service for Apache Spark API, if it is not already enabled.

      Roles required to enable APIs

      To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

      Enable the API

    5. Install the Google Cloud CLI.

    6. If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

    7. To initialize the gcloud CLI, run the following command:

      gcloud init
    8. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

      Roles required to select or create a project

      • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
      • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

      Go to project selector

    9. Verify that billing is enabled for your Google Cloud project.

    10. Enable the Managed Service for Apache Spark API, if it is not already enabled.

      Roles required to enable APIs

      To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

      Enable the API

    11. Install the Google Cloud CLI.

    12. If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

    13. To initialize the gcloud CLI, run the following command:

      gcloud init
    14. Sie müssen Ihre Organisations-ID kennen.

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zur Verwaltung von Organisationsrichtlinien benötigen:

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Verwalten von Organisationsrichtlinien erforderlich sind. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind für die Verwaltung von Organisationsrichtlinien erforderlich:

  • orgpolicy.constraints.list
  • orgpolicy.policies.create
  • orgpolicy.policies.delete
  • orgpolicy.policies.list
  • orgpolicy.policies.update
  • orgpolicy.policy.get
  • orgpolicy.policy.set

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Benutzerdefinierte Beschränkung erstellen

Eine benutzerdefinierte Beschränkung wird in einer YAML-Datei durch die Ressourcen, Methoden, Bedingungen und Aktionen definiert, auf die sie angewendet wird. Managed Service for Apache Spark unterstützt benutzerdefinierte Einschränkungen, die auf die Methoden CREATE und UPDATE der Ressource CLUSTER angewendet werden (siehe Managed Service for Apache Spark-Einschränkungen für Ressourcen und Vorgänge).

So erstellen Sie eine YAML-Datei für eine benutzerdefinierte Einschränkung für Managed Service for Apache Spark:

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- dataproc.googleapis.com/Cluster
methodTypes: 
- METHOD
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

Ersetzen Sie Folgendes:

  • ORGANIZATION_ID: Ihre Organisations-ID, z. B. 123456789.

  • CONSTRAINT_NAME: Name, den Sie für Ihre neue benutzerdefinierte Beschränkung verwenden möchten. Eine benutzerdefinierte Einschränkung muss mit custom. beginnen und darf nur Großbuchstaben, Kleinbuchstaben oder Ziffern enthalten, zum Beispiel custom.dataprocEnableComponentGateway. Die maximale Länge dieses Feldes beträgt 70 Zeichen, das Präfix wird nicht gezählt (zum Beispiel organizations/123456789/customConstraints/custom).

  • METHOD: Geben Sie beim Erstellen einer Einschränkung für die Clustererstellung CREATE an. Geben Sie beim Erstellen einer Cluster-UPDATE-Einschränkung beide so an:

    methodTypes:
    - CREATE
    - UPDATE
    

  • CONDITION: eine CEL-Bedingung, die für eine Darstellung einer unterstützten Dienstressource geschrieben wird. Dieses Feld hat eine maximale Länge von 1.000 Zeichen. Weitere Informationen zu den verfügbaren Ressourcen, auf die Bedingungen geschrieben werden können, finden Sie unter Unterstützte Ressourcen. Beispiel: "resource.config.endpointConfig.enableHttpPortAccess==true"

  • ACTION: Aktion, die ausgeführt werden soll, wenn condition erfüllt ist. Dies kann entweder ALLOW oder DENY sein.

  • DISPLAY_NAME: Ein nutzerfreundlicher Name für die Einschränkung, z. B. „Aktivierung des Managed Service for Apache Spark Component Gateway erzwingen“. Dieses Feld hat eine maximale Länge von 200 Zeichen.

  • DESCRIPTION: Eine nutzerfreundliche Beschreibung der Einschränkung, die als Fehlermeldung angezeigt werden soll, wenn die Richtlinie verletzt wird, z. B. „Erstellung von Managed Service for Apache Spark-Clustern nur zulassen, wenn das Component Gateway aktiviert ist“. Dieses Feld hat eine maximale Länge von 2000 Zeichen.

Weitere Informationen zum Erstellen einer benutzerdefinierten Einschränkung finden Sie unter Benutzerdefinierte Einschränkungen definieren.

Benutzerdefinierte Beschränkung einrichten

Console

So erstellen Sie eine benutzerdefinierte Einschränkung:

  1. Wechseln Sie in der Google Cloud Console zur Seite Organisationsrichtlinien.

    Zu den Organisationsrichtlinien

  2. Wählen Sie in der Projektauswahl das Projekt aus, für das Sie die Organisationsrichtlinie festlegen möchten.
  3. Klicken Sie auf Benutzerdefinierte Einschränkung.
  4. Geben Sie im Feld Anzeigename einen menschenlesbaren Namen für die Einschränkung ein. Dieser Name wird in Fehlermeldungen verwendet und kann zur Identifizierung und Fehlerbehebung verwendet werden. Verwenden Sie keine personenidentifizierbaren Informationen oder vertraulichen Daten in Anzeigenamen, da diese in Fehlermeldungen angezeigt werden können. Dieses Feld kann bis zu 200 Zeichen enthalten.
  5. Geben Sie im Feld Einschränkungs-ID die gewünschte ID für die neue benutzerdefinierte Einschränkung ein. Eine benutzerdefinierte Einschränkung darf nur Buchstaben (einschließlich Groß- und Kleinbuchstaben) oder Ziffern enthalten, z. B. custom.dataprocEnableComponentGateway. Dieses Feld kann bis zu 70 Zeichen enthalten, das Präfix (custom.) nicht mitgezählt, z. B. organizations/123456789/customConstraints/custom. Beziehen Sie weder personenidentifizierbare Informationen noch sensible Daten in die ID der Einschränkung ein, da sie in Fehlermeldungen preisgegeben werden könnten.
  6. Geben Sie im Feld Beschreibung eine menschenlesbare Beschreibung der Einschränkung ein. Diese Beschreibung wird als Fehlermeldung verwendet, wenn gegen die Richtlinie verstoßen wird. Geben Sie Details dazu an, warum der Richtlinienverstoß aufgetreten ist und wie er behoben werden kann. Beziehen Sie weder personenidentifizierbare Informationen noch sensible Daten in die Beschreibung ein, da sie in Fehlermeldungen preisgegeben werden könnten. Dieses Feld kann bis zu 2.000 Zeichen enthalten.
  7. Wählen Sie im Feld Ressourcentyp den Namen der REST-Ressource von Google Cloud aus, die das Objekt und das Feld enthält, das Sie einschränken möchten, zum Beispiel container.googleapis.com/NodePool. Die meisten Ressourcentypen unterstützen bis zu 20 benutzerdefinierte Einschränkungen. Wenn Sie versuchen, mehr benutzerdefinierte Einschränkungen zu erstellen, schlägt der Vorgang fehl.
  8. Diese Einschränkung kann nur für die REST-Methode CREATE erzwungen werden.
  9. Die unterstützten Methoden für die einzelnen Dienste finden Sie unter Dienste, die benutzerdefinierte Einschränkungen unterstützen.

  10. Klicken Sie zum Definieren einer Bedingung auf Bedingung bearbeiten.
    1. Erstellen Sie im Bereich Bedingung hinzufügen eine CEL-Bedingung, die auf eine unterstützte Dienstressource verweist, z. B. resource.management.autoUpgrade == false. Dieses Feld kann bis zu 1.000 Zeichen enthalten. Weitere Informationen zur Verwendung von CEL finden Sie unter Common Expression Language. Weitere Informationen zu den Dienstressourcen, die Sie in Ihren benutzerdefinierten Einschränkungen verwenden können, finden Sie unter Unterstützte Dienste für benutzerdefinierte Einschränkungen.
    2. Klicken Sie auf Speichern.
  11. Wählen Sie unter Aktion aus, ob die ausgewertete Methode zugelassen oder abgelehnt werden soll, wenn die Bedingung erfüllt ist.
  12. Die Aktion „Ablehnen“ bedeutet, dass der Vorgang zum Erstellen oder Aktualisieren der Ressource blockiert wird, wenn die Bedingung als wahr ausgewertet wird.

    Die Aktion „Zulassen“ bedeutet, dass der Vorgang zum Erstellen oder Aktualisieren der Ressource nur zulässig ist, wenn die Bedingung als wahr ausgewertet wird. Alle anderen Fälle, mit Ausnahme der explizit in der Bedingung aufgeführten, werden blockiert.

  13. Klicken Sie auf Einschränkung erstellen.
  14. Wenn Sie in jedes Feld einen Wert eingegeben haben, wird rechts die entsprechende YAML-Konfiguration für diese benutzerdefinierte Einschränkung angezeigt.

gcloud

  1. Zum Erstellen einer benutzerdefinierten Beschränkung erstellen Sie eine YAML-Datei im folgenden Format:
  2. name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
    resourceTypes: RESOURCE_NAME
    methodTypes:
      - CREATE
    condition: "CONDITION"
    actionType: ACTION
    displayName: DISPLAY_NAME
    description: DESCRIPTION

    Ersetzen Sie Folgendes:

    • ORGANIZATION_ID: Ihre Organisations-ID, z. B. 123456789.
    • CONSTRAINT_NAME: Name, den Sie für Ihre neue benutzerdefinierte Einschränkung verwenden möchten. Eine benutzerdefinierte Einschränkung darf nur Buchstaben (einschließlich Groß- und Kleinbuchstaben) oder Ziffern enthalten, z. B. custom.dataprocEnableComponentGateway. Dieses Feld kann bis zu 70 Zeichen enthalten, das Präfix (custom.) nicht mitgezählt, z. B. organizations/123456789/customConstraints/custom. Beziehen Sie weder personenidentifizierbare Informationen noch sensible Daten in die Einschränkungs-ID ein, da sie in Fehlermeldungen preisgegeben werden könnten.
    • RESOURCE_NAME: Der vollständig qualifizierte Name der Ressource von Google Cloud, die das Objekt und das Feld enthält, das Sie beschränken möchten. Beispiel: dataproc.googleapis.com/Cluster. Die meisten Ressourcentypen unterstützen bis zu 20 benutzerdefinierte Einschränkungen. Wenn Sie versuchen, mehr benutzerdefinierte Einschränkungen zu erstellen, schlägt der Vorgang fehl.
    • methodTypes: die REST-Methoden, für die die Einschränkung erzwungen wird. Kann nur CREATE sein.
    • Die unterstützten Methoden für die einzelnen Dienste finden Sie unter Dienste, die benutzerdefinierte Einschränkungen unterstützen.

    • CONDITION: eine CEL-Bedingung, die für eine Darstellung einer unterstützten Dienstressource geschrieben wird. Dieses Feld kann bis zu 1.000 Zeichen enthalten. Beispiel: "resource.config.endpointConfig.enableHttpPortAccess==true".
    • Weitere Informationen zu den verfügbaren Ressourcen, auf die Bedingungen geschrieben werden können, finden Sie unter Unterstützte Ressourcen.

    • ACTION: Aktion, die ausgeführt werden soll, wenn condition erfüllt ist. Kann nur ALLOW sein.
    • Die Aktion „Zulassen“ bedeutet, dass der Vorgang zum Erstellen oder Aktualisieren der Ressource zulässig ist, wenn die Bedingung als wahr ausgewertet wird. Das bedeutet auch, dass alle anderen Fälle außer dem explizit in der Bedingung aufgeführten blockiert werden.

    • DISPLAY_NAME: Ein menschenlesbarer Name für die Einschränkung. Dieser Name wird in Fehlermeldungen verwendet und kann zur Identifizierung und Fehlerbehebung verwendet werden. Verwenden Sie keine personenidentifizierbaren Informationen oder vertraulichen Daten in Anzeigenamen, da diese in Fehlermeldungen angezeigt werden können. Dieses Feld kann bis zu 200 Zeichen enthalten.
    • DESCRIPTION: Eine nutzerfreundliche Beschreibung der Einschränkung, die als Fehlermeldung angezeigt werden soll, wenn die Richtlinie verletzt wird. Dieses Feld kann bis zu 2.000 Zeichen enthalten.
  3. Nachdem Sie die YAML-Datei für eine neue benutzerdefinierte Einschränkung erstellt haben, müssen Sie sie einrichten, um sie für Organisationsrichtlinien in Ihrer Organisation verfügbar zu machen. Verwenden Sie zum Einrichten einer benutzerdefinierten Einschränkung den Befehl gcloud org-policies set-custom-constraint:
  4. gcloud org-policies set-custom-constraint CONSTRAINT_PATH

    Ersetzen Sie CONSTRAINT_PATH durch den vollständigen Pfad zu Ihrer benutzerdefinierten Einschränkungsdatei. Beispiel: /home/user/customconstraint.yaml.

    Nach Abschluss dieses Vorgangs sind Ihre benutzerdefinierten Einschränkungen als Organisationsrichtlinien in der Liste der Organisationsrichtlinien von Google Cloud verfügbar.

  5. Prüfen Sie mit dem Befehl gcloud org-policies list-custom-constraints, ob die benutzerdefinierte Einschränkung vorhanden ist:
  6. gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID

    Ersetzen Sie ORGANIZATION_ID durch die ID Ihrer Organisationsressource.

    Weitere Informationen finden Sie unter Organisationsrichtlinien aufrufen.

Benutzerdefinierte Einschränkung erzwingen

Sie können eine Beschränkung erzwingen, indem Sie eine Organisationsrichtlinie erstellen, die darauf verweist, und diese Organisationsrichtlinie dann auf eine Ressource von Google Cloud anwenden.

Console

  1. Wechseln Sie in der Google Cloud Console zur Seite Organisationsrichtlinien.

    Zu den Organisationsrichtlinien

  2. Wählen Sie in der Projektauswahl das Projekt aus, für das Sie die Organisationsrichtlinie festlegen möchten.
  3. Wählen Sie auf der Seite Organisationsrichtlinien die gewünschte Beschränkung aus, um die Seite Richtliniendetails aufzurufen.
  4. Zum Konfigurieren der Organisationsrichtlinie für diese Ressource klicken Sie auf Richtlinie verwalten.
  5. Wählen Sie auf der Seite Richtlinie bearbeiten die Option Richtlinie der übergeordneten Ressource überschreiben aus.
  6. Klicken Sie auf Regel hinzufügen.
  7. Wählen Sie im Abschnitt Erzwingung aus, ob diese Organisationsrichtlinie erzwungen werden soll oder nicht.
  8. Klicken Sie optional auf Bedingung hinzufügen, um die Organisationsrichtlinie von einem Tag abhängig zu machen. Wenn Sie einer Organisationsrichtlinie eine bedingte Regel hinzufügen, müssen Sie mindestens eine unbedingte Regel hinzufügen, da die Richtlinie sonst nicht gespeichert werden kann. Weitere Informationen finden Sie unter Organisationsrichtlinien mit Tags einschränken.
  9. Klicken Sie auf Änderungen testen, um die Auswirkungen der Organisationsrichtlinie zu simulieren. Weitere Informationen finden Sie unter Änderungen an Organisationsrichtlinien mit dem Richtliniensimulator testen.
  10. Klicken Sie auf Probelaufrichtlinie festlegen, um die Organisationsrichtlinie im Probelaufmodus zu erzwingen. Weitere Informationen finden Sie unter Organisationsrichtlinien testen.
  11. Nachdem Sie geprüft haben, ob die Organisationsrichtlinie im Probelaufmodus wie vorgesehen funktioniert, legen Sie die Live-Richtlinie fest, indem Sie auf Richtlinie festlegen klicken.

gcloud

  1. Wenn Sie eine Organisationsrichtlinie mit booleschen Regeln erstellen möchten, erstellen Sie eine YAML-Richtliniendatei, die auf die Beschränkung verweist:
  2. name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
    spec:
      rules:
      - enforce: true
    
    dryRunSpec:
      rules:
      - enforce: true

    Ersetzen Sie Folgendes:

    • PROJECT_ID: das Projekt, für das Sie die Einschränkung erzwingen möchten.
    • CONSTRAINT_NAME: der Name, den Sie für Ihre benutzerdefinierte Beschränkung definiert haben. Beispiel: custom.dataprocEnableComponentGateway.
  3. Führen Sie den folgenden Befehl mit dem Flag dryRunSpec aus, um die Organisationsrichtlinie im Probelaufmodus zu erzwingen:
  4. gcloud org-policies set-policy POLICY_PATH --update-mask=dryRunSpec

    Ersetzen Sie POLICY_PATH durch den vollständigen Pfad zur YAML-Datei Ihrer Organisationsrichtlinie. Es kann bis zu 15 Minuten dauern, bis die Richtlinie wirksam wird.

  5. Nachdem Sie überprüft haben, ob die Organisationsrichtlinie im Probelaufmodus wie vorgesehen funktioniert, legen Sie die Live-Richtlinie mit dem Befehl org-policies set-policy und dem Flag spec fest:
  6. gcloud org-policies set-policy POLICY_PATH --update-mask=spec

    Ersetzen Sie POLICY_PATH durch den vollständigen Pfad zur YAML-Datei Ihrer Organisationsrichtlinie. Es kann bis zu 15 Minuten dauern, bis die Richtlinie wirksam wird.

Benutzerdefinierte Einschränkung testen

Im folgenden Beispiel für die Clustererstellung wird davon ausgegangen, dass eine benutzerdefinierte Organisationsrichtlinie erstellt und bei der Clustererstellung erzwungen wurde, um die Aktivierung des Komponenten-Gateways (resource.config.endpointConfig.enableHttpPortAccess==true) zu erzwingen.

gcloud dataproc clusters create example-cluster \
    --project=PROJECT_ID \
    --zone=COMPUTE_ZONE

Beispielausgabe (standardmäßig ist das Komponentengateway nicht aktiviert, wenn ein Managed Service for Apache Spark-Cluster erstellt wird):

Operation denied by custom org policies: ["customConstraints/custom.dataprocEnableComponentGateway": "Only allow Dataproc cluster creation if the Component Gateway is enabled"]

Einschränkungen für Ressourcen und Vorgänge in Managed Service for Apache Spark

Die folgenden benutzerdefinierten Einschränkungsfelder für Managed Service for Apache Spark sind verfügbar, wenn Sie einen Managed Service for Apache Spark-Cluster erstellen oder aktualisieren. Beachten Sie, dass beim Aktualisieren eines Clusters nur die Einschränkungen unterstützt werden, die sich auf bearbeitbare Clusterparameter beziehen (siehe Cluster aktualisieren).

  • Compute Engine-Netzwerkkonfiguration (networkUri, internalIpOnly, serviceAccount und metadata)
    • resource.config.gceClusterConfig.networkUri
    • resource.config.gceClusterConfig.internalIpOnly
    • resource.config.gceClusterConfig.serviceAccount
    • resource.config.gceClusterConfig.metadata
  • Konfiguration der Compute Engine-Instanzgruppe (imageUri und machineTypeUri)
    • resource.config.masterConfig.imageUri
    • resource.config.masterConfig.machineTypeUri
    • resource.config.workerConfig.imageUri
    • resource.config.workerConfig.machineTypeUri
    • resource.config.secondaryWorkerConfig.imageUri
    • resource.config.secondaryWorkerConfig.machineTypeUri
  • Laufwerkskonfiguration der Compute Engine-Instanzgruppe (bootDiskType, bootDiskSizeGb, numLocalSsds und localSsdInterface)
    • resource.config.masterConfig.diskConfig.bootDiskType
    • resource.config.workerConfig.diskConfig.bootDiskType
    • resource.config.secondaryWorkerConfig.diskConfig.bootDiskType
    • resource.config.masterConfig.diskConfig.bootDiskSizeGb
    • resource.config.workerConfig.diskConfig.bootDiskSizeGb
    • resource.config.secondaryWorkerConfig.diskConfig.bootDiskSizeGb
    • resource.config.masterConfig.diskConfig.numLocalSsds
    • resource.config.workerConfig.diskConfig.numLocalSsds
    • resource.config.secondaryWorkerConfig.diskConfig.numLocalSsds
    • resource.config.masterConfig.diskConfig.localSsdInterface
    • resource.config.workerConfig.diskConfig.localSsdInterface
    • resource.config.secondaryWorkerConfig.diskConfig.localSsdInterface
  • Initialisierungsaktionen (executableFile)
    • resource.config.initializationActions.executableFile
  • Softwarekonfiguration (imageVersion, properties und optionalComponents)
    • resource.config.softwareConfig.imageVersion
    • resource.config.softwareConfig.properties
    • resource.config.softwareConfig.optionalComponents
  • Kerberos-Konfiguration (enableKerberos und crossRealmTrustKdc)
    • resource.config.securityConfig.kerberosConfig.enableKerberos
    • resource.config.securityConfig.kerberosConfig.crossRealmTrustKdc
  • Komponentengateway (enableHttpPortAccess)
    • resource.config.endpointConfig.enableHttpPortAccess
  • Metastore-Konfiguration (dataprocMetastoreService)
    • resource.config.metastoreConfig.dataprocMetastoreService
  • Persistent Disk CMEK (gcePdKmsKeyName)
    • resource.config.encryptionConfig.gcePdKmsKeyName
  • Cluster labels
    • resource.labels
  • Clustergröße
    • resource.config.masterConfig.numInstances
    • resource.config.workerConfig.numInstances
    • resource.config.secondaryWorkerConfig.numInstances
  • Autoscaling
    • resource.config.autoscalingConfig.policyUri
  • Shielded-Instanzkonfiguration (enableSecureBoot, enableVtpm und enableIntegrityMonitoring)
    • resource.config.gceClusterConfig.shieldedInstanceConfig.enableSecureBoot
    • resource.config.gceClusterConfig.shieldedInstanceConfig.enableVtpm
    • resource.config.gceClusterConfig.shieldedInstanceConfig.enableIntegrityMonitoring

Beispiele für benutzerdefinierte Einschränkungen für häufige Anwendungsfälle

Die folgende Tabelle enthält Beispiele für benutzerdefinierte Einschränkungen:

Beschreibung Einschränkungssyntax
Die Anzahl der Managed Service for Apache Spark-Worker-Instanzen beim Erstellen oder Aktualisieren eines Clusters auf maximal 10 beschränken.
    name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocNoMoreThan10Workers
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    - UPDATE
    condition: "resource.config.workerConfig.numInstances + resource.config.secondaryWorkerConfig.numInstances > 10"
    actionType: DENY
    displayName: Total number of worker instances cannot be larger than 10
    description: Cluster cannot have more than 10 workers, including primary and
    secondary workers.
Verhindern, dass der Application Master auf abrufbaren Workern des Managed Service for Apache Spark-Clusters ausgeführt wird.
    name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocAmPrimaryOnlyEnforced
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition:  "('dataproc:am.primary_only' in resource.config.softwareConfig.properties) && (resource.config.softwareConfig.properties['dataproc:am.primary_only']==true)"
    actionType: ALLOW
    displayName: Application master cannot run on preemptible workers
    description: Property "dataproc:am.primary_only" must be "true".
Benutzerdefinierte Hive-Attribute in Managed Service for Apache Spark-Clustern nicht zulassen.
    name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocNoCustomHiveProperties
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition: "resource.config.softwareConfig.properties.all(p, !p.startsWith('hive:'))"
    actionType: ALLOW
    displayName: Cluster cannot have custom Hive properties
    description: Only allow Dataproc cluster creation if no property
    starts with Hive prefix "hive:".
Verwendung des Maschinentyps n1-standard-2 für Managed Service for Apache Spark-Masterinstanzen nicht zulassen.
    name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocMasterMachineType
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition: "resource.config.masterConfig.machineTypeUri.contains('n1-standard-2')"
    actionType: DENY
    displayName: Master cannot use the n1-standard-2 machine type
    description:  Prevent Dataproc cluster creation if the master machine type is n1-standard-2.
Erzwingen Sie die Verwendung eines bestimmten Initialisierungsaktionsskripts.
    name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocInitActionScript
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition: "resource.config.initializationActions.exists(action, action.executableFile=='gs://some/init-action.sh')"
    actionType: ALLOW
    displayName: Initialization action script "gs://some/init-action.sh" must be used
    description:  Only allow Dataproc cluster creation if the "gs://some/init-action.sh"
    initialization action script is used.
Erzwingen Sie die Verwendung eines bestimmten Verschlüsselungsschlüssels für nichtflüchtige Speicher.
    name: organizations/ORGANIZATION_ID/custom.dataprocPdCmek
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition: "resource.config.encryptionConfig.gcePdKmsKeyName == 'projects/project-id/locations/global/keyRings/key-ring-name/cryptoKeys/key-name'"
    actionType: ALLOW
    displayName: Cluster PD must be encrypted with "key-name" from "key-ring-name" key-ring
    description: Only allow Dataproc cluster creation if the PD is encrypted with "key-name" from "key-ring-name" key-ring.
Einschränkungen für Clusterlabels erzwingen
    name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocEnvLabel
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    - UPDATE
    condition:  "('env' in resource.labels) && (resource.labels.env=='test')"
    actionType: DENY
    displayName: Cluster cannot have the "env=test" label
    description:  Deny Dataproc cluster creation or update if the cluster will be labeled "env=test".
Erzwingen Sie die Verwendung eines Nicht-Standardnetzwerks.
    name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocNoDefaultNetwork
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition:  "resource.config.gceClusterConfig.networkUri.contains('networks/default')"
    actionType: DENY
    displayName: Cluster cannot be created in the default network
    description:  Deny Dataproc cluster creation if the cluster will be created in the default network.

Nächste Schritte