Standardmäßig verschlüsselt Dataproc Metastore ruhende Kundendaten. Die Verschlüsselung wird von Dataproc Metastore übernommen. Weitere Maßnahmen Ihrerseits sind nicht erforderlich. Diese Option heißt Google-Standardverschlüsselung.
Wenn Sie Ihre Verschlüsselungsschlüssel selbst verwalten möchten, können Sie vom Kunden verwaltete Verschlüsselungsschlüssel (CMEKs, Customer-Managed Encryption Keys) in Cloud KMS mit CMEK-integrierten Diensten wie Dataproc Metastore verwenden. Mit Cloud KMS-Schlüsseln haben Sie die Kontrolle über Schutzlevel, Speicherort, Rotationszeitplan, Nutzungs- und Zugriffsberechtigungen sowie über kryptografische Grenzen. Mit Cloud KMS können Sie außerdem Audit-Logs aufrufen und den Lebenszyklus von Schlüsseln steuern. Statt es Google zu überlassen, die symmetrischen Schlüsselverschlüsselungsschlüssel (Key Encryption Keys, KEKs) zum Schutz Ihrer Daten zu besitzen und zu verwalten, können Sie diese auch über Cloud KMS steuern und verwalten.
Nachdem Sie Ihre Ressourcen mit CMEKs eingerichtet haben, ähnelt der Zugriff auf Ihre Dataproc Metastore-Ressourcen der Verwendung der Google-Standardverschlüsselung. Weitere Informationen zu Ihren Verschlüsselung soptionen finden Sie unter Kundenverwaltete Verschlüsselungsschlüssel (CMEK).
Hinweis
Hinweise
Beachten Sie die folgenden Punkte, wenn Sie Dataproc Metastore mit CMEK verwenden.
Die Cloud Monitoring-Datenbank unterstützt keine CMEK-Verschlüsselung. Stattdessen werden Google-Verschlüsselungsschlüssel verwendet, um die Namen und Dienstkonfigurationen Ihrer Dataproc Metastore-Dienste zu schützen.Google Cloud
Wenn Ihr Dataproc Metastore-Dienst in einem VPC Service Controls-Perimeter ausgeführt werden soll, müssen Sie die Cloud Key Management Service (Cloud KMS) API dem Perimeter hinzufügen.
Wenn Sie einen Cloud External Key Manager-Schlüssel verwenden, hat Google keine Kontrolle über die Verfügbarkeit Ihres extern verwalteten Schlüssels. Wenn der Schlüssel während der Erstellung des Dataproc Metastore-Dienstes nicht verfügbar ist, schlägt die Diensterstellung fehl. Wenn der Schlüssel nach der Erstellung eines Dataproc Metastore-Dienstes nicht mehr verfügbar ist, ist der Dienst nicht mehr verfügbar, bis der Schlüssel wieder verfügbar ist. Weitere Überlegungen zur Verwendung externer Schlüssel finden Sie unter Überlegungen zu Cloud EKM.
Beschränkungen
Beachten Sie die folgenden Einschränkungen, wenn Sie Dataproc Metastore mit CMEK verwenden.
Sie können CMEK nicht für einen vorhandenen Dienst aktivieren.
Sie können CMEKs, die von einem CMEK-fähigen Dienst verwendet werden, nicht rotieren.
Sie können CMEKs nicht verwenden, um Nutzerdaten bei der Übertragung, wie z. B. Nutzerabfragen und -antworten, zu verschlüsseln.
CMEK für Dataproc Metastore konfigurieren
Wenn Sie noch keinen Cloud KMS-Schlüssel haben, können Sie einen für Ihren Dataproc Metastore-Dienst erstellen. Andernfalls können Sie diesen Schritt überspringen und einen vorhandenen Schlüssel verwenden.
Optional: Neuen Cloud KMS-Schlüssel erstellen
Zum Erstellen eines Cloud KMS-Schlüssels erstellen Sie zuerst einen Schlüsselbund und dann einen Schlüssel, der im Schlüsselbund gespeichert wird.
Schlüsselbund erstellen
Führen Sie den folgenden gcloud kms keyrings create
Befehl aus, um einen Schlüsselbund zu erstellen.
gcloud kms keyrings create KEY_RING \ --project=PROJECT_ID \ --location=LOCATION
Ersetzen Sie Folgendes:
KEY_RING: ein Name für Ihren Schlüsselbund.PROJECT_ID: die ID des Google Cloud Projekts , in dem Sie den Schlüsselbund erstellen möchten.LOCATION: die Region, in der Sie den Schlüsselbund erstellen möchten.
Schlüssel erstellen
Führen Sie den folgenden
gcloud kms keys create
Befehl aus, um einen Schlüssel zu erstellen, der in Ihrem Schlüsselbund gespeichert wird.
gcloud kms keys create KEY_NAME \ --project=PROJECT_ID \ --location=LOCATION \ --keyring=KEY_RING \ --purpose=encryption
Ersetzen Sie Folgendes:
KEY_NAME: der Name des Schlüssels.KEY_RING: der Name des Schlüsselbunds, den Sie im vorherigen Schritt erstellt haben.
Cloud KMS-Schlüsselberechtigungen erteilen
Verwenden Sie die folgenden Befehle, um Cloud KMS-Schlüsselberechtigungen für Dataproc Metastore zu erteilen:
Erteilen Sie dem Dienstkonto des Dataproc Metastore-Dienst-Agent Berechtigungen:
gcloud kms keys add-iam-policy-binding KEY_NAME \ --location LOCATION \ --keyring KEY_RING \ --member=serviceAccount:$(gcloud beta services identity create \ --service=metastore.googleapis.com 2>&1 | awk '{print $4}') \ --role=roles/cloudkms.cryptoKeyEncrypterDecrypter
Gewähren Sie dem Cloud Storage-Dienstkonto Berechtigungen:
gcloud storage service-agent --authorize-cmek projects/KEY_PROJECT/locations/LOCATION/keyRings/KEY_RING/cryptoKeys/KEY_NAME
Dienst mit einer einzelnen Region und einem CMEK-Schlüssel erstellen
Führen Sie die folgenden Schritte aus, um die CMEK-Verschlüsselung für einen Dataproc Metastore-Dienst mit einer einzelnen Region zu konfigurieren.
Console
Öffnen Sie in der Google Cloud Console- die Seite „Dataproc Metastore“:
Klicken Sie oben auf der Seite Dataproc Metastore auf Erstellen.
Die Seite Dienst erstellen wird geöffnet.
Konfigurieren Sie Ihren Dienst nach Bedarf.
Klicken Sie unter Verschlüsselung auf kundenverwalteter Verschlüsselungsschlüssel (CMEK).
Wählen Sie den vom Kunden verwalteten Schlüssel aus.
Klicken Sie auf Senden.
Überprüfen Sie die Verschlüsselungskonfiguration des Dienstes:
Öffnen Sie in der Google Cloud Console- die Seite „Dataproc Metastore“:
Klicken Sie auf der Seite Dataproc Metastore auf den Namen des Dienstes, den Sie aufrufen möchten.
Die Seite Dienstdetails wird geöffnet.
Prüfen Sie auf dem Tab Konfiguration, ob in den Details CMEK als aktiviert angezeigt wird.
gcloud
Führen Sie den Google Cloud
gcloud metastore services createBefehl aus, um einen Dienst mit einer einzelnen Region und CMEK-Verschlüsselung zu erstellen:gcloud metastore services create SERVICE \ --encryption-kms-key=KMS_KEY
Ersetzen Sie Folgendes:
SERVICE: der Name des neuen Dienstes.KMS_KEY: die Schlüsselressourcen-ID.
Daten von und zu einem CMEK-fähigen Dienst importieren und exportieren
Wenn Sie möchten, dass Ihre Daten während eines Imports mit einem vom Kunden verwalteten Schlüssel verschlüsselt bleiben, müssen Sie für den Cloud Storage-Bucket CMEK festlegen, bevor Sie Daten aus ihm importieren.
Sie können aus einem nicht CMEK-geschützten Cloud Storage-Bucket importieren. Nach dem Import werden die in Dataproc Metastore gespeicherten Daten gemäß den CMEK-Einstellungen des Zieldienstes geschützt.
Beim Export wird der exportierte Datenbank-Dump gemäß den CMEK-Einstellungen des Ziel-Storage-Buckets geschützt.