Daten mit vom Kunden verwalteten Verschlüsselungsschlüsseln verschlüsseln

Dataproc Metastore verschlüsselt ruhende Kundeninhalte standardmäßig. Die Verschlüsselung wird von Dataproc Metastore übernommen. Weitere Maßnahmen Ihrerseits sind nicht erforderlich. Diese Option heißt Google-Standardverschlüsselung.

Wenn Sie Ihre Verschlüsselungsschlüssel selbst verwalten möchten, können Sie kundenverwaltete Verschlüsselungsschlüssel (CMEKs, Customer-Managed Encryption Keys) in Cloud KMS mit CMEK-integrierten Diensten wie Dataproc Metastore verwenden. Mit Cloud KMS-Schlüsseln haben Sie die Kontrolle über Schutzlevel, Speicherort, Rotationszeitplan, Nutzungs- und Zugriffsberechtigungen sowie über kryptografische Grenzen. Mit Cloud KMS können Sie außerdem Audit-Logs aufrufen und den Lebenszyklus von Schlüsseln steuern. Statt es Google zu überlassen, die symmetrischen Schlüsselverschlüsselungsschlüssel (Key Encryption Keys, KEKs) zum Schutz Ihrer Daten zu besitzen und zu verwalten, können Sie diese auch über Cloud KMS steuern und verwalten.

Nachdem Sie Ihre Ressourcen mit CMEKs eingerichtet haben, ähnelt der Zugriff auf Ihre Dataproc Metastore-Ressourcen der Verwendung der Google-Standardverschlüsselung. Weitere Informationen zu Ihren Verschlüsselungsoptionen finden Sie unter Kundenverwaltete Verschlüsselungsschlüssel (CMEK).

Hinweise

Hinweise

Beachten Sie die folgenden Punkte, wenn Sie Dataproc Metastore mit CMEK verwenden.

  • Die Cloud Monitoring-Datenbank unterstützt keine CMEK-Verschlüsselung. Stattdessen verwendetGoogle Cloud Google-Verschlüsselungsschlüssel, um die Namen und Dienstkonfigurationen Ihrer Dataproc Metastore-Dienste zu schützen.

  • Wenn Ihr Dataproc Metastore-Dienst in einem VPC Service Controls-Perimeter ausgeführt werden soll, müssen Sie die Cloud Key Management Service (Cloud KMS) API hinzufügen.

  • Wenn Sie einen Cloud External Key Manager-Schlüssel verwenden, hat Google keine Kontrolle über die Verfügbarkeit Ihres extern verwalteten Schlüssels. Wenn der Schlüssel während der Erstellung des Dataproc Metastore-Dienstes nicht verfügbar ist, schlägt die Dienststellung fehl. Wenn ein Dataproc Metastore-Dienst erstellt wurde und der Schlüssel nicht mehr verfügbar ist, ist der Dienst nicht mehr verfügbar, bis der Schlüssel wieder verfügbar ist. Weitere Überlegungen zur Verwendung externer Schlüssel finden Sie unter Cloud EKM-Überlegungen.

Beschränkungen

Beachten Sie die folgenden Einschränkungen, wenn Sie Dataproc Metastore mit CMEK verwenden.

  • Sie können CMEK nicht für einen vorhandenen Dienst aktivieren.

  • Sie können CMEKs, die von einem CMEK-fähigen Dienst verwendet werden, nicht rotieren.

  • Sie können keine CMEKs verwenden, um Nutzerdaten wie Nutzerabfragen und -antworten während der Übertragung zu verschlüsseln.

CMEK für Dataproc Metastore konfigurieren

Wenn Sie noch keinen Cloud KMS-Schlüssel haben, können Sie einen für Ihren Dataproc Metastore-Dienst erstellen. Andernfalls können Sie diesen Schritt überspringen und einen vorhandenen Schlüssel verwenden.

Optional: Neuen Cloud KMS-Schlüssel erstellen

Zum Erstellen eines Cloud KMS-Schlüssels erstellen Sie zuerst einen Schlüsselbund und dann einen Schlüssel, der im Schlüsselbund gespeichert wird.

Schlüsselbund erstellen

Führen Sie den folgenden gcloud kms keyrings create Befehl aus, um ein Schlüsselbund zu erstellen:

gcloud kms keyrings create KEY_RING \
  --project=PROJECT_ID \
  --location=LOCATION

Ersetzen Sie Folgendes:

  • KEY_RING: Ein Name für Ihren Schlüsselbund.
  • PROJECT_ID: die ID des Google Cloud Projekts, in dem Sie den Schlüsselbund erstellen möchten.
  • LOCATION: die Region, in der Sie den Schlüsselbund erstellen möchten.

Schlüssel erstellen

Führen Sie den folgenden gcloud kms keys create-Befehl aus, um einen Schlüssel zu erstellen, der in Ihrem Schlüsselbund gespeichert wird.

gcloud kms keys create KEY_NAME \
  --project=PROJECT_ID \
  --location=LOCATION \
  --keyring=KEY_RING \
  --purpose=encryption

Ersetzen Sie Folgendes:

  • KEY_NAME: der Name des Schlüssels
  • KEY_RING: der Name des Schlüsselbunds, den Sie im vorherigen Schritt erstellt haben.

Cloud KMS-Schlüsselberechtigungen erteilen

Verwenden Sie die folgenden Befehle, um Berechtigungen für Cloud KMS-Schlüssel für Dataproc Metastore zu erteilen:

  1. Erteilen Sie dem Dienstkonto des Dataproc Metastore-Dienst-Agent Berechtigungen:

      gcloud kms keys add-iam-policy-binding KEY_NAME \
    --location LOCATION \
    --keyring KEY_RING \
    --member=serviceAccount:$(gcloud beta services identity create \
    --service=metastore.googleapis.com 2>&1 | awk '{print $4}') \
    --role=roles/cloudkms.cryptoKeyEncrypterDecrypter

  1. Gewähren Sie dem Cloud Storage-Dienstkonto Berechtigungen:

      gcloud storage service-agent --authorize-cmek projects/KEY_PROJECT/locations/LOCATION/keyRings/KEY_RING/cryptoKeys/KEY_NAME

Dienst für eine einzelne Region mit einem CMEK-Schlüssel erstellen

Führen Sie die folgenden Schritte aus, um die CMEK-Verschlüsselung für einen Dataproc Metastore-Dienst mit einer einzelnen Region zu konfigurieren.

Console

  1. Rufen Sie in der Google Cloud Console die Seite „Dataproc Metastore“ auf:

    Zu Dataproc Metastore

  2. Klicken Sie oben auf der Seite Dataproc Metastore auf Erstellen.

    Die Seite Dienst erstellen wird geöffnet.

  3. Konfigurieren Sie den Dienst nach Bedarf.

  4. Klicken Sie unter Verschlüsselung auf Vom Kunden verwalteter Verschlüsselungsschlüssel (CMEK).

  5. Wählen Sie den vom Kunden verwalteten Schlüssel aus.

  6. Klicken Sie auf Senden.

Verschlüsselungskonfiguration des Dienstes prüfen:

  1. Rufen Sie in der Google Cloud Console die Seite „Dataproc Metastore“ auf:

    Zur Google Cloud Console

  2. Klicken Sie auf der Seite Dataproc Metastore auf den Namen des Dienstes, den Sie aufrufen möchten.

    Die Seite Dienstdetails wird geöffnet.

  3. Prüfen Sie auf dem Tab Konfiguration, ob in den Details CMEK als aktiviert angezeigt wird.

gcloud

  1. Führen Sie den BefehlGoogle Cloud gcloud metastore services create aus, um einen Dienst für eine einzelne Region mit CMEK-Verschlüsselung zu erstellen:

    gcloud metastore services create SERVICE \
   --encryption-kms-key=KMS_KEY

    Ersetzen Sie Folgendes:

    • SERVICE: der Name des neuen Dienstes.
    • KMS_KEY: die ID der Schlüsselressource.

Daten von und zu einem CMEK-fähigen Dienst importieren und exportieren

Wenn Sie möchten, dass Ihre Daten während eines Imports mit einem vom Kunden verwalteten Schlüssel verschlüsselt bleiben, müssen Sie für den Cloud Storage-Bucket CMEK festlegen, bevor Sie Daten aus ihm importieren.

Sie können Daten aus einem Cloud Storage-Bucket importieren, der nicht durch CMEK geschützt ist. Nach dem Import werden die in Dataproc Metastore gespeicherten Daten gemäß den CMEK-Einstellungen des Zieldienstes geschützt.

Beim Exportieren wird der exportierte Datenbankdump gemäß den CMEK-Einstellungen des Ziel-Storage-Buckets geschützt.

Nächste Schritte