CMEK mit Google Cloud Serverless for Apache Spark verwenden

Standardmäßig verschlüsselt Google Cloud Serverless for Apache Spark inaktive Kundendaten. Die Verschlüsselung wird von Serverless for Apache Spark übernommen. Weitere Maßnahmen Ihrerseits sind nicht erforderlich. Diese Option wird Google-Standardverschlüsselung genannt.

Wenn Sie Ihre Verschlüsselungsschlüssel selbst verwalten möchten, können Sie kundenverwaltete Verschlüsselungsschlüssel (CMEKs, Customer-Managed Encryption Keys) in Cloud KMS mit CMEK-integrierten Diensten wie Serverless for Apache Spark verwenden. Mit Cloud KMS-Schlüsseln haben Sie die Kontrolle über Schutzlevel, Speicherort, Rotationszeitplan, Nutzungs- und Zugriffsberechtigungen sowie über kryptografische Grenzen. Mit Cloud KMS können Sie außerdem die Schlüsselnutzung verfolgen, Audit-Logs aufrufen und den Lebenszyklus von Schlüsseln steuern. Statt es Google zu überlassen, die symmetrischen Schlüsselverschlüsselungsschlüssel (Key Encryption Keys, KEKs) zum Schutz Ihrer Daten zu besitzen und zu verwalten, können Sie diese auch über Cloud KMS steuern und verwalten.

Nachdem Sie Ihre Ressourcen mit CMEKs eingerichtet haben, ähnelt der Zugriff auf Ihre Serverless for Apache Spark-Ressourcen der Verwendung der Google-Standardverschlüsselung. Weitere Informationen zu Ihren Verschlüsselungsoptionen finden Sie unter Kundenverwaltete Verschlüsselungsschlüssel (CMEK).

Wenn Sie Google Cloud Serverless for Apache Spark verwenden, werden Daten auf Festplatten in der zugrunde liegenden serverlosen Infrastruktur und in einem Cloud Storage-Staging-Bucket gespeichert. Diese Daten werden mit einem von Google generierten Datenverschlüsselungsschlüssel (Data Encryption Key, DEK) und mit einem Schlüsselverschlüsselungsschlüssel (Key Encryption Key, KEK) verschlüsselt. Wenn Sie die Kontrolle über Ihren KEK behalten möchten, können Sie anstelle der Standardverschlüsselung im Ruhezustand einen vom Kunden verwalteten Verschlüsselungsschlüssel (CMEK) verwenden. Wenn Sie einen CMEK verwenden, erstellen Sie den Schlüssel und verwalten den Zugriff darauf. Sie können den Zugriff darauf widerrufen, um die Entschlüsselung Ihrer DEKs und Daten zu verhindern.

CMEK verwenden

Folgen Sie der Anleitung in diesem Abschnitt, um CMEK zum Verschlüsseln von Daten zu verwenden, die von Google Cloud Serverless for Apache Spark auf den nichtflüchtigen Speicher und in den Dataproc-Staging-Bucket geschrieben werden.

Ab dem 23. April 2024:

• Serverless for Apache Spark verwendet Ihren CMEK auch zum Verschlüsseln von Batchjob-Argumenten. Die IAM-Rolle Cloud KMS CryptoKey Encrypter/Decrypter muss dem Dienstkonto des Dataproc-Dienst-Agents zugewiesen werden, damit dieses Verhalten möglich ist. Wenn die Dataproc Service Agent-Rolle nicht an das Dienstkonto des Dataproc Service Agent angehängt ist, fügen Sie die Berechtigung serviceusage.services.use einer benutzerdefinierten Rolle hinzu, die an das Dienstkonto des Dataproc Service Agent angehängt ist . Die Cloud KMS API muss für das Projekt aktiviert sein, in dem Serverless for Apache Spark-Ressourcen ausgeführt werden.
• batches.list gibt ein unreachable-Feld zurück, in dem alle Batches mit Jobargumenten aufgeführt sind, die nicht entschlüsselt werden konnten. Sie können batches.get-Anfragen senden, um weitere Informationen zu nicht erreichbaren Batches zu erhalten.
• Der Schlüssel (CMEK) muss sich am selben Speicherort wie die verschlüsselte Ressource befinden. Der CMEK, der zum Verschlüsseln eines Batches verwendet wird, der in der Region us-central1 ausgeführt wird, muss sich beispielsweise auch in der Region us-central1 befinden.

Sie können den Cloud Key Management Service verwenden, um Schlüsselbunde und Schlüssel zu erstellen und zu verwalten, oder Cloud KMS Autokey, um Schlüsselbunde und Schlüssel automatisch erstellen zu lassen.

Cloud KMS Autokey verwenden

1. Aktivieren Sie Autokey für den Ordner, der Ihr Projekt enthält.
2. Schlüssel-Handle erstellen Geben Sie beim Erstellen des Schlüssel-Handles dataproc.googleapis.com/Batch oder dataproc.googleapis.com/Session als --resource-type an. Mit Autokey wird ein Schlüssel generiert und dem Schlüssel-Handle zugewiesen.
3. Gewähren Sie Dienstkonten Berechtigungen und konfigurieren Sie Ihren Batch- oder Sitzungsworkload, indem Sie die Schritte 4 und 5 im folgenden Abschnitt Schlüssel manuell erstellen und verwenden ausführen. Wenn Sie Ihre Arbeitslast senden, geben Sie im Feld kmsKey den Ressourcennamen des Schlüssel-Handles anstelle des Ressourcennamens des Schlüssels an.

Schlüssel manuell erstellen und verwenden

Führen Sie die folgenden Schritte aus, um Cloud KMS-Schlüssel manuell zu erstellen und mit Serverless for Apache Spark zu verwenden.

1. Erstellen Sie einen Schlüssel mithilfe des Cloud Key Management Service (Cloud KMS).

2. Kopieren Sie den Ressourcennamen.

   

   Der Ressourcenname wird so erstellt:

   projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME
   

3. Aktivieren Sie die Verwendung Ihres Schlüssels für die Dienstkonten „Compute Engine“, „Dataproc“ und „Cloud Storage Service Agent“:

   1. Informationen zum Zuweisen der Rolle Cloud KMS CryptoKey-Verschlüsseler/Entschlüsseler zum Compute Engine-Dienst-Agent-Dienstkonto finden Sie unter Ressourcen mit Cloud KMS-Schlüsseln schützen > Erforderliche Rollen. Wenn dieses Dienstkonto nicht auf der IAM-Seite in der Google Cloud -Konsole aufgeführt ist, klicken Sie auf Von Google bereitgestellte Rollenzuweisungen einschließen, um es aufzulisten.

   2. Weisen Sie dem Dataproc-Dienst-Agent-Dienstkonto die Rolle Cloud KMS CryptoKey Encrypter/Decrypter zu. Sie können die Google Cloud CLI verwenden, um die Rolle zuzuweisen:

       gcloud projects add-iam-policy-binding KMS_PROJECT_ID \
       --member serviceAccount:[e-mail] \
       --role roles/cloudkms.cryptoKeyEncrypterDecrypter
      

      Ersetzen Sie Folgendes:

      KMS_PROJECT_ID ist die ID Ihres Google Cloud -Projekts, in dem Cloud KMS ausgeführt wird. Dieses Projekt kann auch das Projekt sein, in dem Dataproc-Ressourcen ausgeführt werden.

      PROJECT_NUMBER: Die Projektnummer (nicht die Projekt-ID) Ihres Google Cloud Projekts, in dem Dataproc-Ressourcen ausgeführt werden.

   3. Aktivieren Sie die Cloud KMS API für das Projekt, in dem Serverless for Apache Spark-Ressourcen ausgeführt werden.

   4. Wenn die Dataproc Service Agent-Rolle nicht an das Dataproc Service Agent-Dienstkonto angehängt ist, fügen Sie der benutzerdefinierten Rolle, die an das Dataproc Service Agent-Dienstkonto angehängt ist, die Berechtigung serviceusage.services.use hinzu. Wenn die Rolle „Dataproc Service Agent“ dem Dataproc-Dienst-Agent-Dienstkonto zugewiesen ist, können Sie diesen Schritt überspringen.

   5. Folgen Sie der Anleitung, um Ihren Schlüssel dem Bucket hinzuzufügen.

4. Wenn Sie eine Batcharbeitslast senden, gilt Folgendes:

   1. Geben Sie Ihren Schlüssel im Batchparameter kmsKey an.
   2. Geben Sie den Namen Ihres Cloud Storage-Buckets im Batchparameter stagingBucket an.

5. Wenn Sie eine interaktive Sitzung oder Sitzungsvorlage erstellen, gilt Folgendes:

   1. Geben Sie Ihren Schlüssel im Sitzungsparameter kmsKey an.
   2. Geben Sie den Namen Ihres Cloud Storage-Buckets im Sitzungsparameter stagingBucket an.