Verschlüsselung mit vom Kunden verwalteten Verschlüsselungsschlüsseln konfigurieren

Managed Airflow (Gen 3) | Managed Airflow (Gen 2) | Managed Airflow (Legacy Gen 1)

Auf dieser Seite wird beschrieben, wie Sie vom Kunden verwaltete Verschlüsselungsschlüssel (Customer-Managed Encryption Keys, CMEK) verwenden, um Managed Airflow-Umgebungen zu schützen.

Informationen zu vom Kunden verwalteten Verschlüsselungsschlüsseln (Customer-Managed Encryption Keys, CMEK)

Managed Service for Apache Airflow verschlüsselt ruhende Kundeninhalte standardmäßig. Die Verschlüsselung wird von Managed Airflow übernommen. Weitere Maßnahmen Ihrerseits sind nicht erforderlich. Diese Option heißt Google-Standardverschlüsselung.

Wenn Sie Ihre Verschlüsselungsschlüssel selbst verwalten möchten, können Sie kundenverwaltete Verschlüsselungsschlüssel (CMEKs, Customer-Managed Encryption Keys) in Cloud KMS mit CMEK-integrierten Diensten wie Managed Airflow verwenden. Mit Cloud KMS-Schlüsseln haben Sie die Kontrolle über Schutzlevel, Speicherort, Rotationszeitplan, Nutzungs- und Zugriffsberechtigungen sowie über kryptografische Grenzen. Mit Cloud KMS können Sie außerdem Audit-Logs aufrufen und den Lebenszyklus von Schlüsseln steuern. Statt es Google zu überlassen, die symmetrischen Schlüsselverschlüsselungsschlüssel (Key Encryption Keys, KEKs) zum Schutz Ihrer Daten zu besitzen und zu verwalten, können Sie diese auch über Cloud KMS steuern und verwalten.

Nachdem Sie Ihre Ressourcen mit CMEKs eingerichtet haben, ähnelt der Zugriff auf Ihre verwalteten Airflow-Ressourcen der Verwendung der Google-Standardverschlüsselung. Weitere Informationen zu Ihren Verschlüsselungsoptionen finden Sie unter Kundenverwaltete Verschlüsselungsschlüssel (CMEK).

Mit CMEK-Verschlüsselung geschützte Daten

Managed Airflow schützt die folgenden Daten mit CMEK-Verschlüsselung:

• Inhalte und Schema der Airflow-Datenbank
• Umgebungs- und Airflow-Aufgabenlogs in Cloud Logging
• Inhalt des Buckets der Umgebung
• Im Cluster der Umgebung gespeicherte Secrets
• Nichtflüchtige Speicher, die von der Aufgabenwarteschlange verwendet werden
• Container-Images von Umgebungskomponenten, die in Artifact Registry-Repositories gespeichert sind

Weitere Informationen zur Datenverschlüsselung finden Sie unter:

• Informationen zu vom Kunden verwalteten Verschlüsselungsschlüsseln (Customer-managed Encryption Keys, CMEK) in der Cloud SQL-Dokumentation.
• Kundenverwaltete Verschlüsselungsschlüssel (Customer-Managed Encryption Keys, CMEK) verwenden und Secrets auf Anwendungsebene verschlüsseln in der Google Kubernetes Engine-Dokumentation.
• Kundenverwaltete Verschlüsselungsschlüssel in der Cloud Storage-Dokumentation.
• CMEK für Cloud Logging konfigurieren in der Cloud Logging-Dokumentation.

Daten, die nicht mit CMEK-Verschlüsselung geschützt sind

Cloud Monitoring unterstützt keine CMEK-Verschlüsselung. Der Name Ihrer Umgebung und die Namen von DAGs werden in der Monitoring-Datenbank in verschlüsselter Form mit Google-owned and Google-managed encryption keysgespeichert.

In Managed Airflow werden die folgenden Informationen gespeichert, die mitGoogle-owned and Google-managed encryption keysund nicht mit kundenverwalteten Schlüsseln geschützt sind:

• Name der Umgebung
• Airflow-Konfigurationsüberschreibungen

• Umgebungsvariablen

• Labels

• Die Namen einiger von Managed Airflow gespeicherter Parameter können einen Teil des Namens der Umgebung enthalten.

Warnung :Wenn Sie den Bucket einer benutzerdefinierten Umgebung verwenden, werden die Verschlüsselungseinstellungen des von Ihnen angegebenen Buckets von Managed Airflow nicht geändert. Der Bucket wird also nicht mit einem CMEK-Schlüssel verschlüsselt, auch wenn die Richtlinien des Projekts eine Verschlüsselung erfordern. Die Verschlüsselung des benutzerdefinierten Buckets wird nicht geändert, wenn in Ihrer Umgebung die CMEK-Verschlüsselung verwendet wird. Ihr benutzerdefinierter Bucket unterliegt den Richtlinien des Projekts, zu dem er gehört. Sie können den Bucket der Umgebung manuell mit CMEK-Schlüsseln verschlüsseln, bevor Sie eine Umgebung erstellen.

Rotation von CMEK-Schlüsseln für Managed Airflow

Nachdem Sie die Verschlüsselung in Ihrer Umgebung mit CMEK-Schlüsseln konfiguriert haben, sollten Sie diese Schlüssel regelmäßig rotieren, wie in der KMS-Dokumentation beschrieben.

Wenn Sie einen CMEK-Schlüssel rotieren, werden Daten, die mit früheren Schlüsselversionen verschlüsselt sind, nicht automatisch mit der neuen Schlüsselversion verschlüsselt. Weitere Informationen finden Sie unter Daten neu verschlüsseln.

Dies gilt insbesondere für:

• Objekte, die im Bucket der Umgebung gespeichert sind.
• In der Airflow-Datenbank gespeicherte Daten.
• Alle anderen Datenobjekte, die mit CMEK in der verwalteten Airflow-Umgebung verschlüsselt sind.
• Container-Images von Umgebungskomponenten, die in Artifact Registry-Repositories gespeichert sind.

Kundenverwalteten Verschlüsselungsschlüssel für Ihre Umgebung verwenden

Warnung :Wenn Sie eine Umgebung mit einem kundenverwalteten Verschlüsselungsschlüssel erstellen und den Schlüssel später deaktivieren oder löschen, ist die Umgebung nicht mehr nutzbar. Es ist nicht möglich, eine Umgebung wiederherzustellen, wenn ihr Verschlüsselungsschlüssel gelöscht oder deaktiviert wurde.

Hinweis

• Sie können CMEK nur beim Erstellen einer Umgebung konfigurieren. CMEK kann nicht für eine vorhandene Umgebung aktiviert werden.

• Managed Airflow unterstützt die CMEK-Verschlüsselung mit Schlüsseln, die in externen Schlüsselmanagern gespeichert sind.

• Sie müssen einen CMEK-Schlüssel in derselben Region erstellen, in der sich Ihre Umgebungen befinden. Sie können keine multiregionalen oder globalen Schlüssel verwenden.

• Wenn Ihre Umgebung in einem VPC Service Controls-Perimeter ausgeführt werden soll, müssen Sie die Cloud Key Management Service API hinzufügen.

Schritt 1: Kundenverwalteten Verschlüsselungsschlüssel erstellen

Folgen Sie der Anleitung unter Symmetrische Verschlüsselungsschlüssel erstellen, um einen Schlüssel in der Region zu erstellen, in der sich Ihre Umgebung befindet.

Schritt 2: Dienst-Agents Rollen zuweisen

Wichtig: Wenn Ihr Projekt eine Richtlinie für die domaineingeschränkte Freigabe hat, die Adressen aus der Domain google.com ausschließt. Sie müssen diese Richtlinie deaktivieren oder erweitern, um Dienst-Agents die erforderlichen Rollen zuzuweisen. Nachdem Sie die Rollen zugewiesen haben, können Sie die Richtlinienänderungen rückgängig machen. Diese Richtlinie hat keine Auswirkungen auf die Erstellung von Umgebungen.

Console

Diesen Schritt überspringen Sie erteilen Berechtigungen für Dienst-Agents, wenn Sie einen Schlüssel für Ihre Umgebung angeben.

gcloud

Die folgenden Dienst-Agents müssen die Rolle Cloud KMS CryptoKey Encrypter/Decrypter für den Schlüssel haben, den Sie für Ihre Umgebung verwenden.

Ersetzen Sie PROJECT_NUMBER durch die Nummer Ihres Projekts.

Name des Dienst-Agents	E-Mail-Adresse des Dienstkontos	API-Dienstname
Managed Airflow Service Agent	[e-mail]	composer.googleapis.com
Cloud Storage-Dienst-Agent	[e-mail]	Berechtigungen zum Verschlüsseln und Entschlüsseln mit gcloud storage service-agent --authorize-cmek erteilen

1. (Falls erforderlich) Wenn einige dieser Dienstkonten in Ihrem Projekt nicht vorhanden sind, bedeutet das, dass noch keine Identität für diesen Dienst erstellt wurde. Das kann beispielsweise passieren, wenn Sie noch keine Managed Airflow-Umgebungen in Ihrem Projekt erstellt haben.

   Um diese Dienstkonten hinzuzufügen, erstellen Sie mit dem folgenden Befehl Identitäten für die aufgeführten Dienste:

   gcloud beta services identity create \
     --service=API_SERVICE_NAME
   

   Ersetzen Sie API_SERVICE_NAME durch den API-Dienstnamen eines Dienstes, der kein Dienstkonto in Ihrem Projekt hat.

   Beispiel:

   gcloud beta services identity create \
     --service=composer.googleapis.com
   

2. Berechtigungen für Dienst-Agents erteilen:

   1. Weisen Sie dem Managed Airflow-Dienst-Agent die Rolle zu:

      gcloud kms keys add-iam-policy-binding KEY_NAME \
        --location KEY_LOCATION \
        --keyring KEY_RING_NAME \
        --member=serviceAccount:[e-mail] \
        --role=roles/cloudkms.cryptoKeyEncrypterDecrypter \
        --project KEY_PROJECT_ID
      

   2. Erteilen Sie dem Cloud Storage-Dienst-Agent Berechtigungen zum Verschlüsseln und Entschlüsseln. Sie können diesen Schritt überspringen, wenn Sie den Bucket einer benutzerdefinierten Umgebung verwenden.

      gcloud storage service-agent \
        --authorize-cmek=projects/KEY_PROJECT_ID/locations/KEY_LOCATION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME
      

   Ersetzen Sie:

   • PROJECT_ID durch die ID Ihres Projekts.
   • KEY_PROJECT_ID durch die ID des Projekts, in dem Ihr vom Kunden verwalteter Schlüssel gespeichert ist. Wenn Sie einen Schlüssel aus einem anderen Projekt verwenden, unterscheidet sich dieser Wert von der ID Ihres Projekts. Wenn Sie einen Schlüssel aus demselben Projekt verwenden, ist dieser Wert die ID Ihres Projekts.
   • PROJECT_NUMBER durch die Nummer Ihres Projekts.
   • KEY_LOCATION durch den Speicherort Ihres vom Kunden verwalteten Schlüssels. Dieser Standort muss mit dem Standort Ihrer Umgebung übereinstimmen.
   • Ersetzen Sie KEY_NAME durch den Namen Ihres vom Kunden verwalteten Schlüssels.
   • KEY_RING_NAME mit dem Schlüsselbund, in dem Ihr vom Kunden verwalteter Schlüssel gespeichert ist.

   Sie können die Befehle gcloud projects describe, gcloud kms keyrings list und gcloud kms keys describe ausführen, um diese Werte zu erhalten.

Schritt 3: Umgebung mit CMEK erstellen

Nachdem Sie einen kundenverwalteten Verschlüsselungsschlüssel erstellt haben, können Sie ihn zum Erstellen von Managed Airflow-Umgebungen verwenden.

Console

Wenn Sie eine Umgebung erstellen, gilt Folgendes:

1. Maximieren Sie den Abschnitt Erweiterte Konfiguration. Wählen Sie im Abschnitt Datenverschlüsselung die Option Cloud Key Management Service-Schlüssel aus.

2. Wählen Sie in der Drop-down-Liste Cloud Key Management Service-Schlüssel auswählen Ihren Schlüssel aus.

3. Wenn eine zusätzliche Einrichtung erforderlich ist, wird eine Meldung angezeigt. In diesem Fall:

   1. Klicken Sie auf Assistenten öffnen.

   2. Sehen Sie sich im Dialogfeld CMEK-Schlüssel für die Verwendung in Managed Airflow vorbereiten die Liste der Dienst-Agents an, die die Rolle Cloud KMS CryptoKey-Verschlüsseler/Entschlüsseler für den Schlüssel haben müssen.

   3. Klicken Sie auf Gewähren, um die erforderlichen Rollen und Berechtigungen zu erteilen.

   Wichtig: Wenn Ihr Projekt eine Richtlinie für die domaineingeschränkte Freigabe hat, die Adressen aus der Domain google.com ausschließt. Sie müssen diese Richtlinie deaktivieren oder erweitern, um Dienst-Agents die erforderlichen Rollen zuzuweisen. Nachdem Sie die Rollen zugewiesen haben, können Sie die Richtlinienänderungen rückgängig machen. Diese Richtlinie hat keine Auswirkungen auf die Erstellung von Umgebungen.

gcloud

Mit dem Argument --kms-key wird ein vom Kunden verwalteter Verschlüsselungsschlüssel für Ihre Umgebung angegeben.

Weitere Informationen zum Erstellen von Umgebungen finden Sie unter Umgebungen erstellen. Möglicherweise möchten Sie beispielsweise andere Parameter für Ihre Umgebung angeben.

gcloud composer environments create ENVIRONMENT_NAME \
  --location LOCATION \
  --image-version IMAGE_VERSION \
  --kms-key projects/KEY_PROJECT_ID/locations/KEY_LOCATION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME

Ersetzen Sie:

• ENVIRONMENT_NAME durch den Namen der Umgebung.
• IMAGE_VERSION durch den Namen des Managed Airflow-Images.
• KEY_PROJECT_ID durch die ID des Projekts, in dem sich der Schlüssel befindet. Wenn Sie einen Schlüssel aus einem anderen Projekt verwenden, unterscheidet sich dieser Wert von der ID Ihres Projekts. Wenn Sie einen Schlüssel aus demselben Projekt verwenden, ist dieser Wert die ID Ihres Projekts.
• LOCATION durch die Region, in der sich die Umgebung befindet.
• KEY_LOCATION durch den Speicherort Ihres vom Kunden verwalteten Schlüssels. Dieser Standort muss mit dem Standort Ihrer Umgebung übereinstimmen.
• Ersetzen Sie KEY_NAME durch den Namen Ihres vom Kunden verwalteten Schlüssels.
• KEY_RING_NAME mit dem Schlüsselbund, in dem Ihr vom Kunden verwalteter Schlüssel gespeichert ist.

Beispiel:

gcloud composer environments create example-environment \
  --location us-central1 \
  --image-version composer-3-airflow-2.10.5-build.34 \
  --kms-key projects/example-project/locations/us-central1/keyRings/example-key-ring/cryptoKeys/example-key

Verschlüsselungskonfiguration der Umgebung ansehen

So rufen Sie die Verschlüsselungskonfiguration für eine vorhandene Umgebung auf:

Console

1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

   Zur Seite Umgebungen

2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.

3. Rufen Sie den Tab Umgebungskonfiguration auf.

4. Details zur Verschlüsselung finden Sie unter Datenverschlüsselungsschlüssel.

gcloud

Führen Sie den folgenden gcloud-Befehl aus, um die Verschlüsselungskonfiguration aufzurufen.

gcloud composer environments describe \
  ENVIRONMENT_NAME \
  --location LOCATION \
  --format="value(config.encryptionConfig)"

Ersetzen Sie:

• ENVIRONMENT_NAME durch den Namen der Umgebung.
• LOCATION durch die Region, in der sich die Umgebung befindet.

Beispiel:

gcloud composer environments describe \
  example-environment \
  --location us-central1 \
  --format="value(config.encryptionConfig)"

CMEK für Managed Airflow-Logs verwenden

Cloud Logging unterstützt die Verschlüsselung von Log-Speicher mit CMEK-Schlüsseln. Wir empfehlen, das Standard-CMEK-Verfahren zum Verschlüsseln von Logs mit CMEK-Schlüsseln zu verwenden.

Wenn Sie Logs mit CMEK-Schlüsseln verschlüsseln möchten, folgen Sie der Anleitung unter Schlüssel zum Schutz von Logging-Speicherdaten verwalten.

Veraltet :Die folgende Anleitung zum Weiterleiten von verwalteten Airflow-Logs an einen CMEK-verschlüsselten Cloud Storage-Bucket ist veraltet. Wenn Sie diesen Ansatz in Ihrem Projekt verwenden, sollten Sie stattdessen die Logspeicherung mit CMEK-Schlüsseln verschlüsseln.

Managed Airflow-Logs an einen CMEK-verschlüsselten Cloud Storage-Bucket weiterleiten

Wenn Sie erwarten, dass Ihre Logs sensible Daten enthalten, sollten Sie Managed Airflow-Logs mit dem Log-Router an einen CMEK-verschlüsselten Cloud Storage-Bucket weiterleiten. Dadurch wird verhindert, dass Ihre Logs an Monitoring gesendet werden.

Wenn Sie Unterstützung von Cloud Customer Care benötigen, müssen Sie möglicherweise Google-Supporttechnikern Zugriff auf die in Cloud Storage gespeicherten Managed Airflow-Logs gewähren.

Hinweis: Audit-Logs können nicht ausgeschlossen werden. Sie werden immer an den Standardspeicher gesendet.

gcloud

1. Erstellen Sie einen neuen Cloud Storage-Bucket zum Speichern der Logs.

   gcloud storage buckets create gs://BUCKET_NAME --location=LOCATION
   

   Ersetzen Sie:

   • LOCATION durch die Region, in der sich die Umgebung befindet.
   • BUCKET_NAME durch den Namen des Buckets.

   Beispiel:

   gcloud storage buckets create gs://composer-logs-us-central1-example-environment --location=us-central1
   

2. Verschlüsseln Sie den Bucket mit Ihrem CMEK-Schlüssel.

   gcloud storage buckets update gs://BUCKET_NAME \
     --default-encryption-key=projects/KEY_PROJECT_ID/locations/KEY_LOCATION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME
   

   Ersetzen Sie:

   • KEY_PROJECT_ID durch die ID des Projekts, in dem sich der Schlüssel befindet. Wenn Sie einen Schlüssel aus einem anderen Projekt verwenden, unterscheidet sich dieser Wert von der ID Ihres Projekts. Wenn Sie einen Schlüssel aus demselben Projekt verwenden, ist dieser Wert die ID Ihres Projekts.
   • KEY_LOCATION durch den Speicherort Ihres vom Kunden verwalteten Schlüssels. Dieser Standort muss mit dem Standort Ihrer Umgebung übereinstimmen.
   • KEY_RING_NAME mit dem Schlüsselbund, in dem Ihr vom Kunden verwalteter Schlüssel gespeichert ist.
   • Ersetzen Sie KEY_NAME durch den Namen Ihres vom Kunden verwalteten Schlüssels.
   • BUCKET_NAME durch den Namen des Buckets.

   Beispiel:

   gcloud storage buckets update gs://composer-logs-us-central1-example-environment \
     --default-encryption-key=projects/example-project/locations/us-central1/keyRings/example-key-ring/cryptoKeys/example-key
   

3. Erstellen Sie eine neue Logsenke.

   gcloud logging sinks create \
   composer-log-sink-ENVIRONMENT_NAME \
   storage.googleapis.com/BUCKET_NAME \
   --log-filter "resource.type=cloud_composer_environment AND resource.labels.environment_name=ENVIRONMENT_NAME AND resource.labels.location=LOCATION"
   

   Ersetzen Sie:

   • ENVIRONMENT_NAME durch den Namen der Umgebung.
   • LOCATION durch die Region, in der sich die Umgebung befindet.
   • BUCKET_NAME durch den Namen des Buckets.

   Beispiel:

   gcloud logging sinks create \
   composer-log-sink-example-environment \
   storage.googleapis.com/composer-logs-us-central1-example-environment \
   --log-filter "resource.type=cloud_composer_environment AND resource.labels.environment_name=example-environment AND resource.labels.location=us-central1"
   

4. Weisen Sie dem Dienstkonto für diesen Bucket die Rolle Storage-Objekt-Ersteller zu. Das Dienstkonto wird im Ergebnis des vorherigen Befehls angezeigt.

   gcloud projects add-iam-policy-binding \
     PROJECT_ID \
     --member="serviceAccount:LOGGING_SERVICE_AGENT" \
     --role="roles/storage.objectCreator" \
     --condition=None
   

   Ersetzen Sie:

   • PROJECT_ID durch die Projekt-ID.
   • LOGGING_SERVICE_AGENT durch das Logging-Dienstkonto für diesen Bucket. Der Name dieses Kontos wird im vorherigen Schritt abgerufen.

   Beispiel:

   gcloud projects add-iam-policy-binding \
     example-project \
     --member="serviceAccount:[e-mail]" \
     --role="roles/storage.objectCreator" \
     --condition=None
   

5. Schließen Sie die Logs für die neue Umgebung vom Monitoring aus.

   gcloud beta logging sinks update _Default \
     --add-exclusion name=ENVIRONMENT_NAME-exclusion,filter="resource.type=cloud_composer_environment AND resource.labels.environment_name=ENVIRONMENT_NAME AND resource.labels.location=LOCATION"
   

   Ersetzen Sie:

   • ENVIRONMENT_NAME durch den Namen der Umgebung.
   • LOCATION durch die Region, in der sich die Umgebung befindet.

   Beispiel:

   gcloud beta logging sinks update _Default \
     --add-exclusion name=example-environment-exclusion,filter="resource.type=cloud_composer_environment AND resource.labels.environment_name=example-environment AND resource.labels.location=us-central1"
   

6. Fügen Sie dem Log-Router die CMEK-Verschlüsselung auf Organisationsebene hinzu.

   gcloud logging cmek-settings describe \
     --organization=ORGANIZATION_ID
   

   gcloud kms keys add-iam-policy-binding \
         --project=KEY_PROJECT_ID \
         --member LOGGING_SERVICE_AGENT \
         --role roles/cloudkms.cryptoKeyEncrypterDecrypter \
         --location=KEY_LOCATION \
         --keyring=KEY_RING_NAME \
         KEY_NAME
   

   gcloud logging cmek-settings update \
     --organization=ORGANIZATION_ID \
     --kms-project=KEY_PROJECT_ID \
     --kms-keyring=KEY_RING_NAME \
     --kms-location=KEY_LOCATION \
     --kms-key-name=KEY_NAME
   

   Ersetzen Sie:

   • ORGANIZATION_ID durch Ihre Organisations-ID.
   • KEY_PROJECT_ID durch die ID des Projekts, in dem sich der Schlüssel befindet. Wenn Sie einen Schlüssel aus einem anderen Projekt verwenden, unterscheidet sich dieser Wert von der ID Ihres Projekts. Wenn Sie einen Schlüssel aus demselben Projekt verwenden, ist dieser Wert die ID Ihres Projekts.
   • KEY_RING_NAME mit dem Schlüsselbund, in dem Ihr vom Kunden verwalteter Schlüssel gespeichert ist.
   • KEY_LOCATION durch den Speicherort Ihres vom Kunden verwalteten Schlüssels. Dieser Standort muss mit dem Standort Ihrer Umgebung übereinstimmen.
   • Ersetzen Sie KEY_NAME durch den Namen Ihres vom Kunden verwalteten Schlüssels.

Nächste Schritte

• Sicherheit
• Umgebungen erstellen