Managed Airflow – Sicherheitsübersicht

Managed Airflow (Gen 3) | Managed Airflow (Gen 2) | Managed Airflow (Legacy Gen 1)

Managed Airflow bietet eine Reihe von Sicherheitsfunktionen und Compliances, die für Unternehmen mit strengeren Sicherheitsanforderungen vorteilhaft sind.

Die folgenden drei Abschnitte enthalten Informationen zu den Managed Airflow-Sicherheitsfunktionen:

Grundlegende Sicherheitsfunktionen

In diesem Abschnitt werden sicherheitsrelevante Funktionen aufgeführt, die standardmäßig für jede Managed Airflow-Umgebung bereitgestellt werden.

Verschlüsselung inaktiver Daten

Managed Airflow nutzt die Verschlüsselung ruhender Daten in Google Cloud.

Managed Airflow speichert Daten in verschiedenen Diensten. Die Airflow-Metadatendatenbank verwendet beispielsweise die Cloud SQL-Datenbank. DAGs werden in Cloud Storage-Buckets gespeichert.

Standardmäßig werden Daten mit Google-owned and Google-managed encryption keysverschlüsselt.

Wenn Sie möchten, können Sie Managed Airflow-Umgebungen so konfigurieren, dass sie mit vom Kunden verwalteten Verschlüsselungsschlüsseln verschlüsselt werden.

Einheitlicher Zugriff auf Bucket-Ebene

Mit dem einheitlichen Zugriff auf Bucket-Ebene können Sie den Zugriff auf Ihre Cloud Storage-Ressourcen einheitlich steuern. Dieser Mechanismus gilt auch für den Bucket Ihrer Umgebung, in dem Ihre DAGs und Plug-ins gespeichert werden.

Nutzerberechtigungen

Managed Airflow bietet verschiedene Features zum Verwalten von Nutzerberechtigungen:

  • IAM-Rollen und -Berechtigungen Auf verwaltete Airflow-Umgebungen in einem Google Cloud Projekt kann nur von Nutzern zugegriffen werden, deren Konten zu IAM des Projekts hinzugefügt wurden.

  • Managed Airflow-spezifische Rollen und Berechtigungen Sie weisen diese Rollen und Berechtigungen den Nutzerkonten in Ihrem Projekt zu. Jede Rolle definiert die Arten von Vorgängen, die ein Nutzerkonto für Managed Airflow-Umgebungen in Ihrem Projekt ausführen kann.

  • Airflow-UI-Zugriffssteuerung. Nutzer in Ihrem Projekt können in der Airflow-UI unterschiedliche Zugriffsebenen haben. Dieser Mechanismus wird als Airflow-UI-Zugriffssteuerung (Airflow Role-Based Access Control, Airflow RBAC) bezeichnet.

  • Domaineingeschränkte Freigabe (DRS). Managed Airflow unterstützt die Organisationsrichtlinie für die domaineingeschränkte Freigabe. Wenn Sie diese Richtlinie verwenden, können nur Nutzer aus den ausgewählten Domains auf Ihre Umgebungen zugreifen.

Private IP-Umgebungen

Sie können Managed Airflow-Umgebungen in der Konfiguration des Netzwerks für private IP-Adressen erstellen.

Im privaten IP-Modus haben Knoten des Clusters Ihrer Umgebung keine externen IP-Adressen und kommunizieren nicht über das öffentliche Internet.

Der Cluster Ihrer Umgebung verwendet Shielded VMs

Shielded VMs sind virtuelle Maschinen (VMs) in Google Cloud , die durch eine Reihe von Sicherheitsfunktionen gegen Rootkits und Bootkits geschützt werden.

Managed Airflow-Umgebungen (Legacy Gen 1), die auf GKE-Versionen ab 1.18 erstellt wurden, verwenden Shielded VMs, um die Knoten ihres Umgebungsclusters auszuführen.

Erweiterte Sicherheitsfeatures

In diesem Abschnitt werden erweiterte sicherheitsrelevante Funktionen für verwaltete Airflow-Umgebungen aufgeführt.

Kundenverwaltete Verschlüsselungsschlüssel (CMEK)

Managed Airflow unterstützt kundenverwaltete Verschlüsselungsschlüssel (Customer Managed Encryption Keys, CMEK). Mit CMEK haben Sie mehr Kontrolle über die Schlüssel, die zum Verschlüsseln inaktiver Daten in einem Google Cloud -Projekt verwendet werden.

Sie können CMEK mit Managed Airflow verwenden, um von einer Managed Airflow-Umgebung generierte Daten zu verschlüsseln und zu entschlüsseln.

Unterstützung von VPC Service Controls (VPC SC)

VPC Service Controls ist ein Mechanismus, um das Risiko der Daten-Exfiltrierung zu verringern.

Managed Airflow kann als sicherer Dienst innerhalb von VPC Service Controls-Perimetern ausgewählt werden. Alle von Managed Airflow verwendeten unterliegenden Ressourcen sind so konfiguriert, dass sie die VPC Service Controls-Architektur unterstützen und den relevanten Regeln entsprechen. In einem VPC-SC-Perimeter können nur private IP-Umgebungen erstellt werden.

Ihre Vorteile bei der Bereitstellung von Managed Airflow-Umgebungen mit VPC Service Controls sind:

  • Geringeres Risiko der Daten-Exfiltration.

  • Schutz vor Datenweitergabe aufgrund falsch konfigurierter Zugriffskontrollen.

  • Reduziertes Risiko, dass böswillige Nutzer Daten in nicht autorisierteGoogle Cloud -Ressourcen kopieren oder dass externe Angreifer über das Internet aufGoogle Cloud -Ressourcen zugreifen.

Webserver-Netzwerkzugriffssteuerungsebenen (ACL)

Airflow-Webserver in Managed Airflow werden immer mit einer extern zugänglichen IP-Adresse bereitgestellt. Sie können steuern, von welchen IP-Adressen aus die Airflow-UI aufgerufen werden kann. Managed Airflow unterstützt Bereiche wie IPv4 und IPv6.

Sie können die Zugriffsbeschränkungen für den Webserver in der Google Cloud -Konsole, gcloud, API und Terraform konfigurieren.

Secret Manager als Speicher für sensible Konfigurationsdaten

In Managed Airflow können Sie Airflow so konfigurieren, dass Secret Manager als Backend verwendet wird, in dem Airflow-Verbindungsvariablen gespeichert sind.

DAG-Entwickler können auch Variablen und eine Verbindung lesen, die in Secret Manager aus dem DAG-Code gespeichert sind.

Compliance nach Standards

Auf den folgenden Seiten finden Sie Links zu den Compliance-Anforderungen von Managed Airflow:

Weitere Informationen

Einige der in diesem Artikel erwähnten Sicherheitsfunktionen werden in der Präsentation Airflow 2020 erläutert: Airflow-DAGs sicher ausführen.

Nächste Schritte