Mit Managed Service for Apache Spark können Sie sensible Daten schützen und unbefugten Zugriff verhindern, indem Sie wichtige Sicherheitskontrollen anwenden. Durch die Implementierung von Best Practices für Netzwerksicherheit, Identity and Access Management (IAM), Verschlüsselung und Clusterkonfiguration können Sie den Sicherheitsstatus Ihrer Arbeitslasten aufrechterhalten.
Netzwerksicherheit
Managed Service for Apache Spark in einer privaten VPC bereitstellen Erstellen Sie eine dedizierte Virtual Private Cloud (VPC) für Ihre Managed Service for Apache Spark-Cluster, um sie von anderen Netzwerken und dem öffentlichen Internet zu isolieren.
Private IP-Adressen verwenden Wenn Sie Ihre Managed Service for Apache Spark-Cluster vor dem Zugriff über das öffentliche Internet schützen möchten, verwenden Sie private IP-Adressen, um die Sicherheit und Isolation zu erhöhen.
Firewallregeln konfigurieren Implementieren Sie strenge Firewallregeln, um den Traffic zu und von Ihren Managed Service for Apache Spark-Clustern zu steuern. Lassen Sie nur die erforderlichen Ports und Protokolle zu.
Netzwerk-Peering verwenden Für eine bessere Isolation können Sie VPC-Netzwerk-Peering zwischen Ihrer Managed Service for Apache Spark-VPC und anderen sensiblen VPCs für eine kontrollierte Kommunikation einrichten.
Komponentengateway aktivieren. Aktivieren Sie das Managed Service for Apache Spark Component Gateway, wenn Sie Cluster erstellen, um sicher auf Hadoop-Ökosystem-UIs wie die YARN-, HDFS- oder Spark-Server-UI zuzugreifen, anstatt die Firewallports zu öffnen.
IAM
Berechtigungen isolieren Verwenden Sie für verschiedene Cluster unterschiedliche Dienstkonten für die Datenebene. Weisen Sie Dienstkonten nur die Berechtigungen zu, die Cluster zum Ausführen ihrer Arbeitslasten benötigen.
Verlassen Sie sich nicht auf das Google Compute Engine-Standarddienstkonto (GCE). Verwenden Sie für Ihre Cluster nicht das Standarddienstkonto.
Prinzip der geringsten Berechtigung anwenden: Gewähren Sie Managed Service for Apache Spark-Dienstkonten und -Nutzern nur die erforderlichen Mindestberechtigungen.
Rollenbasierte Zugriffssteuerung (RBAC) erzwingen Ziehen Sie in Betracht, für jeden Cluster IAM-Berechtigungen festzulegen.
Benutzerdefinierte Rollen verwenden Erstellen Sie detaillierte benutzerdefinierte IAM-Rollen, die auf bestimmte Aufgaben in Ihrer Managed Service for Apache Spark-Umgebung zugeschnitten sind.
Regelmäßig überprüfen: Prüfen Sie regelmäßig IAM-Berechtigungen und -Rollen, um übermäßige oder nicht verwendete Berechtigungen zu identifizieren und zu entfernen.
Verschlüsselung
Inaktive Daten verschlüsseln Verwenden Sie für die Verschlüsselung ruhender Daten den Cloud Key Management Service (KMS) oder vom Kunden verwaltete Verschlüsselungsschlüssel (CMEK). Verwenden Sie außerdem Organisationsrichtlinien, um die Verschlüsselung ruhender Daten bei der Clustererstellung zu erzwingen.
Daten bei der Übertragung verschlüsseln Aktivieren Sie SSL/TLS für die Kommunikation zwischen Managed Service for Apache Spark-Komponenten (durch Aktivieren des sicheren Hadoop-Modus) und externen Diensten. So werden Daten bei der Übertragung geschützt.
Vorsicht bei sensiblen Daten: Seien Sie vorsichtig, wenn Sie sensible Daten wie personenidentifizierbare Informationen oder Passwörter speichern und weitergeben. Verwenden Sie bei Bedarf Verschlüsselungs- und Secrets-Management-Lösungen.
Sichere Clusterkonfiguration
Mit Kerberos authentifizieren Um unbefugten Zugriff auf Clusterressourcen zu verhindern, implementieren Sie den sicheren Hadoop-Modus mit Kerberos-Authentifizierung. Weitere Informationen finden Sie unter Sichere Mehrmandantenfähigkeit über Kerberos.
Verwenden Sie ein starkes Root-Hauptkontopasswort und einen sicheren KMS-basierten Speicher. Bei Clustern, die Kerberos verwenden, konfiguriert Managed Service for Apache Spark automatisch Sicherheitsfunktionen für alle Open-Source-Komponenten, die im Cluster ausgeführt werden.
Aktivieren Sie OS Login. Aktivieren Sie OS Login für zusätzliche Sicherheit beim Verwalten von Clusterknoten mit SSH.
Staging- und temporäre Buckets in Google Cloud Storage (GCS) trennen Um die Berechtigungsisolation zu gewährleisten, sollten Sie Staging- und temporäre Buckets für jeden Managed Service for Apache Spark-Cluster trennen.
Anmeldedaten mit Secret Manager speichern Mit dem Secret Manager können Sie Ihre sensiblen Daten wie API-Schlüssel, Passwörter und Zertifikate schützen. Sie können damit Secrets in Google Cloudverwalten, darauf zugreifen und sie prüfen.
Benutzerdefinierte Einschränkungen für Organisationen verwenden Mit einer benutzerdefinierten Organisationsrichtlinie können Sie bestimmte Vorgänge für Managed Service for Apache Spark-Cluster zulassen oder ablehnen. Wenn beispielsweise eine Anfrage zum Erstellen oder Aktualisieren eines Clusters die benutzerdefinierte Beschränkungsvalidierung, die durch Ihre Organisationsrichtlinie festgelegt wurde, nicht erfüllt, schlägt die Anfrage fehl und dem Aufrufer wird ein Fehler zurückgegeben.
Nächste Schritte
Weitere Informationen zu anderen Sicherheitsfunktionen von Managed Service for Apache Spark:
- Sichere Mandantenfähigkeit über Dienstkonten
- Confidential VM mit Inline-Speicherverschlüsselung einrichten
- Autorisierungsdienst auf jeder Cluster-VM aktivieren