Best Practices für die Sicherheit von Managed Service for Apache Spark

Der Schutz Ihrer Managed Service for Apache Spark-Umgebung ist entscheidend, um vertrauliche Daten zu schützen und unbefugten Zugriff zu verhindern. In diesem Dokument werden wichtige Best Practices zur Verbesserung der Sicherheit von Managed Service for Apache Spark beschrieben, einschließlich Empfehlungen für Netzwerksicherheit, Identity and Access Management, Verschlüsselung und sichere Clusterkonfiguration.

Netzwerksicherheit

  • Managed Service for Apache Spark in einer privaten VPC bereitstellen Erstellen Sie eine dedizierte Virtual Private Cloud für Ihre Managed Service for Apache Spark-Cluster, um sie von anderen Netzwerken und dem öffentlichen Internet zu isolieren.

  • Private IP-Adressen verwenden Um Ihre Managed Service for Apache Spark-Cluster vor dem öffentlichen Internet zu schützen, verwenden Sie private IP-Adressen für erweiterte Sicherheitsfunktionen und Isolation.

  • Firewallregeln konfigurieren Implementieren Sie strenge Firewallregeln, um den Traffic zu und von Ihren Managed Service for Apache Spark-Clustern zu steuern. Lassen Sie nur die erforderlichen Ports und Protokolle zu.

  • Netzwerk-Peering verwenden Für eine bessere Isolation können Sie VPC-Netzwerk-Peering zwischen Ihrer Managed Service for Apache Spark-VPC und anderen sensiblen VPCs für eine kontrollierte Kommunikation einrichten.

  • Component Gateway aktivieren Aktivieren Sie das Component Gateway für Managed Service for Apache Spark, wenn Sie Cluster erstellen, um sicher auf UIs des Hadoop-Ökosystems wie die YARN-, HDFS- oder Spark-Server-UI zuzugreifen, anstatt die Firewallports zu öffnen.

Identity and Access Management

  • Berechtigungen isolieren: Verwenden Sie unterschiedliche Dienstkonten für die Datenebene für verschiedene Cluster. Weisen Sie Dienstkonten nur die Berechtigungen zu, die für die Ausführung der Arbeitslasten in Clustern erforderlich sind.

  • Nicht auf das standardmäßige Google Compute Engine-Dienstkonto (GCE) verlassen Verwenden Sie nicht das Standarddienstkonto für Ihre Cluster.

  • Prinzip der geringsten Berechtigung einhalten: Gewähren Sie Dienstkonten und Nutzern von Managed Service for Apache Spark nur die erforderlichen Mindestberechtigungen.

  • Rollenbasierte Zugriffssteuerung (Role-based Access Control, RBAC) erzwingen Erwägen Sie, IAM-Berechtigungen für jeden Cluster festzulegen.

  • Benutzerdefinierte Rollen verwenden Erstellen Sie differenzierte benutzerdefinierte IAM-Rollen, die auf bestimmte Jobfunktionen in Ihrer Managed Service for Apache Spark-Umgebung zugeschnitten sind.

  • Regelmäßig überprüfen: Prüfen Sie regelmäßig IAM-Berechtigungen und -Rollen, um übermäßige oder nicht verwendete Berechtigungen zu ermitteln und zu entfernen.

Verschlüsselung

  • Inaktive Daten verschlüsseln Verwenden Sie für die Verschlüsselung ruhender Daten den Cloud Key Management Service (KMS) oder kundenverwaltete Verschlüsselungsschlüssel (CMEK). Verwenden Sie außerdem Organisationsrichtlinien, um die Verschlüsselung ruhender Daten beim Erstellen von Clustern zu erzwingen.

  • Daten bei der Übertragung verschlüsseln Aktivieren Sie SSL/TLS für die Kommunikation zwischen Managed Service for Apache Spark-Komponenten (durch Aktivieren des Hadoop Secure Mode) und externen Diensten. Dies schützt Daten bei der Übertragung.

  • Vorsicht bei sensiblen Daten: Seien Sie vorsichtig, wenn Sie sensible Daten wie personenidentifizierbare Informationen oder Passwörter speichern und weitergeben. Verwenden Sie bei Bedarf Verschlüsselungs- und Secrets-Management-Lösungen.

Clustersicherheit konfigurieren

  • Mit Kerberos authentifizieren Um unbefugten Zugriff auf Clusterressourcen zu verhindern, implementieren Sie den sicheren Modus von Hadoop mit Kerberos-Authentifizierung. Weitere Informationen finden Sie unter Sichere Mehrmandantenfähigkeit durch Kerberos.

  • Verwenden Sie ein starkes Root-Hauptkontopasswort und sicheren KMS-basierten Speicher. Bei Clustern, die Kerberos verwenden, konfiguriert Managed Service for Apache Spark automatisch Sicherheitsfunktionen für alle Open-Source-Komponenten, die im Cluster ausgeführt werden.

  • OS Login aktivieren: Aktivieren Sie OS Login, um die Sicherheit zu erhöhen, wenn Sie Clusterknoten mit SSH verwalten.

  • Staging- und temporäre Buckets in Google Cloud Storage (GCS) trennen: Um die Berechtigungsisolierung zu gewährleisten, sollten Sie Staging- und temporäre Buckets für jeden Managed Service for Apache Spark-Cluster trennen.

  • Anmeldedaten mit Secret Manager speichern Mit Secret Manager können Sie Ihre sensiblen Daten wie API-Schlüssel, Passwörter und Zertifikate schützen. Damit können Sie Ihre Secrets in Google Cloudverwalten, darauf zugreifen und sie prüfen.

  • Benutzerdefinierte Organisationsbeschränkungen verwenden: Mit einer benutzerdefinierten Organisationsrichtlinie können Sie bestimmte Vorgänge für Managed Service for Apache Spark-Cluster zulassen oder ablehnen. Wenn beispielsweise eine Anfrage zum Erstellen oder Aktualisieren eines Clusters die benutzerdefinierte Beschränkungsvalidierung, die durch Ihre Organisationsrichtlinie festgelegt wurde, nicht erfüllt, schlägt die Anfrage fehl und dem Aufrufer wird ein Fehler zurückgegeben.

Nächste Schritte

Weitere Informationen zu anderen Sicherheitsfunktionen von Managed Service for Apache Spark: