Best Practices für die Sicherheit von Managed Service for Apache Spark

Das Sichern Ihrer Managed Service for Apache Spark-Umgebung ist entscheidend, um sensible Daten zu schützen und unbefugten Zugriff zu verhindern. In diesem Dokument werden wichtige Best Practices zur Verbesserung der Sicherheit von Managed Service for Apache Spark beschrieben, einschließlich Empfehlungen für Netzwerksicherheit, Identity and Access Management, Verschlüsselung und sichere Clusterkonfiguration.

Netzwerksicherheit

  • Managed Service for Apache Spark in einer privaten VPC bereitstellen. Erstellen Sie eine dedizierte Virtual Private Cloud für Ihre Managed Service for Apache Spark-Cluster, um sie von anderen Netzwerken und dem öffentlichen Internet zu isolieren.

  • Private IPs verwenden. Um Ihre Managed Service for Apache Spark-Cluster vor dem öffentlichen Internet zu schützen, verwenden Sie private IP-Adressen für erweiterte Sicherheitsfunktionen und Isolation.

  • Firewallregeln konfigurieren. Implementieren Sie strenge Firewallregeln, um den Traffic zu und von Ihren Managed Service for Apache Spark-Clustern zu steuern. Lassen Sie nur die erforderlichen Ports und Protokolle zu.

  • Netzwerk-Peering verwenden. Für eine bessere Isolation richten Sie VPC-Netzwerk-Peering zwischen Ihrer Managed Service for Apache Spark-VPC und anderen sensiblen VPCs ein, um die Kommunikation zu steuern.

  • Component Gateway aktivieren. Aktivieren Sie das Managed Service for Apache Spark Component Gateway, wenn Sie Cluster erstellen, um sicher auf Hadoop-Ökosystem-UIs wie die YARN, HDFS- oder Spark-Server-UI zuzugreifen, anstatt die Firewallports zu öffnen.

Identity and Access Management

  • Berechtigungen isolieren. Verwenden Sie für verschiedene Cluster unterschiedliche Dienstkonten der Datenebene. Weisen Sie Dienstkonten nur die Berechtigungen zu, die Cluster zum Ausführen ihrer Arbeitslasten benötigen.

  • Das standardmäßige Dienstkonto von Google Compute Engine (GCE) nicht verwenden. Verwenden Sie nicht das standardmäßige Dienstkonto für Ihre Cluster.

  • Das Prinzip der geringsten Berechtigung einhalten. Gewähren Sie Managed Service for Apache Spark-Dienstkonten und ‑Nutzern nur die geringstmöglichen Berechtigungen.

  • Rollenbasierte Zugriffssteuerung (RBAC) erzwingen. Erwägen Sie, für jeden Cluster IAM-Berechtigungen festzulegen.

  • Benutzerdefinierte Rollen verwenden. Erstellen Sie detaillierte benutzerdefinierte IAM-Rollen, die auf bestimmte Aufgaben in Ihrer Managed Service for Apache Spark-Umgebung zugeschnitten sind.

  • Regelmäßig überprüfen. Prüfen Sie regelmäßig IAM-Berechtigungen und ‑Rollen, um übermäßige oder nicht verwendete Berechtigungen zu ermitteln und zu entfernen.

Verschlüsselung

  • Ruhende Daten verschlüsseln. Verwenden Sie für die Verschlüsselung ruhender Daten den Cloud Key Management Service (KMS) oder kundenverwaltete Verschlüsselungsschlüssel (CMEK). Verwenden Sie außerdem Organisationsrichtlinien, um die Verschlüsselung ruhender Daten bei der Clustererstellung zu erzwingen.

  • Daten bei der Übertragung verschlüsseln. Aktivieren Sie SSL/TLS für die Kommunikation zwischen Managed Service for Apache Spark-Komponenten (durch Aktivieren des sicheren Hadoop-Modus) und externen Diensten. Dadurch werden Daten bei der Übertragung geschützt.

  • Vorsicht bei sensiblen Daten. Seien Sie vorsichtig, wenn Sie sensible Daten wie personenbezogene Daten oder Passwörter speichern und weitergeben. Verwenden Sie bei Bedarf Verschlüsselungs- und Secrets-Verwaltungslösungen.

Sichere Clusterkonfiguration

  • Mit Kerberos authentifizieren. Um unbefugten Zugriff auf Cluster Ressourcen zu verhindern, implementieren Sie den sicheren Hadoop-Modus mit Kerberos Authentifizierung. Weitere Informationen finden Sie unter Sichere Mandantenfähigkeit durch Kerberos.

  • Ein starkes Hauptkennwort verwenden und KMS-basierten Speicher sichern. Für Cluster, die Kerberos verwenden, konfiguriert Managed Service for Apache Spark automatisch Sicherheitsfunktionen für alle Open-Source-Komponenten, die im Cluster ausgeführt werden.

  • OS Login aktivieren. Aktivieren Sie OS Login für zusätzliche Sicherheit bei der Verwaltung von Clusterknoten mit SSH.

  • Staging- und temporäre Buckets in Google Cloud Storage (GCS) trennen. Um die Berechtigungsisolation zu gewährleisten, trennen Sie Staging- und temporäre Buckets für jeden Managed Service for Apache Spark-Cluster.

  • Secret Manager zum Speichern von Anmeldedaten verwenden. Mit Secret Manager können Sie Ihre sensiblen Daten wie API-Schlüssel, Passwörter und Zertifikate schützen. Verwenden Sie den Dienst, um Ihre Secrets in der gesamten zu verwalten, darauf zuzugreifen und sie zu prüfen Google Cloud.

  • Benutzerdefinierte Organisationseinschränkungen verwenden. Mit einer benutzerdefinierten Organisations richtlinie können Sie bestimmte Vorgänge für Managed Service for Apache Spark-Cluster zulassen oder ablehnen. Wenn beispielsweise eine Anfrage zum Erstellen oder Aktualisieren eines Clusters die benutzerdefinierte Beschränkungsvalidierung, die durch Ihre Organisationsrichtlinie festgelegt wurde, nicht erfüllt, schlägt die Anfrage fehl und dem Aufrufer wird ein Fehler zurückgegeben.

Nächste Schritte

Weitere Informationen zu anderen Sicherheitsfunktionen von Managed Service for Apache Spark: