Secret Manager-Anmeldedatenanbieter

In diesem Dokument wird beschrieben, wie Sie Secret Manager als Anmeldedatenspeicher mit Managed Service for Apache Spark verwenden, um sensible Daten, die von serverlosen Arbeitslasten verarbeitet werden, sicher zu speichern und darauf zuzugreifen.

Übersicht

Mit Secret Manager können Sie Ihre sensiblen Daten wie API-Schlüssel, Passwörter und Zertifikate schützen. Sie können damit Ihre Secrets inGoogle Cloudverwalten, darauf zugreifen und prüfen.

Wenn Sie eine Managed Service for Apache Spark-Batcharbeitslast ausführen, können Sie sie so konfigurieren, dass ein Secret Manager-Secret verwendet wird. Dazu verwenden Sie den Managed Service for Apache Spark Secret Manager Credential Provider.

Verfügbarkeit

Dieses Feature ist für Managed Service for Apache Spark-Laufzeitversionen 1.2.29+, 2.2.29+ oder höhere Hauptversionen von Laufzeitversionen verfügbar.

Terminologie

In der folgenden Tabelle werden die in diesem Dokument verwendeten Begriffe beschrieben.

Begriff Beschreibung
Secret Ein Secret Manager-Secret ist ein globales Projektobjekt, das eine Sammlung von Metadaten und Secret-Versionen enthält. Sie können Secrets als binäre Blobs oder Textstrings speichern, verwalten und darauf zugreifen.
Credential In Hadoop- und anderen Managed Service for Apache Spark-Arbeitslasten bestehen Anmeldedaten aus einem Namen (ID) und einem Wert (Passwort). Eine Anmeldedaten-ID und ein Wert werden einer Secret-ID und einem Secret-Wert (Secret-Version) von Secret Manager zugeordnet.

Berechtigungen

Managed Service for Apache Spark prüft, ob die folgenden optionalen Secrets vorhanden sind:

  • fs-gs-encryption-key
  • fs-gs-encryption-key-hash
  • fs-gs-proxy-password
  • fs-gs-proxy-username

Damit das Managed Service for Apache Spark-VM-Dienstkonto die Berechtigung hat, die fs-gs-Secrets zu prüfen, fügen Sie dem Dienstkonto die Rolle Secret Manager Secret Accessor mit der folgenden Bedingung hinzu:

{
  "expression": "resource.name.startsWith(\"projects/PROJECT_NUMBER/secrets/fs-gs-\")",
  "title": "gsmkeycondition",
  "description": "Permission to access Dataproc secrets"
}

Nutzung

Sie können unterstützte Hadoop- und andere OSS-Komponenten für die Verwendung mit Secret Manager konfigurieren. Legen Sie dazu die folgenden Attribute fest, wenn Sie eine Managed Service for Apache Spark-Arbeitslast einreichen:

  • Anbieterpfad (erforderlich): Die Anbieterpfad-Property spark.hadoop.hadoop.security.credential.provider.path ist eine durch Kommas getrennte Liste mit einem oder mehreren Anbieter-URIs für Anmeldedaten, die durchlaufen werden, um Anmeldedaten aufzulösen.

    --properties=spark.hadoop.hadoop.security.credential.provider.path=gsm://projects/PROJECT_ID
    
    • scheme im Anbieterpfad gibt den Typ des Anbieters von Anmeldedaten an. Zu den Hadoop-Schemas gehören jceks://, user:// und localjceks://. Verwenden Sie das Schema gsm://, um nach Anmeldedaten in Secret Manager zu suchen.
  • Punktoperator ersetzen: Der Secret Manager-Dienst lässt keine Punkte (.) in Secret-Namen zu. Einige Open-Source-Softwarekomponenten (OSS) verwenden jedoch Punkte in ihren Anmeldedatenschlüsseln. Um diese Einschränkung zu beheben, aktivieren Sie dieses Attribut, um Punkte (.) in Anmeldedatennamen durch Bindestriche (-) zu ersetzen. So wird sichergestellt, dass OSS-Anmeldedaten mit Punkten im Namen korrekt in Secret Manager gespeichert und abgerufen werden können.

    Wenn ein OSS-Anmeldedatenschlüssel beispielsweise a.b.c lautet, müssen Sie ihn in a-b-c ändern, wenn Sie ihn in Secret Manager speichern.

    --properties=spark.hadoop.hadoop.security.credstore.google-secret-manager.secret-id.substitute-dot-operator=true
    

    Dieses Attribut ist optional. Der Standardwert ist false. Bei Schlüsseln für Anmeldedaten, die keinen Punktoperator (.) im Namen der Anmeldedaten haben, kann dieses Attribut ignoriert werden.

  • Secret-Version: Secrets in Secret Manager können mehrere Versionen (Werte) haben. Verwenden Sie dieses Attribut, um auf eine bestimmte Secret-Version für den stabilen Zugriff in Produktionsumgebungen zuzugreifen.

    --properties=spark.hadoop.hadoop.security.credstore.google-secret-manager.secret-version=1
    

    Dieses Attribut ist optional. Standardmäßig greift Secret Manager auf die Version LATEST zu, die zur Laufzeit in den neuesten Wert des Secrets aufgelöst wird. Wenn Sie immer auf die LATEST-Version eines Secrets zugreifen möchten, können Sie dieses Attribut ignorieren.

Batch-Arbeitslast mit Secret Manager Credential Provider ausführen

Wenn Sie eine Batch-Arbeitslast senden möchten, die den Secret Manager Credential Provider verwendet, führen Sie den folgenden Befehl lokal oder in der Cloud Shell aus.

gcloud dataproc batches submit spark \
    --region=REGION \
    --jars=JARS \
    --class=MAIN_CLASS \
    --properties="spark.hadoop.hadoop.security.credential.provider.path=gsm://projects/PROJECT_ID,spark.hadoop.hadoop.security.credstore.google-secret-manager.secret-id.substitute-dot-operator=true" \
    ...other flags as needed...

Ersetzen Sie Folgendes:

  • REGION: eine Compute Engine-Region, in der Ihre Arbeitslast ausgeführt wird
  • JARS: JAR-Pfad der Arbeitslast
  • MAIN_CLASS: die JAR-Hauptklasse
  • PROJECT_ID: Ihre Projekt-ID, die im Abschnitt Projektinformationen des Google Cloud Console-Dashboards aufgeführt ist