Provider di credenziali Secret Manager

Questo documento descrive come utilizzare Secret Manager come archivio di credenziali con Managed Service for Apache Spark per archiviare e accedere in modo sicuro ai dati sensibili elaborati dai workload serverless.

Panoramica

Secret Manager può proteggere i tuoi dati sensibili, come chiavi API, password e certificati. Puoi utilizzarlo per gestire, accedere e controllare i tuoi secret inGoogle Cloud.

Quando esegui un workload batch Managed Service for Apache Spark, puoi configurarlo per utilizzare un secret di Secret Manager utilizzando il provider di credenziali di Secret Manager di Managed Service for Apache Spark.

Disponibilità

Questa funzionalità è disponibile per le versioni di runtime di Managed Service for Apache Spark 1.2.29+, 2.2.29+ o successive versioni di runtime principali.

Terminologia

La tabella seguente descrive i termini utilizzati in questo documento.

Termine Descrizione
Secret Un secret di Secret Manager è un oggetto di progetto globale che contiene una raccolta di metadati e versioni del secret. Puoi archiviare, gestire e accedere ai secret come blob binari o stringhe di testo.
Credential In Hadoop e in altri workload di Managed Service for Apache Spark, una credenziale è costituita da un nome (ID) e da un valore (password). Un ID e un valore delle credenziali vengono mappati a un ID secret e a un valore secret (versione del secret) di Secret Manager.

Autorizzazioni

Managed Service for Apache Spark verifica se esistono i seguenti secret facoltativi:

  • fs-gs-encryption-key
  • fs-gs-encryption-key-hash
  • fs-gs-proxy-password
  • fs-gs-proxy-username

Per assicurarti che il service account VM di Managed Service for Apache Spark disponga dell'autorizzazione per controllare i secret fs-gs, aggiungi il ruolo Secret Manager Secret Accessor con la seguente condizione al account di servizio, come segue:

{
  "expression": "resource.name.startsWith(\"projects/PROJECT_NUMBER/secrets/fs-gs-\")",
  "title": "gsmkeycondition",
  "description": "Permission to access Dataproc secrets"
}

Utilizzo

Puoi configurare Hadoop e altri componenti OSS supportati per l'utilizzo con Secret Manager impostando le seguenti proprietà quando invii un workload di Managed Service for Apache Spark:

  • Percorso del provider (obbligatorio): la proprietà del percorso del provider, spark.hadoop.hadoop.security.credential.provider.path, è un elenco separato da virgole di uno o più URI del provider di credenziali che viene attraversato per risolvere una credenziale.

    --properties=spark.hadoop.hadoop.security.credential.provider.path=gsm://projects/PROJECT_ID
    
    • scheme nel percorso del provider indica il tipo di provider di credenziali. Gli schemi Hadoop includono jceks://, user://,localjceks://. Utilizza lo schema gsm:// per cercare le credenziali in Secret Manager.
  • Operatore punto sostitutivo: il servizio Secret Manager non consente i punti (.) nei nomi dei secret. Tuttavia, alcuni componenti del software open source (OSS) utilizzano i punti nelle chiavi delle credenziali. Per risolvere questa limitazione, attiva questa proprietà per sostituire i punti (.) con i trattini (-) nei nomi delle credenziali. In questo modo, le credenziali OSS con punti nei nomi possono essere archiviate e recuperate correttamente da Secret Manager.

    Ad esempio, se una chiave delle credenziali OSS è a.b.c, devi modificarla in a-b-c quando la memorizzi in Secret Manager.

    --properties=spark.hadoop.hadoop.security.credstore.google-secret-manager.secret-id.substitute-dot-operator=true
    

    Questa è una proprietà facoltativa. Per impostazione predefinita, il valore è false. Per le chiavi delle credenziali che non hanno l'operatore punto (.) nel nome della credenziale, questa proprietà può essere ignorata.

  • Versione del secret: i secret in Secret Manager possono avere più versioni (valori). Utilizza questa proprietà per accedere a una versione specifica del secret per un accesso stabile negli ambienti di produzione.

    --properties=spark.hadoop.hadoop.security.credstore.google-secret-manager.secret-version=1
    

    Questa è una proprietà facoltativa. Per impostazione predefinita, Secret Manager accede alla versione LATEST, che viene risolta nell'ultimo valore del secret in fase di runtime. Se il tuo caso d'uso prevede l'accesso costante alla versione LATEST di un secret, questa proprietà può essere ignorata in sicurezza.

Esegui un workload batch con il provider di credenziali di Secret Manager

Per inviare un workload batch che utilizza il provider di credenziali di Secret Manager, esegui questo comando localmente o in Cloud Shell.

gcloud dataproc batches submit spark \
    --region=REGION \
    --jars=JARS \
    --class=MAIN_CLASS \
    --properties="spark.hadoop.hadoop.security.credential.provider.path=gsm://projects/PROJECT_ID,spark.hadoop.hadoop.security.credstore.google-secret-manager.secret-id.substitute-dot-operator=true" \
    ...other flags as needed...

Sostituisci quanto segue: