Questo documento descrive come utilizzare Secret Manager come archivio di credenziali con Managed Service for Apache Spark per archiviare e accedere in modo sicuro ai dati sensibili elaborati dai workload serverless.
Panoramica
Secret Manager può proteggere i tuoi dati sensibili, come chiavi API, password e certificati. Puoi utilizzarlo per gestire, accedere e controllare i tuoi secret inGoogle Cloud.
Quando esegui un workload batch Managed Service for Apache Spark, puoi configurarlo per utilizzare un secret di Secret Manager utilizzando il provider di credenziali di Secret Manager di Managed Service for Apache Spark.
Disponibilità
Questa funzionalità è disponibile per le versioni di runtime di Managed Service for Apache Spark 1.2.29+, 2.2.29+ o successive versioni di runtime principali.
Terminologia
La tabella seguente descrive i termini utilizzati in questo documento.
| Termine | Descrizione |
|---|---|
Secret |
Un secret di Secret Manager è un oggetto di progetto globale che contiene una raccolta di metadati e versioni del secret. Puoi archiviare, gestire e accedere ai secret come blob binari o stringhe di testo. |
Credential |
In Hadoop e in altri workload di Managed Service for Apache Spark, una credenziale è costituita da un nome (ID) e da un valore (password). Un ID e un valore delle credenziali vengono mappati a un ID secret e a un valore secret (versione del secret) di Secret Manager. |
Autorizzazioni
Managed Service for Apache Spark verifica se esistono i seguenti secret facoltativi:
- fs-gs-encryption-key
- fs-gs-encryption-key-hash
- fs-gs-proxy-password
- fs-gs-proxy-username
Per assicurarti che il service account VM di Managed Service for Apache Spark disponga dell'autorizzazione per controllare i secret fs-gs, aggiungi il ruolo Secret Manager Secret Accessor con la seguente condizione al account di servizio, come segue:
{
"expression": "resource.name.startsWith(\"projects/PROJECT_NUMBER/secrets/fs-gs-\")",
"title": "gsmkeycondition",
"description": "Permission to access Dataproc secrets"
}
Utilizzo
Puoi configurare Hadoop e altri componenti OSS supportati per l'utilizzo con Secret Manager impostando le seguenti proprietà quando invii un workload di Managed Service for Apache Spark:
Percorso del provider (obbligatorio): la proprietà del percorso del provider,
spark.hadoop.hadoop.security.credential.provider.path, è un elenco separato da virgole di uno o più URI del provider di credenziali che viene attraversato per risolvere una credenziale.--properties=spark.hadoop.hadoop.security.credential.provider.path=gsm://projects/PROJECT_ID
schemenel percorso del provider indica il tipo di provider di credenziali. Gli schemi Hadoop includonojceks://,user://,localjceks://. Utilizza lo schemagsm://per cercare le credenziali in Secret Manager.
Operatore punto sostitutivo: il servizio Secret Manager non consente i punti (
.) nei nomi dei secret. Tuttavia, alcuni componenti del software open source (OSS) utilizzano i punti nelle chiavi delle credenziali. Per risolvere questa limitazione, attiva questa proprietà per sostituire i punti (.) con i trattini (-) nei nomi delle credenziali. In questo modo, le credenziali OSS con punti nei nomi possono essere archiviate e recuperate correttamente da Secret Manager.Ad esempio, se una chiave delle credenziali OSS è
a.b.c, devi modificarla ina-b-cquando la memorizzi in Secret Manager.--properties=spark.hadoop.hadoop.security.credstore.google-secret-manager.secret-id.substitute-dot-operator=true
Questa è una proprietà facoltativa. Per impostazione predefinita, il valore è
false. Per le chiavi delle credenziali che non hanno l'operatore punto (.) nel nome della credenziale, questa proprietà può essere ignorata.Versione del secret: i secret in Secret Manager possono avere più versioni (valori). Utilizza questa proprietà per accedere a una versione specifica del secret per un accesso stabile negli ambienti di produzione.
--properties=spark.hadoop.hadoop.security.credstore.google-secret-manager.secret-version=1
Questa è una proprietà facoltativa. Per impostazione predefinita, Secret Manager accede alla versione
LATEST, che viene risolta nell'ultimo valore del secret in fase di runtime. Se il tuo caso d'uso prevede l'accesso costante alla versioneLATESTdi un secret, questa proprietà può essere ignorata in sicurezza.
Esegui un workload batch con il provider di credenziali di Secret Manager
Per inviare un workload batch che utilizza il provider di credenziali di Secret Manager, esegui questo comando localmente o in Cloud Shell.
gcloud dataproc batches submit spark \ --region=REGION \ --jars=JARS \ --class=MAIN_CLASS \ --properties="spark.hadoop.hadoop.security.credential.provider.path=gsm://projects/PROJECT_ID,spark.hadoop.hadoop.security.credstore.google-secret-manager.secret-id.substitute-dot-operator=true" \ ...other flags as needed...
Sostituisci quanto segue:
- REGION: una regione di Compute Engine in cui viene eseguito il workload
- JARS: percorso del file JAR del workload
- MAIN_CLASS: la classe principale del file JAR
- PROJECT_ID: l'ID progetto, elencato nella sezione Informazioni sul progetto della dashboard della consoleGoogle Cloud