Proveedor de credenciales de Secret Manager

En este documento, se describe cómo usar Secret Manager como un almacén de credenciales con Google Cloud Serverless for Apache Spark para almacenar y acceder de forma segura a los datos sensibles que procesan las cargas de trabajo sin servidores.

Descripción general

El Secret Manager puede proteger tus datos sensibles, como claves de API, contraseñas y certificados. Puedes usarlo para administrar, auditar y acceder a tus secretos en Google Cloud.

Cuando ejecutas una carga de trabajo por lotes de Serverless for Apache Spark, puedes configurarla para que use un secreto de Secret Manager con el proveedor de credenciales de Secret Manager de Dataproc.

Disponibilidad

Esta función está disponible para las versiones del entorno de ejecución de Serverless for Apache Spark 1.2.29+, 2.2.29+ o versiones principales posteriores del entorno de ejecución.

Nota: Esta función también está disponible para su uso con Dataproc en clústeres creados con versiones de imagen 2.0.97+, 2.1.41+, 2.2.6+ o versiones principales posteriores de la imagen. Para obtener información sobre Dataproc en Compute Engine, consulta Proveedor de credenciales de Secret Manager para Dataproc.

Terminología

En la siguiente tabla, se describen los términos que se usan en este documento.

Término	Descripción
Secret	Un secreto de Secret Manager es un objeto de proyecto global que contiene una colección de metadatos y versiones secretas. Puedes almacenar, administrar y acceder a los secretos como BLOB binarios o cadenas de texto.
Credential	En Hadoop y otras cargas de trabajo de Dataproc, una credencial consta de un nombre de credencial (ID) y un valor de credencial (contraseña). Un ID y un valor de credencial se asignan a un ID y un valor de secreto de Secret Manager (versión secreta).

Permisos

Dataproc verifica si existen los siguientes secretos opcionales:

• fs-gs-encryption-key
• fs-gs-encryption-key-hash
• fs-gs-proxy-password
• fs-gs-proxy-username

Para asegurarte de que la cuenta de servicio de VM de Dataproc tenga permiso para verificar los secretos fs-gs, agrega el rol de descriptor de acceso a secretos de Secret Manager con la siguiente condición a la cuenta de servicio, de la siguiente manera:

{
  "expression": "resource.name.startsWith(\"projects/PROJECT_NUMBER/secrets/fs-gs-\")",
  "title": "gsmkeycondition",
  "description": "Permission to access Dataproc secrets"
}

Uso

Puedes configurar Hadoop compatible y otros componentes de OSS para que funcionen con Secret Manager si configuras las siguientes propiedades cuando envías una carga de trabajo de Serverless for Apache Spark:

• Ruta de acceso del proveedor (obligatorio): La propiedad de ruta de acceso del proveedor, spark.hadoop.hadoop.security.credential.provider.path, es una lista separada por comas de uno o más URIs del proveedor de credenciales que se atraviesa para resolver una credencial.

  --properties=spark.hadoop.hadoop.security.credential.provider.path=gsm://projects/PROJECT_ID
  

  • El scheme en la ruta de acceso del proveedor indica el tipo de proveedor de credenciales. Los esquemas de Hadoop incluyen jceks://, user://,localjceks://. Usa el esquema gsm:// para buscar credenciales en Secret Manager.

• Operador de punto de sustitución : El servicio de Secret Manager no permite puntos (.) en los nombres de los secretos. Sin embargo, algunos componentes de software de código abierto (OSS) usan puntos en sus claves de credenciales. Para solucionar esta limitación, habilita esta propiedad para reemplazar los puntos (.) por guiones (-) en los nombres de las credenciales. Esto garantiza que las credenciales de OSS con puntos en sus nombres se puedan almacenar y recuperar correctamente desde Secret Manager.

  Por ejemplo, si una clave de credencial de OSS es a.b.c, debes modificarla a a-b-c cuando la almacenes en Secret Manager.

  --properties=spark.hadoop.hadoop.security.credstore.google-secret-manager.secret-id.substitute-dot-operator=true
  

  Esta es una propiedad opcional. De forma predeterminada, el valor es false. Para las claves de credenciales que no tienen un operador de punto (.) en su nombre de credencial, esta propiedad se puede ignorar de forma segura.

• Versión del secreto : Los secretos en Secret Manager pueden tener varias versiones (valores). Usa esta propiedad para acceder a una versión secreta específica para un acceso estable en entornos de producción.

  --properties=spark.hadoop.hadoop.security.credstore.google-secret-manager.secret-version=1
  

  Esta es una propiedad opcional. De forma predeterminada, Secret Manager accede a la versión LATEST, que se resuelve en el valor más reciente del secreto en el tiempo de ejecución. Si tu caso de uso es acceder siempre a la versión LATEST de un secreto, esta propiedad se puede ignorar de forma segura.

Ejecuta una carga de trabajo por lotes con el proveedor de credenciales de Secret Manager

Para enviar una carga de trabajo por lotes que use el proveedor de credenciales de Secret Manager, ejecuta el siguiente comando de forma local o en Cloud Shell.

gcloud dataproc batches submit spark \
    --region=REGION \
    --jars=JARS \
    --class=MAIN_CLASS \
    --properties="spark.hadoop.hadoop.security.credential.provider.path=gsm://projects/PROJECT_ID,spark.hadoop.hadoop.security.credstore.google-secret-manager.secret-id.substitute-dot-operator=true" \
    ...other flags as needed...

Reemplaza lo siguiente:

• REGION: Una región de Compute Engine en la que se ejecuta tu carga de trabajo
• JARS: La ruta de acceso del archivo JAR de la carga de trabajo
• MAIN_CLASS: La clase principal de Jar
• PROJECT_ID: El ID de tu proyecto, que aparece en la sección Información del proyecto del Google Cloud panel de la consola