Configura Secret Manager para tu entorno

Managed Airflow (3ª gen.) | Managed Airflow (2ª gen.) | Managed Airflow (1ª gen. heredada)

En esta página, se muestra cómo usar Secret Manager para almacenar las conexiones y secretos de Airflow de forma segura.

Configura Secret Manager para tu entorno

En esta sección, se explica cómo configurar Secret Manager para que puedas usar secretos con tu entorno de Managed Airflow.

Habilita la API de Secret Manager

Console

Habilitar la API de Secret Manager.

Roles necesarios para habilitar las APIs

Para habilitar las APIs, necesitas el rol de IAM de administrador de Service Usage (roles/serviceusage.serviceUsageAdmin), que contiene el permiso serviceusage.services.enable. Obtén más información para otorgar roles.

Habilitar la API

gcloud

Habilita la API de Secret Manager:

Roles necesarios para habilitar las APIs

Para habilitar las APIs, necesitas el rol de IAM de administrador de Service Usage (roles/serviceusage.serviceUsageAdmin), que contiene el serviceusage.services.enable permiso. Obtén más información para otorgar roles.

gcloud services enable secretmanager.googleapis.com

Configura el control de acceso

Debes configurar el control de acceso para que Airflow pueda acceder a los secretos almacenados en Secret Manager.

Para ello, la cuenta de servicio que accede a los secretos debe tener un rol con el permiso secretmanager.versions.access. Por ejemplo, el rol Secret Manager Secret Accessor incluye este permiso.

Puedes otorgar este rol a nivel de Secret, proyecto, carpeta u organización.

Usa una de las siguientes opciones:

• (Recomendado) Otorga este rol a la cuenta de servicio de tu entorno.

• Anula la cuenta de servicio en la que Airflow accede a Secret Manager.

  **Precaución:** Este método es menos recomendable, ya que requiere el almacenamiento de credenciales de cuentas de servicio en un archivo, lo que aumenta el riesgo de que se vean comprometidas.
  1. Otorga este rol a una cuenta de servicio.
  2. Configura el parámetro gcp_key_path de la backend_kwargs opción de configuración de Airflow para que apunte a un archivo JSON con las credenciales de la cuenta de servicio.

Habilita y configura el backend de Secret Manager

1. Anula la siguiente opción de configuración de Airflow:

   Sección	Clave	Valor
   secrets	backend	airflow.providers.google.cloud.secrets.secret_manager.CloudSecretManagerBackend

   Precaución: No uses airflow.contrib.secrets.gcp_secrets_manager.CloudSecretsManagerBackend , ya que este valor no te permite ver los registros en la IU de Airflow.

2. (Airflow 2.10.2 y versiones posteriores) Asegúrate de que la opción de configuración de Airflow [secrets]backends_order especifique un orden de búsqueda de secretos que tenga un backend de secretos custom en él. El valor predeterminado de esta opción ya contiene este valor.

   Sección	Clave	Valor
   secrets	backends_order	(predeterminado) custom,environment_variable,metastore

3. Para agregar parámetros de configuración opcionales, anula la siguiente opción de configuración de Airflow:

   Sección	Clave	Valor
   secrets	backend_kwargs	Consulta la siguiente descripción.

   El valor backend_kwargs es la representación JSON del backend_kwargs objeto con los siguientes campos:

   • connections_prefix: prefijo del nombre del secreto que se leerá para obtener conexiones. El valor predeterminado es airflow-connections.
   • variables_prefix: prefijo del nombre del secreto que se leerá para obtener variables. El valor predeterminado es airflow-variables.
   • gcp_key_path: ruta de acceso al archivo JSON de credenciales (si no se proporciona, se usa la cuenta de servicio predeterminada). Google Cloud
   • gcp_keyfile_dict: Google Cloud diccionario JSON de credenciales. Este campo y gcp_key_path son mutuamente excluyentes.
   • sep: separador que se usa para concatenar connections_prefix y conn_id. El valor predeterminado es -.
   • project_id: Google Cloud `project_id`: ID del proyecto en el que se almacenan los secretos.

   Por ejemplo, el valor de backend_kwargs puede ser: {"project_id": "<project id>", "connections_prefix":"example-connections", "variables_prefix":"example-variables", "sep":"-"}.

   Nota: La opción Keyfile Secret Name (in GCP Secret Manager) en la conexión de Airflow solo se admite cuando Secret Manager y Managed Airflow están en el mismo Google Cloud proyecto.

Agrega conexiones y variables en Secret Manager

Para crear secretos, sigue los pasos que se describen en Crea secretos y versiones.

Variables

• Debes usar el formato [variables_prefix][sep][variable_name].
• El valor predeterminado para [variables_prefix] es airflow-variables.
• El separador predeterminado [sep] es -

Por ejemplo, si el nombre de la variable es example-var, el nombre del secreto es airflow-variables-example-var.

Nota: Si quieres usar valores diferentes para [variables_prefix], [connection_prefix] o [sep], usa la configuración opcional como se describe más adelante en la sección Habilita y configura el backend de Secret Manager.

Nombres de conexión

• Debes usar el formato [connection_prefix][sep][connection_name].
• El valor predeterminado para [connection_prefix] es airflow-connections.
• El separador predeterminado [sep] es -

Por ejemplo, si el nombre de la conexión es exampleConnection, el nombre del secreto es airflow-connections-exampleConnection.

Valores de conexión

• Debes usar la representación de URI. por ejemplo: postgresql://login:secret@examplehost:9000.

• El URI debe estar codificado como URL (codificado en porcentaje). Por ejemplo, una contraseña que tiene un símbolo de espacio debe estar codificada como URL de la siguiente manera: postgresql://login:secret%20password@examplehost:9000.

Airflow tiene un método útil para generar el URI de conexión. Puedes encontrar un ejemplo de cómo codificar un URL complejo con elementos JSON adicionales disponible en la documentación de Airflow.

Usa Secret Manager con Managed Airflow

Cuando se recuperan variables y conexiones, Managed Airflow verifica primero Secret Manager. Si no se encuentra la variable o la conexión solicitada, Managed Airflow verifica las variables de entorno y la base de datos de Airflow.

Nota: Por motivos de seguridad, las variables y conexiones de Secret Manager no son visibles en la IU de Airflow.

Lee variables con plantillas Jinja

Puedes usar Secret Manager a fin de leer variables con las plantillas Jinja para los campos del operador con plantillas (que se resuelven en el momento de la ejecución).

Para el secreto airflow-variables-secret_filename, haz lo siguiente:

file_name = '{{var.value.secret_filename}}'

Lee variables con operadores personalizados y devoluciones de llamadas

También puedes usar Secret Manager para leer variables en operadores personalizados o métodos de devolución de llamada de los operadores. La lectura de variables desde DAG puede afectar de forma negativa el rendimiento, por lo que se recomienda el uso de plantillas de Jinja si deseas usar variables en tus DAG.

Por ejemplo, para el secreto airflow-variables-secret_filename, haz lo siguiente:

from airflow.models.variable import Variable
file_name = Variable.get('secret_filename')

Lee conexiones

A menos que escribas un operador personalizado, rara vez necesitas acceder directamente a las conexiones. La mayoría de los hooks reciben el nombre de conexión como su parámetro de creación de instancias, y deben recuperar las conexiones del backend del secreto automáticamente cuando se ejecutan las tareas.

Leer las conexiones directamente puede ser útil cuando escribes tu propio hook.

Por ejemplo, para la conexión airflow-connections-exampleConnection, haz lo siguiente:

from airflow.hooks.base_hook import BaseHook
exampleConnection = BaseHook.get_connection('exampleConnection')

BaseHook.get_connection muestra un objeto Connection. Es posible obtener la representación de string de URI de una conexión como esta:

exampleConnectionUri = BaseHook.get_connection('exampleConnection').get_uri()

¿Qué sigue?

• Anula las opciones de configuración de Airflow
• Accede a la API de REST de Airflow