Modelo de responsabilidad compartida de Airflow administrado

Airflow administrado (gen. 3) | Airflow administrado (gen. 2) | Airflow administrado (gen. 1 heredada)

La ejecución de una aplicación fundamental para la empresa en Managed Airflow requiere que varias partes tengan diferentes responsabilidades. Si bien no es una lista exhaustiva, en este documento se enumeran las responsabilidades de Google y del Cliente.

Responsabilidades de Google

  • Endurecimiento y aplicación de parches a los componentes y la infraestructura subyacente del entorno de Managed Airflow, incluidos el clúster de Google Kubernetes Engine, la base de datos de Cloud SQL (que aloja la base de datos de Airflow), Pub/Sub, Artifact Registry y otros elementos del entorno. En particular, esto incluye la actualización automática de la infraestructura subyacente, incluidos el clúster de GKE y la instancia de Cloud SQL de un entorno.

  • Protección del acceso a los entornos de Managed Airflow a través de la incorporación del control de acceso proporcionado por IAM, encriptación predeterminada de los datos en reposo, encriptación adicional del almacenamiento administrado por el cliente y encriptación de los datos en tránsito.

  • Proporcionar Google Cloud integraciones para Identity and Access Management, Registros de auditoría de Cloud y Cloud Key Management Service

  • Restringir y registrar el acceso de administrador de Google a los clústeres de los clientes para obtener asistencia contractual con la Transparencia de acceso y la Aprobación de acceso

  • Publicamos información sobre los cambios incompatibles con versiones anteriores entre las versiones de Managed Airflow y Airflow en las Notas de la versión de Managed Airflow.

  • Mantener actualizada la documentación de Managed Airflow:

    • Proporcionar una descripción de todas las funcionalidades que ofrece Managed Airflow

    • Proporcionar instrucciones para solucionar problemas que ayudan a mantener los entornos en buen estado

    • Publicar información sobre problemas conocidos con soluciones alternativas (si existen)

  • Resolver incidentes de seguridad críticos relacionados con los entornos de Managed Airflow y las imágenes de Airflow proporcionadas por Managed Airflow (sin incluir los paquetes de Python instalados por el cliente) a través de la entrega de nuevas versiones del entorno que aborden los incidentes.

  • Según el plan de asistencia al cliente, se solucionan los problemas de estado del entorno de Managed Airflow.

  • Mantener y expandir la funcionalidad del proveedor de Terraform de Managed Airflow

  • Cooperar con la comunidad de Apache Airflow para mantener y desarrollar los operadores de Google Airflow

  • Solucionar problemas y, si es posible, corregir problemas en las funcionalidades principales de Airflow

Responsabilidades de los clientes

  • Actualiza a las nuevas versiones de Managed Airflow y Airflow para mantener la compatibilidad con el producto y resolver problemas de seguridad una vez que el servicio de Managed Airflow publique una versión de Managed Airflow que aborde los problemas.

  • Mantener el código de los DAGs para que siga siendo compatible con la versión de Airflow que se usa

  • Mantener intacta la configuración del clúster de GKE del entorno, en particular, su función de actualización automática

  • Mantener los permisos adecuados en IAM para la cuenta de servicio del entorno En particular, mantener los permisos que requieren el agente de Airflow administrado y la cuenta de servicio del entorno. Mantener el permiso requerido para la clave de CMEK que se usa para la encriptación del entorno de Managed Airflow y rotarla según tus necesidades

  • Mantener los permisos adecuados en IAM para el bucket del entorno y el repositorio de Artifact Registry en el que se almacenan las imágenes de los componentes de Managed Airflow

  • Mantener los permisos de IAM adecuados para una cuenta de servicio que realiza instalaciones de paquetes de PyPI Para obtener más información, consulta Control de acceso.

  • Mantener los permisos adecuados del usuario final en IAM y la configuración del control de acceso a la IU de Airflow

  • Mantén el tamaño de la base de datos de Airflow por debajo de los 16 GB con el DAG de mantenimiento.

  • Resolver todos los problemas de análisis del DAG antes de presentar casos de asistencia al Atención al cliente de Cloud

  • Asigna nombres a los DAG de forma adecuada (por ejemplo, sin usar caracteres invisibles, como ESPACIO o TAB, en los nombres de los DAG) para que las métricas se puedan informar correctamente para los DAG.

  • Actualiza el código de los DAG para que no use operadores obsoletos y migra a sus alternativas actualizadas. Es posible que los operadores en desuso se quiten de los proveedores de Airflow, lo que podría afectar tus planes para actualizar a una versión posterior de Managed Airflow o Airflow. Los operadores obsoletos tampoco se mantienen y deben usarse "tal cual".

  • Configurar los permisos de IAM adecuados cuando se usan back-ends de secretos, como Secret Manager, de modo que la cuenta de servicio del entorno tenga acceso a ellos

  • Ajustar los parámetros del entorno de Managed Airflow (como la CPU y la memoria de los componentes de Airflow) y las configuraciones de Airflow para cumplir con las expectativas de rendimiento y carga de los entornos de Managed Airflow con la guía de optimización de Managed Airflow y la guía de escalamiento del entorno

  • Evita quitar los permisos que requieren las cuentas de servicio del agente de Airflow administrado y del entorno (quitar estos permisos puede provocar errores en las operaciones de administración o en las tareas y los DAG).

  • Mantener todos los servicios y las APIs que requiere Managed Airflow siempre habilitados Estas dependencias deben tener cuotas configuradas en los niveles requeridos para Managed Airflow.

  • Mantener los repositorios de Artifact Registry que alojan imágenes de contenedor que usan los entornos de Airflow administrado

  • Sigue las recomendaciones y las prácticas recomendadas para implementar DAGs.

  • Diagnosticar fallas en DAG y tareas con instrucciones para la solución de problemas del programador, la solución de problemas del DAG y la solución de problemas del activador

  • Evita instalar o ejecutar componentes adicionales en el clúster de GKE del entorno que interfieran con los componentes de Managed Airflow y les impidan funcionar correctamente.

  • Mantener un plan de recuperación ante desastres, incluida la configuración y la administración de instantáneas para satisfacer tus necesidades de retención de datos y continuidad empresarial Google no restablece los entornos borrados ni sus copias de seguridad de bases de datos.

  • Mantener la cadena de suministro de dependencias de Python para los paquetes que instala el cliente Esto incluye solucionar problemas de instalación causados por discrepancias en las dependencias de Python y definir restricciones de versión específicas cuando se agregan o modifican estos paquetes.

¿Qué sigue?