Managed Airflow (3e génération) | Managed Airflow (2e génération) | Managed Airflow (1re génération, version héritée)
Pour gérer une application stratégique sur Managed Airflow, différentes responsabilités doivent être assumées par plusieurs groupes. Bien qu'il ne s'agisse pas d'une liste exhaustive, ce document répertorie les responsabilités respectives de Google et du client.
Responsabilités de Google
Renforcement et application de correctifs aux composants et à l'infrastructure sous-jacente de l'environnement Managed Airflow, y compris le cluster Google Kubernetes Engine, la base de données Cloud SQL (qui héberge la base de données Airflow), Pub/Sub, Artifact Registry et d'autres éléments de l'environnement. Cela inclut en particulier la mise à niveau automatique de l'infrastructure sous-jacente, y compris le cluster GKE et l'instance Cloud SQL d'un environnement.
Protection de l'accès aux environnements Managed Airflow en intégrant le contrôle des accès fourni par IAM, chiffrant les données au repos par défaut, fournissant un chiffrement de stockage supplémentaire géré par le client, chiffrant les données en transit.
Fourniture Google Cloud d'intégrations pour Identity and Access Management, Cloud Audit Logs et Cloud Key Management Service.
Limitation et consignation de l'accès administrateur Google aux clusters des clients à des fins d'assistance contractuelle avec Access Transparency et Access Approval.
Publication d'informations sur les modifications incompatibles avec les versions antérieures entre Managed Airflow et Airflow dans les notes de version de Managed Airflow.
Mise à jour de la documentation Managed Airflow :
Description de toutes les fonctionnalités fournies par Managed Airflow.
Instructions de dépannage permettant de maintenir les environnements en bon état.
Publication d'informations sur les problèmes connus avec des solutions de contournement (le cas échéant).
Résolution des incidents de sécurité critiques liés aux environnements Managed Airflow et aux images Airflow fournies par Managed Airflow (à l'exclusion des packages Python installés par le client) en fournissant de nouvelles versions d'environnement qui résolvent les incidents.
Résolution des problèmes d'état de l'environnement Managed Airflow, en fonction du forfait d'assistance du client.
Maintenance et extension des fonctionnalités du fournisseur Terraform Managed Airflow.
Collaboration avec la communauté Apache Airflow pour maintenir et développer les opérateurs Google Airflow.
Dépannage et, si possible, résolution des problèmes liés aux fonctionnalités de base d'Airflow.
Responsabilités du client
Mise à niveau vers de nouvelles versions de Managed Airflow et d'Airflow pour continuer à bénéficier de l'assistance pour le produit et résoudre les problèmes de sécurité une fois que le service Managed Airflow a publié une version de Managed Airflow qui résout les problèmes.
Maintenance du code des DAG pour le maintenir compatible avec la version d'Airflow utilisée.
Maintien de la configuration du cluster GKE de l'environnement, y compris sa fonctionnalité de mise à niveau automatique.
Maintien des autorisations appropriées dans IAM pour le compte de service de l'environnement. En particulier, maintien des autorisations requises par l' agent Managed Airflow et le compte de service de l'environnement. Maintien de l'autorisation requise pour la clé CMEK utilisée pour le chiffrement de l'environnement Managed Airflow et rotation de celle-ci en fonction de vos besoins.
Maintien des autorisations appropriées dans IAM pour le bucket de l'environnement et le dépôt Artifact Registry où sont stockées les images des composants de Managed Airflow.
Maintien des autorisations IAM appropriées pour un compte de service qui effectue des installations de packages PyPI. Pour en savoir plus, consultez la page Contrôle des accès.
Maintien des autorisations appropriées de l'utilisateur final dans IAM et de la configuration du contrôle des accès de l'UI Airflow.
Maintien de la taille de la base de données Airflow en dessous de 16 Go à l'aide du DAG de maintenance.
Résolution de tous les problèmes d'analyse DAG avant de créer des demandes d'assistance auprès de Cloud Customer Care.
Nommage correct des DAG (par exemple, sans utiliser de caractères invisibles tels que SPACE ou TAB dans les noms de DAG) afin que les métriques puissent être générées correctement pour les DAG.
Mise à niveau du code des DAG afin qu'il n'utilise pas d'opérateurs obsolètes et migration vers leurs alternatives à jour. Les opérateurs obsolètes peuvent être supprimés des fournisseurs Airflow, ce qui peut avoir un impact sur vos plans de mise à niveau vers une version ultérieure de Managed Airflow ou d'Airflow. Les opérateurs obsolètes ne sont pas non plus maintenus et doivent être utilisés "tels quels".
Configuration des autorisations IAM appropriées lors de l'utilisation de backends secrets tels que Secret Manager afin que le compte de service de l'environnement y ait accès.
Ajustement des paramètres de l'environnement Managed Airflow (tels que le processeur et la mémoire des composants Airflow) et des configurations Airflow pour répondre aux attentes en termes de performances et de charge des environnements Managed Airflow à l'aide du guide d'optimisation de Managed Airflow et du guide de scaling de l'environnement.
Éviter de supprimer les autorisations requises par l'agent Managed Airflow et les comptes de service de l'environnement (la suppression de ces autorisations peut entraîner l'échec des opérations de gestion ou des DAG et des tâches).
Maintien de l'activation de tous les services et API requis par Managed Airflow toujours activé. Des quotas doivent être configurés pour ces dépendances aux niveaux requis pour Managed Airflow.
Maintien des dépôts Artifact Registry qui hébergent les images de conteneurs utilisées par les environnements Managed Airflow.
Suivi des recommandations et des bonnes pratiques pour l'implémentation des DAG.
Diagnostic des échecs de DAG et de tâches à l'aide des instructions de dépannage du planificateur, dépannage des DAG et de dépannage du déclencheur.
Éviter d'installer ou d'exécuter des composants supplémentaires dans le cluster GKE de l'environnement qui interfèrent avec les composants Managed Airflow et les empêchent de fonctionner correctement.
Configuration et gestion des instantanés pour répondre à vos besoins en matière de conservation des données et de continuité de l'activité. Google ne restaure pas les environnements supprimés ni leurs sauvegardes de base de données.
Maintien de la chaîne d'approvisionnement des dépendances Python pour les packages installés par le client. Cela inclut la résolution des erreurs d'installation causées par des incompatibilités de dépendances Python et la définition de contraintes de version spécifiques lors de l'ajout ou de la modification de ces packages.