Écrire des DAG Airflow

Managed Airflow (3e génération) | Managed Airflow (2e génération) | Managed Airflow (ancienne 1re génération)

Ce guide explique comment écrire un DAG (graphe orienté acyclique) Apache Airflow exécuté dans un environnement Managed Service pour Apache Airflow.

Étant donné qu'Apache Airflow n'offre pas une forte isolation des DAG et des tâches, nous vous recommandons d'utiliser des environnements de production et de test distincts afin d'éviter les interférences au niveau des DAG. Pour en savoir plus, reportez-vous à la section Tester les DAG.

Structurer un DAG Airflow

Un DAG Airflow est défini dans un fichier Python et comprend les composants suivants :

  • Définition du DAG
  • Opérateurs Airflow
  • Relations avec les opérateurs

Les extraits de code suivants illustrent des exemples de chaque composant hors contexte.

Définition d'un DAG

L'exemple suivant illustre une définition de DAG Airflow :

import datetime

from airflow import models

default_dag_args = {
    # The start_date describes when a DAG is valid / can be run. Set this to a
    # fixed point in time rather than dynamically, since it is evaluated every
    # time a DAG is parsed. See:
    # https://airflow.apache.org/faq.html#what-s-the-deal-with-start-date
    "start_date": datetime.datetime(2018, 1, 1),
}

# Define a DAG (directed acyclic graph) of tasks.
# Any task you create within the context manager is automatically added to the
# DAG object.
with models.DAG(
    "composer_sample_simple_greeting",
    schedule_interval=datetime.timedelta(days=1),
    default_args=default_dag_args,
) as dag:

Opérateurs et tâches

Les opérateurs Airflow décrivent le travail à effectuer. Une tâchetask est une instance spécifique d'un opérateur.

from airflow.operators.bash import BashOperator
from airflow.operators.python import PythonOperator

    def greeting():
        import logging

        logging.info("Hello World!")

    # An instance of an operator is called a task. In this case, the
    # hello_python task calls the "greeting" Python function.
    hello_python = PythonOperator(task_id="hello", python_callable=greeting)

    # Likewise, the goodbye_bash task calls a Bash script.
    goodbye_bash = BashOperator(task_id="bye", bash_command="echo Goodbye.")

Relations entre les tâches

Les relations entre les tâches décrivent l'ordre dans lequel le travail doit être effectué.

# Define the order in which the tasks complete by using the >> and <<
# operators. In this example, hello_python executes before goodbye_bash.
hello_python >> goodbye_bash

Exemple complet de workflow DAG en Python

Le workflow suivant est un modèle de DAG fonctionnel complet qui se compose de deux tâches : une tâche hello_python et une tâche goodbye_bash :


import datetime

from airflow import models

from airflow.operators.bash import BashOperator
from airflow.operators.python import PythonOperator



default_dag_args = {
    # The start_date describes when a DAG is valid / can be run. Set this to a
    # fixed point in time rather than dynamically, since it is evaluated every
    # time a DAG is parsed. See:
    # https://airflow.apache.org/faq.html#what-s-the-deal-with-start-date
    "start_date": datetime.datetime(2018, 1, 1),
}

# Define a DAG (directed acyclic graph) of tasks.
# Any task you create within the context manager is automatically added to the
# DAG object.
with models.DAG(
    "composer_sample_simple_greeting",
    schedule_interval=datetime.timedelta(days=1),
    default_args=default_dag_args,
) as dag:
    def greeting():
        import logging

        logging.info("Hello World!")

    # An instance of an operator is called a task. In this case, the
    # hello_python task calls the "greeting" Python function.
    hello_python = PythonOperator(task_id="hello", python_callable=greeting)

    # Likewise, the goodbye_bash task calls a Bash script.
    goodbye_bash = BashOperator(task_id="bye", bash_command="echo Goodbye.")

    # Define the order in which the tasks complete by using the >> and <<
    # operators. In this example, hello_python executes before goodbye_bash.
    hello_python >> goodbye_bash

Pour en savoir plus sur la définition des DAG Airflow, consultez le tutoriel Airflow et les concepts Airflow.

Opérateurs Airflow

Les exemples suivants présentent quelques opérateurs Airflow connus. Pour obtenir une documentation de référence faisant autorité sur les opérateurs Airflow, consultez la documentation de référence sur les opérateurs et les hooks et l'index des fournisseurs.

BashOperator

Utilisez l'opérateur BashOperator pour exécuter des programmes de ligne de commande.

from airflow.operators import bash

    # Create BigQuery output dataset.
    make_bq_dataset = bash.BashOperator(
        task_id="make_bq_dataset",
        # Executing 'bq' command requires Google Cloud SDK which comes
        # preinstalled in Cloud Composer.
        bash_command=f"bq ls {bq_dataset_name} || bq mk {bq_dataset_name}",
    )

Managed Airflow exécute les commandes fournies dans un script Bash sur un nœud de calcul Airflow. Le nœud de calcul est un conteneur Docker basé sur Debian et comprend plusieurs packages.

PythonOperator

Utilisez PythonOperator pour exécuter le code Python de votre choix.

Managed Airflow exécute le code Python dans un conteneur qui inclut des packages pour la version d'image Managed Airflow utilisée dans votre environnement.

Pour installer des packages Python supplémentaires, reportez-vous à la section Installer des dépendances Python.

OpérateursGoogle Cloud

Pour exécuter des tâches qui utilisent des produits Google Cloud , utilisez les opérateurs AirflowGoogle Cloud . Par exemple, les opérateurs BigQuery interrogent et traitent les données dans BigQuery.

Il existe de nombreux autres opérateurs Airflow pour Google Cloud et les services individuels fournis par Google Cloud. Pour obtenir la liste complète, consultez Opérateurs Google Cloud .

from airflow.providers.google.cloud.operators import bigquery
from airflow.providers.google.cloud.transfers import bigquery_to_gcs

    bq_recent_questions_query = bigquery.BigQueryInsertJobOperator(
        task_id="bq_recent_questions_query",
        configuration={
            "query": {
                "query": RECENT_QUESTIONS_QUERY,
                "useLegacySql": False,
                "destinationTable": {
                    "projectId": project_id,
                    "datasetId": bq_dataset_name,
                    "tableId": bq_recent_questions_table_id,
                },
            }
        },
        location=location,
    )

EmailOperator

Utilisez EmailOperator pour envoyer un e-mail à partir d'un DAG. Pour envoyer des e-mails à partir d'un environnement Managed Airflow, configurez votre environnement pour qu'il utilise SendGrid.

from airflow.operators import email

    # Send email confirmation (you will need to set up the email operator
    # See https://cloud.google.com/composer/docs/how-to/managing/creating#notification
    # for more info on configuring the email operator in Cloud Composer)
    email_summary = email.EmailOperator(
        task_id="email_summary",
        to="{{var.value.email}}",
        subject="Sample BigQuery notify data ready",
        html_content="""
        Analyzed Stack Overflow posts data from {min_date} 12AM to {max_date}
        12AM. The most popular question was '{question_title}' with
        {view_count} views. Top 100 questions asked are now available at:
        {export_location}.
        """.format(
            min_date=min_query_date,
            max_date=max_query_date,
            question_title=(
                "{{ ti.xcom_pull(task_ids='bq_read_most_popular', "
                "key='return_value')[0][0] }}"
            ),
            view_count=(
                "{{ ti.xcom_pull(task_ids='bq_read_most_popular', "
                "key='return_value')[0][1] }}"
            ),
            export_location=output_file,
        ),
    )

Notifications en cas d'échec de l'opérateur

Définissez email_on_failure sur True pour envoyer une notification par e-mail lorsqu'un opérateur du DAG échoue. Pour envoyer des notifications par e-mail à partir d'un environnement Managed Airflow, vous devez configurer votre environnement pour qu'il utilise SendGrid.

from airflow import models

default_dag_args = {
    "start_date": yesterday,
    # Email whenever an Operator in the DAG fails.
    "email": "{{var.value.email}}",
    "email_on_failure": True,
    "email_on_retry": False,
    "retries": 1,
    "retry_delay": datetime.timedelta(minutes=5),
    "project_id": project_id,
}

with models.DAG(
    "composer_sample_bq_notify",
    schedule_interval=datetime.timedelta(weeks=4),
    default_args=default_dag_args,
) as dag:

Consignes concernant les workflows DAG

  • Placez toutes les bibliothèques Python personnalisées dans l'archive ZIP des DAG, dans un répertoire imbriqué. Ne placez pas de bibliothèques au niveau supérieur du répertoire des DAG.

    Lorsque Airflow analyse le dossier dags/, il ne recherche que les DAG des modules Python situés au niveau supérieur du dossier des DAG et au niveau supérieur d'une archive ZIP également située au niveau supérieur du dossier dags/. Si Airflow rencontre un module Python dans une archive ZIP ne contenant pas les deux sous-chaînes airflow et DAG, il cesse de traiter l'archive ZIP. Airflow ne renvoie que les DAG trouvés jusqu'à ce point.

  • Pour la tolérance aux pannes, ne définissez pas plusieurs objets DAG dans le même module Python.

  • N'utilisez pas de sous-DAG. Regroupez plutôt les tâches dans les DAG.

  • Placez les fichiers requis au moment de l'analyse du DAG dans le dossier dags/, et non dans le dossier data/.

  • Implémentez des tests unitaires pour vos DAG.

  • Testez les DAG développés ou modifiés comme recommandé dans les instructions pour tester les DAG.

  • L'outil CLI de développement local Composer simplifie le développement de DAG Apache Airflow pour Managed Airflow (2e génération) en exécutant un environnement Airflow en local. Cet environnement Airflow local utilise une image d'une version spécifique de Managed Airflow (2e génération).

  • Vérifiez que les DAG développés n'augmentent pas trop les durées d'analyse des DAG.

  • Les tâches Airflow peuvent échouer pour plusieurs raisons. Pour éviter les échecs d'exécution de DAG entiers, nous vous recommandons d'activer les nouvelles tentatives pour les tâches. Si vous définissez le nombre maximal de tentatives sur 0, aucune nouvelle tentative n'est effectuée.

    Nous vous recommandons de remplacer l'option default_task_retries par une valeur pour les nouvelles tentatives de tâches autre que 0. Vous pouvez également définir le paramètre retries au niveau de la tâche.

  • Si vous souhaitez utiliser des GPU dans vos tâches Airflow, créez un cluster GKE distinct basé sur des nœuds utilisant des machines avec GPU. Utilisez GKEStartPodOperator pour exécuter vos tâches.

  • Évitez d'exécuter des tâches gourmandes en processeur et en mémoire dans le pool de nœuds du cluster où d'autres composants Airflow (programmeurs, nœuds de calcul, serveurs Web) sont exécutés. Utilisez plutôt KubernetesPodOperator ou GKEStartPodOperator.

  • Lorsque vous déployez des DAG dans un environnement, n'importez que les fichiers absolument nécessaires à l'interprétation et à l'exécution des DAG dans le dossier /dags.

  • Limitez le nombre de fichiers DAG dans le dossier /dags.

    Airflow analyse en continu les DAG dans le dossier /dags. L'analyse est un processus qui parcourt le dossier DAG. Le nombre de fichiers à charger (avec leurs dépendances) a un impact sur les performances de l'analyse DAG et de la planification des tâches. Il est beaucoup plus efficace d'utiliser 100 fichiers avec 100 DAG chacun que 10 000 fichiers avec un DAG chacun. Cette optimisation est donc recommandée. Cette optimisation est un équilibre entre le temps d'analyse et l'efficacité de la création et de la gestion des DAG.

    Par exemple, pour déployer 10 000 fichiers DAG, vous pouvez créer 100 fichiers zip contenant chacun 100 fichiers DAG.

    En plus des conseils ci-dessus, si vous avez plus de 10 000 fichiers DAG, la génération de DAG de manière programmatique peut être une bonne option. Par exemple, vous pouvez implémenter un seul fichier DAG Python qui génère un certain nombre d'objets DAG (par exemple, 20 ou 100 objets DAG).

  • Évitez d'utiliser des opérateurs Airflow obsolètes. Utilisez plutôt leurs alternatives à jour.

  • Évitez d'utiliser CloudLoggingHandler pour gérer la journalisation. Ce gestionnaire de journalisation entraîne une surcharge de la base de données de l'environnement et, par conséquent, des échecs de DAG avec les erreurs "le serveur a fermé la connexion de manière inattendue".

Questions fréquentes sur l'écriture des DAG

Comment réduire la répétition du code lorsque j'exécute des tâches identiques ou semblables dans plusieurs DAG ?

Nous vous recommandons de définir des bibliothèques et des wrappers afin de réduire la répétition du code.

Comment réutiliser le code à travers plusieurs fichiers DAG ?

Stockez les fonctions utilitaires dans une bibliothèque Python locale, puis importez-les. Vous pouvez référencer les fonctions de n'importe quel DAG situé dans le dossier dags/ du bucket de votre environnement.

Comment minimiser le risque d'apparition de définitions différentes ?

Imaginons que deux équipes souhaitent agréger des données brutes en métriques de revenus. Les équipes rédigent deux tâches légèrement différentes pour effectuer la même opération. Définissez les bibliothèques pour qu'elles fonctionnent avec les données sur les revenus. Ainsi, les développeurs des DAG doivent clarifier la définition des revenus en cours d'agrégation.

Comment définir des dépendances entre les DAG ?

Tout dépend de la manière dont vous souhaitez définir la dépendance.

Si vous avez deux DAG (DAG A et DAG B) et que vous souhaitez que le DAG B se déclenche après le DAG A, vous pouvez placer un opérateur TriggerDagRunOperator à la fin du DAG A.

Si le DAG B ne dépend que d'un artefact généré par le DAG A, tel qu'un message Pub/Sub, il est possible qu'un capteur fonctionne mieux.

Si le DAG B est étroitement intégré au DAG A, vous pourrez peut-être fusionner les deux DAG en un seul.

Comment transférer des ID d'exécution uniques à un DAG et à ses tâches ?

Imaginons que vous souhaitiez transférer les noms de cluster Dataproc et les chemins des fichiers.

Vous pouvez générer un ID aléatoire unique en renvoyant str(uuid.uuid4()) dans un PythonOperator. L'ID est alors placé dans XComs afin que vous puissiez y faire référence dans d'autres opérateurs via des champs modélisés.

Avant de générer un uuid, essayez de déterminer si un ID propre à DagRun serait plus utile. Vous pouvez également référencer ces ID dans les substitutions Jinja à l'aide de macros.

Comment séparer les tâches dans un DAG ?

Chaque tâche doit constituer une unité de travail idempotente. Par conséquent, évitez d'encapsuler un workflow en plusieurs étapes au sein d'une tâche unique, comme un programme complexe exécuté dans un opérateur PythonOperator.

Faut-il définir plusieurs tâches dans un même DAG pour agréger des données provenant de plusieurs sources ?

Par exemple, vous avez plusieurs tables avec des données brutes et vous souhaitez créer des agrégats quotidiens pour chaque table. Les tâches ne dépendent pas les unes des autres. Faut-il créer une tâche et un DAG pour chaque table ou créer un DAG général ?

Si vous acceptez que chaque tâche partage les mêmes propriétés au niveau du DAG, telles que schedule, il est judicieux de définir plusieurs tâches dans un même DAG. Sinon, pour réduire la répétition du code, plusieurs DAG peuvent être générés à partir d'un seul module Python en les plaçant dans les globals() du module.

Comment limiter le nombre de tâches simultanées en cours d'exécution dans un DAG ?

Par exemple, vous souhaitez éviter de dépasser les limites/quotas d'utilisation de l'API ou éviter d'exécuter trop de processus simultanés.

Vous pouvez définir des pools Airflow dans l'interface utilisateur Web d'Airflow et associer des tâches à des pools existants dans vos DAG.

Questions fréquentes sur l'utilisation des opérateurs

Faut-il utiliser l'opérateur DockerOperator ?

Nous vous déconseillons d'utiliser l'opérateur DockerOperator, sauf s'il est utilisé pour lancer des conteneurs sur une installation Docker distante (et non dans un cluster d'environnement). Dans un environnement Managed Airflow, l'opérateur n'a pas accès aux daemons Docker.

Utilisez plutôt KubernetesPodOperator ou GKEStartPodOperator. Ces opérateurs lancent des pods Kubernetes dans des clusters Kubernetes ou GKE, respectivement. Notez qu'il est déconseillé de lancer des pods dans le cluster d'un environnement, car cela peut entraîner une concurrence des ressources.

Faut-il utiliser l'opérateur SubDagOperator ?

Nous vous déconseillons d'utiliser l'opérateur SubDagOperator.

Utilisez des alternatives comme suggéré dans Regrouper les tâches.

Faut-il exécuter du code Python uniquement dans des opérateurs PythonOperators pour séparer complètement les opérateurs Python ?

En fonction de votre objectif, plusieurs options s'offrent à vous.

Si votre seule préoccupation est de conserver des dépendances Python distinctes, vous pouvez utiliser l'opérateur PythonVirtualenvOperator.

Envisagez d'utiliser le KubernetesPodOperator. Cet opérateur vous permet de définir des pods Kubernetes et de les exécuter dans d'autres clusters.

Comment ajouter des packages binaires personnalisés ou non PyPI ?

Vous pouvez installer des packages hébergés dans des dépôts de packages privés.

Comment transmettre uniformément des arguments à un DAG et à ses tâches ?

La compatibilité avec Airflow intégrée à la modélisation Jinja permet de transmettre des arguments pouvant être utilisés dans des champs modélisés.

Quand se produit la substitution de modèle ?

La substitution de modèle se produit sur les nœuds de calcul Airflow juste avant l'appel de la fonction pre_execute d'un opérateur. En pratique, cela signifie que les modèles ne sont remplacés que juste avant l'exécution d'une tâche.

Comment connaître les arguments d'opérateur compatibles avec la substitution de modèle ?

Les arguments d'opérateur compatibles avec la substitution de modèle Jinja2 sont explicitement marqués comme tels.

Recherchez le champ template_fields dans la définition de l'opérateur, qui contient la liste des noms d'arguments qui subiront une substitution de modèle.

Par exemple, consultez la page sur l'opérateur BashOperator, qui est compatible avec la modélisation pour les arguments bash_command et env.

Opérateurs Airflow obsolètes et supprimés

Les opérateurs Airflow listés dans le tableau suivant sont obsolètes :

  • Évitez d'utiliser ces opérateurs dans vos DAG. Utilisez plutôt les opérateurs de remplacement à jour fournis.

  • Si un opérateur est indiqué comme supprimé, cela signifie qu'il n'est déjà plus disponible dans l'une des versions publiées de Managed Airflow (Gen 2).

  • Si un opérateur est listé comme obsolète, il sera supprimé dans une prochaine version de Managed Airflow (Gen 2).

Opérateur obsolète Opérateur de remplacement

GCSObjectsWtihPrefixExistenceSensor

Supprimé dans la version 7.0.0.

Versions : composer-3-*, composer-2.0.28-airflow-2.3.3.

GCSObjectsWithPrefixExistenceSensor

Disponible dans la version 2.0.0.

Versions : composer-3-*, composer-2-*.

CreateAutoMLTextTrainingJobOperator

Supprimé dans la version 11.0.0.

Versions : composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

SupervisedFineTuningTrainOperator

Disponible dans la version 10.23.0.

Versions : composer-3-airflow-2.9.3-build.1, composer-3-airflow-2.9.1-build.8, composer-2.9.5-airflow-2.9.3, composer-2.9.5-airflow-2.9.1.

GKEDeploymentHook

Supprimé dans la version 11.0.0.

Versions : composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GKEKubernetesHook

Disponible dans la version 10.17.0.

Versions : composer-3-*, composer-2.7.1-airflow-2.7.3.

GKECustomResourceHook

Supprimé dans la version 11.0.0.

Versions : composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GKEKubernetesHook

Disponible dans la version 10.17.0.

Versions : composer-3-*, composer-2.7.1-airflow-2.7.3.

GKEPodHook

Supprimé dans la version 11.0.0.

Versions : composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GKEKubernetesHook

Disponible dans la version 10.17.0.

Versions : composer-3-*, composer-2.7.1-airflow-2.7.3.

GKEJobHook

Supprimé dans la version 11.0.0.

Versions : composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GKEKubernetesHook

Disponible dans la version 10.17.0.

Versions : composer-3-*, composer-2.7.1-airflow-2.7.3.

GKEPodAsyncHook

Supprimé dans la version 11.0.0.

Versions : composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GKEKubernetesAsyncHook

Disponible dans la version 10.17.0.

Versions : composer-3-*, composer-2.7.1-airflow-2.7.3.

SecretsManagerHook

Supprimé dans la version 11.0.0.

Versions : composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GoogleCloudSecretManagerHook

Disponible dans la version 10.18.0.

Versions : composer-3-airflow-2.7.3-build.6, composer-2.8.3-airflow-2.7.3.

BigQueryExecuteQueryOperator

Supprimé dans la version 11.0.0.

Versions : composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

BigQueryInsertJobOperator

Disponible dans la version 1.0.0.

Versions : composer-3-*, composer-2-*.

BigQueryPatchDatasetOperator

Supprimé dans la version 11.0.0.

Versions : composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

BigQueryUpdateDatasetOperator

Disponible dans la version 1.0.0.

Versions : composer-3-*, composer-2-*.

DataflowCreateJavaJobOperator

Supprimé dans la version 11.0.0.

Versions : composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

beam.BeamRunJavaPipelineOperator

Disponible dans apache-airflow-providers-apache-beam==1.0.0.

Versions : composer-3-*, composer-2-*.

DataflowCreatePythonJobOperator

Supprimé dans la version 11.0.0.

Versions : composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

beam.BeamRunPythonPipelineOperator

Disponible dans apache-airflow-providers-apache-beam==1.0.0.

Versions : composer-3-*, composer-2-*.

DataprocSubmitPigJobOperator

Supprimé dans la version 11.0.0.

Versions : composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

DataprocSubmitJobOperator

Disponible dans la version 1.0.0.

Versions : composer-3-*, composer-2-*.

DataprocSubmitHiveJobOperator

Supprimé dans la version 11.0.0.

Versions : composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

DataprocSubmitJobOperator

Disponible dans la version 1.0.0.

Versions : composer-3-*, composer-2-*.

DataprocSubmitSparkSqlJobOperator

Supprimé dans la version 11.0.0.

Versions : composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

DataprocSubmitJobOperator

Disponible dans la version 1.0.0.

Versions : composer-3-*, composer-2-*.

DataprocSubmitSparkJobOperator

Supprimé dans la version 11.0.0.

Versions : composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

DataprocSubmitJobOperator

Disponible dans la version 1.0.0.

Versions : composer-3-*, composer-2-*.

DataprocSubmitHadoopJobOperator

Supprimé dans la version 11.0.0.

Versions : composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

DataprocSubmitJobOperator

Disponible dans la version 1.0.0.

Versions : composer-3-*, composer-2-*.

DataprocSubmitPySparkJobOperator

Supprimé dans la version 11.0.0.

Versions : composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

DataprocSubmitJobOperator

Disponible dans la version 1.0.0.

Versions : composer-3-*, composer-2-*.

BigQueryTableExistenceAsyncSensor

Supprimé dans la version 11.0.0.

Versions : composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

BigQueryTableExistenceSensor

Disponible dans la version 8.12.0.

Versions : composer-3-*, composer-2.3.0-airflow-2.5.1, composer-2.3.0-airflow-2.4.3.

BigQueryTableExistencePartitionAsyncSensor

Supprimé dans la version 11.0.0.

Versions : composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

BigQueryTablePartitionExistenceSensor

Disponible dans la version 8.12.0.

Versions : composer-3-*, composer-2.3.0-airflow-2.5.1, composer-2.3.0-airflow-2.4.3.

CloudComposerEnvironmentSensor

Supprimé dans la version 11.0.0.

Versions : composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

CloudComposerCreateEnvironmentOperator, CloudComposerDeleteEnvironmentOperator, CloudComposerUpdateEnvironmentOperator

Disponible dans la version 8.13.0.

Versions : composer-3-*, composer-2.3.0-airflow-2.5.1, composer-2.3.0-airflow-2.4.3.

GCSObjectExistenceAsyncSensor

Supprimé dans la version 11.0.0.

Versions : composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GCSObjectExistenceSensor

Disponible dans la version 8.12.0.

Versions : composer-3-*, composer-2.3.0-airflow-2.5.1, composer-2.3.0-airflow-2.4.3.

GoogleAnalyticsHook

Supprimé dans la version 11.0.0.

Versions : composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GoogleAnalyticsAdminHook

Disponible dans la version 8.14.0.

Versions : composer-3-*, composer-2.3.0-airflow-2.5.1, composer-2.3.0-airflow-2.4.3.

GoogleAnalyticsListAccountsOperator

Supprimé dans la version 11.0.0.

Versions : composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GoogleAnalyticsAdminListAccountsOperator

Disponible dans la version 8.14.0.

Versions : composer-3-*, composer-2.3.0-airflow-2.5.1, composer-2.3.0-airflow-2.4.3.

GoogleAnalyticsGetAdsLinkOperator

Supprimé dans la version 11.0.0.

Versions : composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GoogleAnalyticsAdminGetGoogleAdsLinkOperator

Disponible dans la version 8.14.0.

Versions : composer-3-*, composer-2.3.0-airflow-2.5.1, composer-2.3.0-airflow-2.4.3.

GoogleAnalyticsRetrieveAdsLinksListOperator

Supprimé dans la version 11.0.0.

Versions : composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GoogleAnalyticsAdminListGoogleAdsLinksOperator

Disponible dans la version 8.14.0.

Versions : composer-3-*, composer-2.3.0-airflow-2.5.1, composer-2.3.0-airflow-2.4.3.

GoogleAnalyticsDataImportUploadOperator

Supprimé dans la version 11.0.0.

Versions : composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GoogleAnalyticsAdminCreateDataStreamOperator

Disponible dans la version 8.14.0.

Versions : composer-3-*, composer-2.3.0-airflow-2.5.1, composer-2.3.0-airflow-2.4.3.

GoogleAnalyticsDeletePreviousDataUploadsOperator

Supprimé dans la version 11.0.0.

Versions : composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GoogleAnalyticsAdminDeleteDataStreamOperator

Disponible dans la version 8.14.0.

Versions : composer-3-*, composer-2.3.0-airflow-2.5.1, composer-2.3.0-airflow-2.4.3.

DataPipelineHook

Supprimé dans la version 12.0.0.

Versions : composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

DataflowHook

Disponible dans la version 10.20.0.

Versions : composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3.

CreateDataPipelineOperator

Supprimé dans la version 12.0.0.

Versions : composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

DataflowCreatePipelineOperator

Disponible dans la version 10.20.0.

Versions : composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3.

RunDataPipelineOperator

Supprimé dans la version 12.0.0.

Versions : composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

DataflowRunPipelineOperator

Disponible dans la version 10.20.0.

Versions : composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3.

AutoMLBatchPredictOperator

Supprimé dans la version 13.0.0.

Versions : composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

vertex_ai.batch_prediction_job

Disponible dans la version 10.24.0.

Versions : composer-3-airflow-2.9.3-build.4, composer-2.9.8-airflow-2.9.3.

PromptLanguageModelOperator

Supprimé dans la version 13.0.0.

Versions : composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

TextGenerationModelPredictOperator

Disponible dans la version 10.21.0.

Versions : composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3.

GenerateTextEmbeddingsOperator

Supprimé dans la version 13.0.0.

Versions : composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

TextEmbeddingModelGetEmbeddingsOperator

Disponible dans la version 10.21.0.

Versions : composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3.

PromptMultimodalModelOperator

Supprimé dans la version 13.0.0.

Versions : composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GenerativeModelGenerateContentOperator

Disponible dans la version 10.21.0.

Versions : composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3.

PromptMultimodalModelWithMediaOperator

Supprimé dans la version 13.0.0.

Versions : composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GenerativeModelGenerateContentOperator

Disponible dans la version 10.21.0.

Versions : composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3.

DataflowStartSqlJobOperator

Supprimé dans la version 13.0.0.

Versions : composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

DataflowStartYamlJobOperator

Disponible dans la version 10.23.0.

Versions : composer-3-airflow-2.9.3-build.1, composer-3-airflow-2.9.1-build.8, composer-2.9.5-airflow-2.9.3, composer-2.9.5-airflow-2.9.1.

DataprocScaleClusterOperator

Supprimé dans la version 15.0.0.

Versions : composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

DataprocUpdateClusterOperator

Disponible dans la version 15.0.0.

Versions : composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

MLEngineStartBatchPredictionJobOperator

Supprimé dans la version 15.0.0.

Versions : composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

CreateBatchPredictionJobOperator

Disponible dans la version 15.0.0.

Versions : composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

MLEngineManageModelOperator

Supprimé dans la version 15.0.0.

Versions : composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

MLEngineCreateModelOperator, MLEngineGetModelOperator

Disponible dans la version 15.0.0.

Versions : composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

MLEngineGetModelOperator

Supprimé dans la version 15.0.0.

Versions : composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

GetModelOperator

Disponible dans la version 15.0.0.

Versions : composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

MLEngineDeleteModelOperator

Supprimé dans la version 15.0.0.

Versions : composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

DeleteModelOperator

Disponible dans la version 15.0.0.

Versions : composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

MLEngineManageVersionOperator

Supprimé dans la version 15.0.0.

Versions : composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

MLEngineCreateVersion, MLEngineSetDefaultVersion, MLEngineListVersions, MLEngineDeleteVersion

Disponible dans la version 15.0.0.

Versions : composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

MLEngineCreateVersionOperator

Supprimé dans la version 15.0.0.

Versions : composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

Paramètre parent_model pour les opérateurs Vertex AI

Disponible dans la version 15.0.0.

Versions : composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

MLEngineSetDefaultVersionOperator

Supprimé dans la version 15.0.0.

Versions : composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

SetDefaultVersionOnModelOperator

Disponible dans la version 15.0.0.

Versions : composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

MLEngineListVersionsOperator

Supprimé dans la version 15.0.0.

Versions : composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

ListModelVersionsOperator

Disponible dans la version 15.0.0.

Versions : composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

MLEngineDeleteVersionOperator

Supprimé dans la version 15.0.0.

Versions : composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

DeleteModelVersionOperator

Disponible dans la version 15.0.0.

Versions : composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

MLEngineStartTrainingJobOperator

Supprimé dans la version 15.0.0.

Versions : composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

CreateCustomPythonPackageTrainingJobOperator

Disponible dans la version 15.0.0.

Versions : composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

MLEngineTrainingCancelJobOperator

Supprimé dans la version 15.0.0.

Versions : composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

CancelCustomTrainingJobOperator

Disponible dans la version 15.0.0.

Versions : composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

AutoMLDatasetLink

Supprimé dans la version 16.0.0.

Versions : composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

TranslationLegacyDatasetLink

Disponible dans la version 10.19.0.

Versions : composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3.

AutoMLDatasetListLink

Supprimé dans la version 16.0.0.

Versions : composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

TranslationDatasetListLink

Disponible dans la version 10.19.0.

Versions : composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3.

AutoMLModelLink

Supprimé dans la version 16.0.0.

Versions : composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

TranslationLegacyModelLink

Disponible dans la version 10.19.0.

Versions : composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3.

AutoMLModelTrainLink

Supprimé dans la version 16.0.0.

Versions : composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

TranslationLegacyModelTrainLink

Disponible dans la version 10.19.0.

Versions : composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3.

AutoMLModelPredictLink

Supprimé dans la version 16.0.0.

Versions : composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

TranslationLegacyModelPredictLink

Disponible dans la version 10.19.0.

Versions : composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3.

TextGenerationModelPredictOperator

Supprimé dans la version 16.0.0.

Versions : composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

GenerativeModelGenerateContentOperator

Disponible dans la version 16.0.0.

Versions : composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

LifeSciencesHook

Supprimé dans la version 17.0.0.

Versions : composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

Hook des opérateurs Google Cloud Batch

Disponible dans la version 17.0.0.

Versions : composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

LifeSciencesLink

Supprimé dans la version 17.0.0.

Versions : composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

Aucun remplacement (API abandonnée)

LifeSciencesRunPipelineOperator

Supprimé dans la version 17.0.0.

Versions : composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

Opérateurs Google Cloud Batch

Disponible dans la version 17.0.0.

Versions : composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

BigQueryCreateEmptyTableOperator

Supprimé dans la version 17.0.0.

Versions : composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

BigQueryCreateTableOperator

Disponible dans la version 17.0.0.

Versions : composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

BigQueryCreateExternalTableOperator

Supprimé dans la version 17.0.0.

Versions : composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

BigQueryCreateTableOperator

Disponible dans la version 17.0.0.

Versions : composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

GoogleDisplayVideo360CreateQueryOperator

Supprimé dans la version 18.0.0.

Versions : composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17, composer-2.15.0-airflow-2.10.5.

display_video.GoogleDisplayVideo360CreateSDFDownloadTaskOperator

Disponible dans la version 18.0.0.

Versions : composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17, composer-2.15.0-airflow-2.10.5.

GoogleDisplayVideo360RunQueryOperator

Supprimé dans la version 18.0.0.

Versions : composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17, composer-2.15.0-airflow-2.10.5.

display_video.GoogleDisplayVideo360CreateSDFDownloadTaskOperator

Disponible dans la version 18.0.0.

Versions : composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17, composer-2.15.0-airflow-2.10.5.

GoogleDisplayVideo360DeleteReportOperator

Supprimé dans la version 18.0.0.

Versions : composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17, composer-2.15.0-airflow-2.10.5.

Tâche d'exportation SDF dans la version 4 de l'API

Disponible dans la version 18.0.0.

Versions : composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17, composer-2.15.0-airflow-2.10.5.

GoogleDisplayVideo360DownloadReportV2Operator

Supprimé dans la version 18.0.0.

Versions : composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17, composer-2.15.0-airflow-2.10.5.

display_video.GoogleDisplayVideo360SDFtoGCSOperator

Disponible dans la version 18.0.0.

Versions : composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17, composer-2.15.0-airflow-2.10.5.

GoogleDisplayVideo360DownloadLineItemsOperator

Supprimé dans la version 18.0.0.

Versions : composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17, composer-2.15.0-airflow-2.10.5.

display_video.GoogleDisplayVideo360CreateSDFDownloadTaskOperator

Disponible dans la version 18.0.0.

Versions : composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17, composer-2.15.0-airflow-2.10.5.

GoogleDisplayVideo360UploadLineItemsOperator

Supprimé dans la version 18.0.0.

Versions : composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17, composer-2.15.0-airflow-2.10.5.

display_video.GoogleDisplayVideo360SDFtoGCSOperator

Disponible dans la version 18.0.0.

Versions : composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17, composer-2.15.0-airflow-2.10.5.

GoogleDisplayVideo360RunQuerySensor

Supprimé dans la version 18.0.0.

Versions : composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17, composer-2.15.0-airflow-2.10.5.

Tâche d'exportation SDF dans la version 4 de l'API

Disponible dans la version 18.0.0.

Versions : composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17, composer-2.15.0-airflow-2.10.5.

AutoMLPredictOperator

Supprimé dans la version 19.0.0.

Versions : composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

TextGenerationModelPredictOperator, TranslateTextOperator

Disponible dans la version 19.0.0.

Versions : composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

CloudAutoMLHook

Supprimé dans la version 19.0.0.

Versions : composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

vertex_ai.auto_ml.AutoMLHook, translate.TranslateHook

Disponible dans la version 19.0.0.

Versions : composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

AutoMLCreateDatasetOperator

Supprimé dans la version 19.0.0.

Versions : composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

vertex_ai.dataset.CreateDatasetOperator, translate.TranslateCreateDatasetOperator

Disponible dans la version 19.0.0.

Versions : composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

AutoMLDeleteDatasetOperator

Supprimé dans la version 19.0.0.

Versions : composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

vertex_ai.dataset.ListDatasetsOperator, translate.TranslateDatasetsListOperator

Disponible dans la version 19.0.0.

Versions : composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

AutoMLDeleteModelOperator

Supprimé dans la version 19.0.0.

Versions : composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

vertex_ai.model_service.DeleteModelOperator, translate.TranslateDeleteModelOperator

Disponible dans la version 19.0.0.

Versions : composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

AutoMLDeployModelOperator

Supprimé dans la version 19.0.0.

Versions : composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

vertex_ai.endpoint_service.DeployModelOperator

Disponible dans la version 19.0.0.

Versions : composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

AutoMLGetModelOperator

Supprimé dans la version 19.0.0.

Versions : composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

vertex_ai.model_service.GetModelOperator

Disponible dans la version 19.0.0.

Versions : composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

AutoMLImportDataOperator

Supprimé dans la version 19.0.0.

Versions : composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

vertex_ai.dataset.ImportDataOperator, translate.TranslateImportDataOperator

Disponible dans la version 19.0.0.

Versions : composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

AutoMLListDatasetOperator

Supprimé dans la version 19.0.0.

Versions : composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

vertex_ai.dataset.ListDatasetsOperator, translate.TranslateDatasetsListOperator

Disponible dans la version 19.0.0.

Versions : composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

AutoMLTablesListColumnSpecsOperator

Supprimé dans la version 19.0.0.

Versions : composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

Aucun remplacement (l'ancienne version d'AutoML Tables a été arrêtée)

AutoMLTablesListTableSpecsOperator

Supprimé dans la version 19.0.0.

Versions : composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

Aucun remplacement (ancienne version d'AutoML Tables arrêtée)

AutoMLTablesUpdateDatasetOperator

Supprimé dans la version 19.0.0.

Versions : composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

vertex_ai.dataset.UpdateDatasetOperator

Disponible dans la version 19.0.0.

Versions : composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

AutoMLTrainModelOperator

Supprimé dans la version 19.0.0.

Versions : composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

vertex_ai.auto_ml.CreateAutoMLTabularTrainingJobOperator, CreateAutoMLVideoTrainingJobOperator, CreateAutoMLImageTrainingJobOperator, SupervisedFineTuningTrainOperator, TranslateCreateModelOperator

Disponible dans la version 19.0.0.

Versions : composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

MLEngineCreateModelOperator

Supprimé dans la version 19.0.0.

Versions : composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

l'opérateur Vertex AI correspondant.

Disponible dans la version 19.0.0.

Versions : composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

DataCatalogEntryGroupLink

Obsolète dans la version 16.1.0.

Versions : composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogEntryGroupLink

Disponible dans la version 21.0.0.

Versions : composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

DataCatalogEntryLink

Obsolète dans la version 16.1.0.

Versions : composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogEntryLink

Disponible dans la version 21.0.0.

Versions : composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

DataCatalogTagTemplateLink

Obsolète dans la version 16.1.0.

Versions : composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogAspectTypeLink

Disponible dans la version 21.0.0.

Versions : composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogCreateEntryOperator

Obsolète dans la version 16.1.0.

Versions : composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogCreateEntryOperator

Disponible dans la version 21.0.0.

Versions : composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogCreateEntryGroupOperator

Obsolète dans la version 16.1.0.

Versions : composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogCreateEntryGroupOperator

Disponible dans la version 21.0.0.

Versions : composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogCreateTagOperator

Obsolète dans la version 16.1.0.

Versions : composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogCreateEntryOperator, DataplexCatalogUpdateEntryOperator

Disponible dans la version 21.0.0.

Versions : composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogCreateTagTemplateOperator

Obsolète dans la version 16.1.0.

Versions : composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogCreateAspectTypeOperator

Disponible dans la version 21.0.0.

Versions : composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogCreateTagTemplateFieldOperator

Obsolète dans la version 16.1.0.

Versions : composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogUpdateAspectTypeOperator, DataplexCatalogCreateAspectTypeOperator

Disponible dans la version 21.0.0.

Versions : composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogDeleteEntryGroupOperator

Obsolète dans la version 16.1.0.

Versions : composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogDeleteEntryGroupOperator

Disponible dans la version 21.0.0.

Versions : composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogDeleteTagOperator

Obsolète dans la version 16.1.0.

Versions : composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogUpdateEntryOperator

Disponible dans la version 21.0.0.

Versions : composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogDeleteTagTemplateOperator

Obsolète dans la version 16.1.0.

Versions : composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogDeleteAspectTypeOperator

Disponible dans la version 21.0.0.

Versions : composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogDeleteTagTemplateFieldOperator

Obsolète dans la version 16.1.0.

Versions : composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogUpdateAspectTypeOperator

Disponible dans la version 21.0.0.

Versions : composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogGetEntryOperator

Obsolète dans la version 16.1.0.

Versions : composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogGetEntryOperator

Disponible dans la version 21.0.0.

Versions : composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogGetEntryGroupOperator

Obsolète dans la version 16.1.0.

Versions : composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogGetEntryGroupOperator

Disponible dans la version 21.0.0.

Versions : composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogGetTagTemplateOperator

Obsolète dans la version 16.1.0.

Versions : composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogGetAspectTypeOperator

Disponible dans la version 21.0.0.

Versions : composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogListTagsOperator

Obsolète dans la version 16.1.0.

Versions : composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogGetEntryOperator

Disponible dans la version 21.0.0.

Versions : composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogLookupEntryOperator

Obsolète dans la version 16.1.0.

Versions : composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogLookupEntryOperator

Disponible dans la version 21.0.0.

Versions : composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogRenameTagTemplateFieldOperator

Obsolète dans la version 16.1.0.

Versions : composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogUpdateAspectTypeOperator

Disponible dans la version 21.0.0.

Versions : composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogSearchCatalogOperator

Obsolète dans la version 16.1.0.

Versions : composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogSearchEntriesOperator

Disponible dans la version 21.0.0.

Versions : composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogUpdateEntryOperator

Obsolète dans la version 16.1.0.

Versions : composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogUpdateEntryOperator

Disponible dans la version 21.0.0.

Versions : composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogUpdateTagOperator

Obsolète dans la version 16.1.0.

Versions : composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogUpdateEntryOperator

Disponible dans la version 21.0.0.

Versions : composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogUpdateTagTemplateOperator

Obsolète dans la version 16.1.0.

Versions : composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogUpdateAspectTypeOperator

Disponible dans la version 21.0.0.

Versions : composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogUpdateTagTemplateFieldOperator

Obsolète dans la version 16.1.0.

Versions : composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogUpdateAspectTypeOperator

Disponible dans la version 21.0.0.

Versions : composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogHook

Obsolète dans la version 16.1.0.

Versions : composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexHook

Disponible dans la version 21.0.0.

Versions : composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

TextEmbeddingModelGetEmbeddingsOperator

Obsolète dans la version 18.1.0.

Versions : composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

GenAIGenerateEmbeddingsOperator

Disponible dans la version 21.0.0.

Versions : composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

GenerativeModelGenerateContentOperator

Obsolète dans la version 18.1.0.

Versions : composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

GenAIGenerateContentOperator

Disponible dans la version 21.0.0.

Versions : composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

SupervisedFineTuningTrainOperator

Obsolète dans la version 18.1.0.

Versions : composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

GenAISupervisedFineTuningTrainOperator

Disponible dans la version 21.0.0.

Versions : composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CountTokensOperator

Obsolète dans la version 18.1.0.

Versions : composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

GenAICountTokensOperator

Disponible dans la version 21.0.0.

Versions : composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CreateCachedContentOperator

Obsolète dans la version 18.1.0.

Versions : composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

GenAICreateCachedContentOperator

Disponible dans la version 21.0.0.

Versions : composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

GenerateFromCachedContentOperator

Obsolète dans la version 18.1.0.

Versions : composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

GenAIGenerateContentOperator

Disponible dans la version 21.0.0.

Versions : composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

DeleteExperimentRunOperator

Obsolète dans la version 18.1.0.

Versions : composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

DeleteExperimentRunOperator

Disponible dans la version 21.0.0.

Versions : composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

TranslationLegacyModelLink

Supprimé dans la version 19.0.0.

Versions : composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

TranslationModelLink

Disponible dans la version 16.0.0.

Versions : composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

TranslationDatasetListLink

Supprimé dans la version 19.0.0.

Versions : composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

TranslationDatasetsListLink

Disponible dans la version 16.0.0.

Versions : composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

TranslationLegacyDatasetLink

Supprimé dans la version 19.0.0.

Versions : composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

TranslationDatasetsListLink

Disponible dans la version 16.0.0.

Versions : composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

TranslationLegacyModelTrainLink

Supprimé dans la version 19.0.0.

Versions : composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

TranslationModelsListLink

Disponible dans la version 16.0.0.

Versions : composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

Étapes suivantes