Scrivere DAG Airflow

Managed Airflow (Gen 3) | Managed Airflow (Gen 2) | Managed Airflow (Legacy Gen 1)

Questa guida mostra come scrivere un grafo diretto aciclico (DAG) di Apache Airflow in esecuzione in un ambiente Managed Service for Apache Airflow.

Poiché Apache Airflow non fornisce un forte isolamento di DAG e attività, ti consigliamo di utilizzare ambienti di produzione e test separati per evitare interferenze tra i DAG. Per saperne di più, consulta Testare i DAG.

Strutturare un DAG Airflow

Un DAG di Airflow è definito in un file Python ed è composto dai seguenti componenti:

  • Definizione del DAG
  • Operatori Airflow
  • Rapporti con gli operatori

I seguenti snippet di codice mostrano esempi di ciascun componente fuori contesto.

Definizione di un DAG

L'esempio seguente mostra una definizione di DAG di Airflow:

import datetime

from airflow import models

default_dag_args = {
    # The start_date describes when a DAG is valid / can be run. Set this to a
    # fixed point in time rather than dynamically, since it is evaluated every
    # time a DAG is parsed. See:
    # https://airflow.apache.org/faq.html#what-s-the-deal-with-start-date
    "start_date": datetime.datetime(2018, 1, 1),
}

# Define a DAG (directed acyclic graph) of tasks.
# Any task you create within the context manager is automatically added to the
# DAG object.
with models.DAG(
    "composer_sample_simple_greeting",
    schedule_interval=datetime.timedelta(days=1),
    default_args=default_dag_args,
) as dag:

Operatori e attività

Gli operatori Airflow descrivono il lavoro da svolgere. Un'attività è un'istanza specifica di un operatore.

from airflow.operators.bash import BashOperator
from airflow.operators.python import PythonOperator

    def greeting():
        import logging

        logging.info("Hello World!")

    # An instance of an operator is called a task. In this case, the
    # hello_python task calls the "greeting" Python function.
    hello_python = PythonOperator(task_id="hello", python_callable=greeting)

    # Likewise, the goodbye_bash task calls a Bash script.
    goodbye_bash = BashOperator(task_id="bye", bash_command="echo Goodbye.")

Relazioni tra attività

Le relazioni tra le attività descrivono l'ordine in cui deve essere completato il lavoro.

# Define the order in which the tasks complete by using the >> and <<
# operators. In this example, hello_python executes before goodbye_bash.
hello_python >> goodbye_bash

Esempio di workflow DAG completo in Python

Il seguente workflow è un modello DAG funzionante completo composto da due attività: un'attività hello_python e un'attività goodbye_bash:


import datetime

from airflow import models

from airflow.operators.bash import BashOperator
from airflow.operators.python import PythonOperator



default_dag_args = {
    # The start_date describes when a DAG is valid / can be run. Set this to a
    # fixed point in time rather than dynamically, since it is evaluated every
    # time a DAG is parsed. See:
    # https://airflow.apache.org/faq.html#what-s-the-deal-with-start-date
    "start_date": datetime.datetime(2018, 1, 1),
}

# Define a DAG (directed acyclic graph) of tasks.
# Any task you create within the context manager is automatically added to the
# DAG object.
with models.DAG(
    "composer_sample_simple_greeting",
    schedule_interval=datetime.timedelta(days=1),
    default_args=default_dag_args,
) as dag:
    def greeting():
        import logging

        logging.info("Hello World!")

    # An instance of an operator is called a task. In this case, the
    # hello_python task calls the "greeting" Python function.
    hello_python = PythonOperator(task_id="hello", python_callable=greeting)

    # Likewise, the goodbye_bash task calls a Bash script.
    goodbye_bash = BashOperator(task_id="bye", bash_command="echo Goodbye.")

    # Define the order in which the tasks complete by using the >> and <<
    # operators. In this example, hello_python executes before goodbye_bash.
    hello_python >> goodbye_bash

Per saperne di più sulla definizione dei DAG di Airflow, consulta il tutorial su Airflow e i concetti di Airflow.

Operatori Airflow

Gli esempi riportati di seguito mostrano alcuni operatori Airflow popolari. Per un riferimento autorevole degli operatori Airflow, consulta la Guida di riferimento di operatori e hook e l'indice dei provider.

BashOperator

Utilizza BashOperator per eseguire programmi a riga di comando.

from airflow.operators import bash

    # Create BigQuery output dataset.
    make_bq_dataset = bash.BashOperator(
        task_id="make_bq_dataset",
        # Executing 'bq' command requires Google Cloud SDK which comes
        # preinstalled in Cloud Composer.
        bash_command=f"bq ls {bq_dataset_name} || bq mk {bq_dataset_name}",
    )

Managed Airflow esegue i comandi forniti in uno script Bash su un worker di Airflow. Il worker è un container Docker basato su Debian e include diversi pacchetti.

PythonOperator

Utilizza PythonOperator per eseguire codice Python arbitrario.

Managed Airflow esegue il codice Python in un container che include i pacchetti per la versione dell'immagine Managed Airflow utilizzata nel tuo ambiente.

Per installare pacchetti Python aggiuntivi, consulta Installazione delle dipendenze Python.

Google Cloud Operatori

Per eseguire attività che utilizzano i prodotti Google Cloud , utilizza gli operatori AirflowGoogle Cloud . Ad esempio, gli operatori BigQuery eseguono query ed elaborano i dati in BigQuery.

Esistono molti altri operatori Airflow per Google Cloud e singoli servizi forniti da Google Cloud. Per l'elenco completo, consulta Google Cloud Operatori.

from airflow.providers.google.cloud.operators import bigquery
from airflow.providers.google.cloud.transfers import bigquery_to_gcs

    bq_recent_questions_query = bigquery.BigQueryInsertJobOperator(
        task_id="bq_recent_questions_query",
        configuration={
            "query": {
                "query": RECENT_QUESTIONS_QUERY,
                "useLegacySql": False,
                "destinationTable": {
                    "projectId": project_id,
                    "datasetId": bq_dataset_name,
                    "tableId": bq_recent_questions_table_id,
                },
            }
        },
        location=location,
    )

EmailOperator

Utilizza EmailOperator per inviare email da un DAG. Per inviare email da un ambiente Managed Airflow, configura l'ambiente in modo che utilizzi SendGrid.

from airflow.operators import email

    # Send email confirmation (you will need to set up the email operator
    # See https://cloud.google.com/composer/docs/how-to/managing/creating#notification
    # for more info on configuring the email operator in Cloud Composer)
    email_summary = email.EmailOperator(
        task_id="email_summary",
        to="{{var.value.email}}",
        subject="Sample BigQuery notify data ready",
        html_content="""
        Analyzed Stack Overflow posts data from {min_date} 12AM to {max_date}
        12AM. The most popular question was '{question_title}' with
        {view_count} views. Top 100 questions asked are now available at:
        {export_location}.
        """.format(
            min_date=min_query_date,
            max_date=max_query_date,
            question_title=(
                "{{ ti.xcom_pull(task_ids='bq_read_most_popular', "
                "key='return_value')[0][0] }}"
            ),
            view_count=(
                "{{ ti.xcom_pull(task_ids='bq_read_most_popular', "
                "key='return_value')[0][1] }}"
            ),
            export_location=output_file,
        ),
    )

Notifiche in caso di errore dell'operatore

Imposta email_on_failure su True per inviare una notifica via email quando un operatore nel DAG non riesce. Per inviare notifiche email da un ambiente Managed Airflow, devi configurare l'ambiente in modo che utilizzi SendGrid.

from airflow import models

default_dag_args = {
    "start_date": yesterday,
    # Email whenever an Operator in the DAG fails.
    "email": "{{var.value.email}}",
    "email_on_failure": True,
    "email_on_retry": False,
    "retries": 1,
    "retry_delay": datetime.timedelta(minutes=5),
    "project_id": project_id,
}

with models.DAG(
    "composer_sample_bq_notify",
    schedule_interval=datetime.timedelta(weeks=4),
    default_args=default_dag_args,
) as dag:

Linee guida per il flusso di lavoro DAG

  • Inserisci le librerie Python personalizzate nell'archivio ZIP di un DAG in una directory nidificata. Non inserire le librerie nel livello superiore della directory DAG.

    Quando Airflow esegue la scansione della cartella dags/, controlla solo i DAG nei moduli Python che si trovano nel livello superiore della cartella DAG e nel livello superiore di un archivio ZIP che si trova anche nel livello superiore della cartella dags/. Se Airflow rileva un modulo Python in un archivio ZIP che non contiene le sottostringhe airflow e DAG, interrompe l'elaborazione dell'archivio ZIP. Airflow restituisce solo i DAG trovati fino a quel momento.

  • Per la tolleranza agli errori, non definire più oggetti DAG nello stesso modulo Python.

  • Non utilizzare i SubDAG. In alternativa, raggruppa le attività all'interno dei DAG.

  • Inserisci i file richiesti al momento dell'analisi del DAG nella cartella dags/, non nella cartella data/.

  • Implementa i test delle unità per i tuoi DAG.

  • Testa i DAG sviluppati o modificati come consigliato nelle istruzioni per il test dei DAG.

  • Lo strumento CLI di sviluppo locale di Composer semplifica lo sviluppo di DAG Apache Airflow per Managed Airflow (Gen 2) eseguendo un ambiente Airflow in locale. Questo ambiente Airflow locale utilizza un'immagine di una versione specifica di Managed Airflow (Gen 2).

  • Verifica che i DAG sviluppati non aumentino troppo i tempi di analisi dei DAG.

  • Le attività Airflow possono non riuscire per diversi motivi. Per evitare errori durante l'esecuzione dell'intero DAG, ti consigliamo di attivare i tentativi di esecuzione delle attività. Se imposti il numero massimo di tentativi su 0, non vengono eseguiti tentativi.

    Ti consigliamo di eseguire l'override dell'opzione default_task_retries con un valore per i tentativi di ripetizione dell'attività diverso da 0. Inoltre, puoi impostare il parametro retries a livello di attività.

  • Se vuoi utilizzare la GPU nelle attività Airflow, crea un cluster GKE separato basato su nodi che utilizzano macchine con GPU. Utilizza GKEStartPodOperator per eseguire le tue attività.

  • Evita di eseguire attività che richiedono un utilizzo elevato di CPU e memoria nel pool di nodi del cluster in cui sono in esecuzione altri componenti di Airflow (scheduler, worker, server web). Utilizza invece KubernetesPodOperator o GKEStartPodOperator.

  • Quando esegui il deployment dei DAG in un ambiente, carica solo i file assolutamente necessari per interpretare ed eseguire i DAG nella cartella /dags.

  • Limita il numero di file DAG nella cartella /dags.

    Airflow analizza continuamente i DAG nella cartella /dags. L'analisi è un processo che scorre la cartella DAG e il numero di file da caricare (con le relative dipendenze) influisce sulle prestazioni dell'analisi DAG e della pianificazione delle attività. È molto più efficiente utilizzare 100 file con 100 DAG ciascuno rispetto a 10.000 file con 1 DAG ciascuno, pertanto è consigliata questa ottimizzazione. Questa ottimizzazione è un equilibrio tra tempo di analisi ed efficienza della creazione e della gestione dei DAG.

    Ad esempio, per eseguire il deployment di 10.000 file DAG, puoi creare 100 file ZIP contenenti 100 file DAG ciascuno.

    Oltre ai suggerimenti riportati sopra, se hai più di 10.000 file DAG, la generazione di DAG in modo programmatico potrebbe essere una buona opzione. Ad esempio, puoi implementare un singolo file DAG Python che genera un certo numero di oggetti DAG (ad esempio, 20, 100 oggetti DAG).

  • Evita di utilizzare operatori Airflow ritirati. Al loro posto, utilizza le alternative aggiornate.

  • Evita di utilizzare CloudLoggingHandler per gestire il logging. Questo gestore di logging causa il sovraccarico del database dell'ambiente e i successivi errori DAG con gli errori "server closed the connection unexpectedly" (il server ha chiuso la connessione in modo imprevisto).

Domande frequenti sulla scrittura dei DAG

Come faccio a ridurre al minimo la ripetizione del codice se voglio eseguire attività uguali o simili in più DAG?

Ti consigliamo di definire librerie e wrapper per ridurre al minimo la ripetizione del codice.

Come faccio a riutilizzare il codice tra i file DAG?

Inserisci le funzioni di utilità in una libreria Python locale e importa le funzioni. Puoi fare riferimento alle funzioni in qualsiasi DAG che si trova nella cartella dags/ del bucket del tuo ambiente.

Come faccio a ridurre al minimo il rischio di definizioni diverse?

Ad esempio, hai due team che vogliono aggregare i dati non elaborati in metriche sulle entrate. I team scrivono due attività leggermente diverse che ottengono lo stesso risultato. Definisci le librerie per lavorare con i dati sulle entrate in modo che gli implementatori del DAG debbano chiarire la definizione delle entrate aggregate.

Come faccio a impostare le dipendenze tra i DAG?

Dipende da come vuoi definire la dipendenza.

Se hai due DAG (DAG A e DAG B) e vuoi che DAG B venga attivato dopo DAG A, puoi inserire un TriggerDagRunOperator alla fine di DAG A.

Se il DAG B dipende solo da un artefatto generato dal DAG A, ad esempio un messaggio Pub/Sub, un sensore potrebbe funzionare meglio.

Se il DAG B è strettamente integrato con il DAG A, potresti essere in grado di unire i due DAG in un unico DAG.

Come faccio a trasmettere ID esecuzione univoci a un DAG e ai relativi task?

Ad esempio, vuoi trasmettere i nomi dei cluster Dataproc e i percorsi dei file.

Puoi generare un ID univoco casuale restituendo str(uuid.uuid4()) in un PythonOperator. In questo modo, l'ID viene inserito in XComs, in modo che tu possa farvi riferimento in altri operatori tramite i campi basati su modelli.

Prima di generare un uuid, valuta se un ID specifico per DagRun sarebbe più utile. Puoi anche fare riferimento a questi ID nelle sostituzioni Jinja utilizzando le macro.

Come faccio a separare le attività in un DAG?

Ogni attività deve essere un'unità di lavoro idempotente. Di conseguenza, devi evitare di incapsulare un workflow in più passaggi in un'unica attività, ad esempio un programma complesso in esecuzione in un PythonOperator.

Devo definire più attività in un singolo DAG per aggregare i dati di più origini?

Ad esempio, hai più tabelle con dati non elaborati e vuoi creare aggregazioni giornaliere per ogni tabella. Le attività non dipendono l'una dall'altra. Devi creare un'attività e un DAG per ogni tabella o un DAG generale?

Se non hai problemi a condividere le stesse proprietà a livello di DAG per ogni attività, ad esempio schedule, ha senso definire più attività in un unico DAG. In caso contrario, per ridurre al minimo la ripetizione del codice, è possibile generare più DAG da un singolo modulo Python inserendoli nel globals() del modulo.

Come faccio a limitare il numero di attività simultanee in esecuzione in un DAG?

Ad esempio, vuoi evitare di superare i limiti/le quote di utilizzo dell'API o di eseguire troppi processi simultanei.

Puoi definire pool Airflow nell'interfaccia utente web di Airflow e associare le attività ai pool esistenti nei tuoi DAG.

Domande frequenti sull'utilizzo degli operatori

Devo utilizzare DockerOperator?

Ti sconsigliamo di utilizzare DockerOperator, a meno che non venga utilizzato per avviare i container su un'installazione Docker remota (non all'interno del cluster di un ambiente). In un ambiente Managed Airflow l'operatore non ha accesso ai daemon Docker.

Utilizza invece KubernetesPodOperator o GKEStartPodOperator. Questi operatori avviano i pod Kubernetes nei cluster Kubernetes o GKE, rispettivamente. Tieni presente che non consigliamo di avviare i pod nel cluster di un ambiente, perché ciò può portare alla concorrenza per le risorse.

Devo utilizzare SubDagOperator?

Non è consigliabile utilizzare SubDagOperator.

Utilizza le alternative suggerite in Raggruppamento delle attività.

Devo eseguire il codice Python solo in PythonOperators per separare completamente gli operatori Python?

A seconda dell'obiettivo, hai a disposizione alcune opzioni.

Se la tua unica preoccupazione è mantenere dipendenze Python separate, puoi utilizzare PythonVirtualenvOperator.

Valuta la possibilità di utilizzare KubernetesPodOperator. Questo operatore ti consente di definire i pod Kubernetes ed eseguirli in altri cluster.

Come faccio ad aggiungere pacchetti binari personalizzati o non PyPI?

Puoi installare pacchetti ospitati in repository di pacchetti privati.

Come faccio a passare argomenti in modo uniforme a un DAG e alle relative attività?

Puoi utilizzare il supporto integrato di Airflow per i template Jinja per passare argomenti che possono essere utilizzati nei campi con template.

Quando avviene la sostituzione del modello?

La sostituzione dei modelli avviene sui worker Airflow appena prima della chiamata alla funzione pre_execute di un operatore. In pratica, i modelli non vengono sostituiti fino a poco prima dell'esecuzione di un'attività.

Come faccio a sapere quali argomenti dell'operatore supportano la sostituzione del modello?

Gli argomenti dell'operatore che supportano la sostituzione del modello Jinja2 sono contrassegnati esplicitamente come tali.

Cerca il campo template_fields nella definizione dell'operatore, che contiene un elenco di nomi di argomenti che vengono sostituiti dal modello.

Ad esempio, consulta BashOperator, che supporta i modelli per gli argomenti bash_command e env.

Operatori Airflow deprecati e rimossi

Gli operatori Airflow elencati nella tabella seguente sono ritirati:

  • Evita di utilizzare questi operatori nei tuoi DAG. Utilizza invece gli operatori di sostituzione aggiornati forniti.

  • Se un operatore è elencato come rimosso, non è più disponibile in una delle versioni di Managed Airflow (Gen 2) rilasciate.

  • Se un operatore è elencato come obsoleto, è obsoleto e verrà rimosso in una versione futura di Managed Airflow (Gen 2).

Operatore ritirato Operatore di sostituzione

GCSObjectsWtihPrefixExistenceSensor

Rimossa nella versione 7.0.0.

Versioni: composer-3-*, composer-2.0.28-airflow-2.3.3.

GCSObjectsWithPrefixExistenceSensor

Disponibile nella versione 2.0.0.

Versioni: composer-3-*, composer-2-*.

CreateAutoMLTextTrainingJobOperator

Rimosso nella versione 11.0.0.

Versioni: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

SupervisedFineTuningTrainOperator

Disponibile nella versione 10.23.0.

Versioni: composer-3-airflow-2.9.3-build.1, composer-3-airflow-2.9.1-build.8, composer-2.9.5-airflow-2.9.3, composer-2.9.5-airflow-2.9.1.

GKEDeploymentHook

Rimosso nella versione 11.0.0.

Versioni: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GKEKubernetesHook

Disponibile nella versione 10.17.0.

Versioni: composer-3-*, composer-2.7.1-airflow-2.7.3.

GKECustomResourceHook

Rimosso nella versione 11.0.0.

Versioni: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GKEKubernetesHook

Disponibile nella versione 10.17.0.

Versioni: composer-3-*, composer-2.7.1-airflow-2.7.3.

GKEPodHook

Rimosso nella versione 11.0.0.

Versioni: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GKEKubernetesHook

Disponibile nella versione 10.17.0.

Versioni: composer-3-*, composer-2.7.1-airflow-2.7.3.

GKEJobHook

Rimosso nella versione 11.0.0.

Versioni: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GKEKubernetesHook

Disponibile nella versione 10.17.0.

Versioni: composer-3-*, composer-2.7.1-airflow-2.7.3.

GKEPodAsyncHook

Rimosso nella versione 11.0.0.

Versioni: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GKEKubernetesAsyncHook

Disponibile nella versione 10.17.0.

Versioni: composer-3-*, composer-2.7.1-airflow-2.7.3.

SecretsManagerHook

Rimosso nella versione 11.0.0.

Versioni: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GoogleCloudSecretManagerHook

Disponibile nella versione 10.18.0.

Versioni: composer-3-airflow-2.7.3-build.6, composer-2.8.3-airflow-2.7.3.

BigQueryExecuteQueryOperator

Rimosso nella versione 11.0.0.

Versioni: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

BigQueryInsertJobOperator

Disponibile nella versione 1.0.0.

Versioni: composer-3-*, composer-2-*.

BigQueryPatchDatasetOperator

Rimosso nella versione 11.0.0.

Versioni: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

BigQueryUpdateDatasetOperator

Disponibile nella versione 1.0.0.

Versioni: composer-3-*, composer-2-*.

DataflowCreateJavaJobOperator

Rimosso nella versione 11.0.0.

Versioni: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

beam.BeamRunJavaPipelineOperator

Disponibile in apache-airflow-providers-apache-beam==1.0.0.

Versioni: composer-3-*, composer-2-*.

DataflowCreatePythonJobOperator

Rimosso nella versione 11.0.0.

Versioni: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

beam.BeamRunPythonPipelineOperator

Disponibile in apache-airflow-providers-apache-beam==1.0.0.

Versioni: composer-3-*, composer-2-*.

DataprocSubmitPigJobOperator

Rimosso nella versione 11.0.0.

Versioni: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

DataprocSubmitJobOperator

Disponibile nella versione 1.0.0.

Versioni: composer-3-*, composer-2-*.

DataprocSubmitHiveJobOperator

Rimosso nella versione 11.0.0.

Versioni: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

DataprocSubmitJobOperator

Disponibile nella versione 1.0.0.

Versioni: composer-3-*, composer-2-*.

DataprocSubmitSparkSqlJobOperator

Rimosso nella versione 11.0.0.

Versioni: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

DataprocSubmitJobOperator

Disponibile nella versione 1.0.0.

Versioni: composer-3-*, composer-2-*.

DataprocSubmitSparkJobOperator

Rimosso nella versione 11.0.0.

Versioni: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

DataprocSubmitJobOperator

Disponibile nella versione 1.0.0.

Versioni: composer-3-*, composer-2-*.

DataprocSubmitHadoopJobOperator

Rimosso nella versione 11.0.0.

Versioni: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

DataprocSubmitJobOperator

Disponibile nella versione 1.0.0.

Versioni: composer-3-*, composer-2-*.

DataprocSubmitPySparkJobOperator

Rimosso nella versione 11.0.0.

Versioni: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

DataprocSubmitJobOperator

Disponibile nella versione 1.0.0.

Versioni: composer-3-*, composer-2-*.

BigQueryTableExistenceAsyncSensor

Rimosso nella versione 11.0.0.

Versioni: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

BigQueryTableExistenceSensor

Disponibile nella versione 8.12.0.

Versioni: composer-3-*, composer-2.3.0-airflow-2.5.1, composer-2.3.0-airflow-2.4.3.

BigQueryTableExistencePartitionAsyncSensor

Rimosso nella versione 11.0.0.

Versioni: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

BigQueryTablePartitionExistenceSensor

Disponibile nella versione 8.12.0.

Versioni: composer-3-*, composer-2.3.0-airflow-2.5.1, composer-2.3.0-airflow-2.4.3.

CloudComposerEnvironmentSensor

Rimosso nella versione 11.0.0.

Versioni: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

CloudComposerCreateEnvironmentOperator, CloudComposerDeleteEnvironmentOperator, CloudComposerUpdateEnvironmentOperator

Disponibile nella versione 8.13.0.

Versioni: composer-3-*, composer-2.3.0-airflow-2.5.1, composer-2.3.0-airflow-2.4.3.

GCSObjectExistenceAsyncSensor

Rimosso nella versione 11.0.0.

Versioni: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GCSObjectExistenceSensor

Disponibile nella versione 8.12.0.

Versioni: composer-3-*, composer-2.3.0-airflow-2.5.1, composer-2.3.0-airflow-2.4.3.

GoogleAnalyticsHook

Rimosso nella versione 11.0.0.

Versioni: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GoogleAnalyticsAdminHook

Disponibile nella versione 8.14.0.

Versioni: composer-3-*, composer-2.3.0-airflow-2.5.1, composer-2.3.0-airflow-2.4.3.

GoogleAnalyticsListAccountsOperator

Rimosso nella versione 11.0.0.

Versioni: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GoogleAnalyticsAdminListAccountsOperator

Disponibile nella versione 8.14.0.

Versioni: composer-3-*, composer-2.3.0-airflow-2.5.1, composer-2.3.0-airflow-2.4.3.

GoogleAnalyticsGetAdsLinkOperator

Rimosso nella versione 11.0.0.

Versioni: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GoogleAnalyticsAdminGetGoogleAdsLinkOperator

Disponibile nella versione 8.14.0.

Versioni: composer-3-*, composer-2.3.0-airflow-2.5.1, composer-2.3.0-airflow-2.4.3.

GoogleAnalyticsRetrieveAdsLinksListOperator

Rimosso nella versione 11.0.0.

Versioni: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GoogleAnalyticsAdminListGoogleAdsLinksOperator

Disponibile nella versione 8.14.0.

Versioni: composer-3-*, composer-2.3.0-airflow-2.5.1, composer-2.3.0-airflow-2.4.3.

GoogleAnalyticsDataImportUploadOperator

Rimosso nella versione 11.0.0.

Versioni: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GoogleAnalyticsAdminCreateDataStreamOperator

Disponibile nella versione 8.14.0.

Versioni: composer-3-*, composer-2.3.0-airflow-2.5.1, composer-2.3.0-airflow-2.4.3.

GoogleAnalyticsDeletePreviousDataUploadsOperator

Rimosso nella versione 11.0.0.

Versioni: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GoogleAnalyticsAdminDeleteDataStreamOperator

Disponibile nella versione 8.14.0.

Versioni: composer-3-*, composer-2.3.0-airflow-2.5.1, composer-2.3.0-airflow-2.4.3.

DataPipelineHook

Rimossa nella versione 12.0.0.

Versioni: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

DataflowHook

Disponibile nella versione 10.20.0.

Versioni: composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3.

CreateDataPipelineOperator

Rimossa nella versione 12.0.0.

Versioni: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

DataflowCreatePipelineOperator

Disponibile nella versione 10.20.0.

Versioni: composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3.

RunDataPipelineOperator

Rimossa nella versione 12.0.0.

Versioni: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

DataflowRunPipelineOperator

Disponibile nella versione 10.20.0.

Versioni: composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3.

AutoMLBatchPredictOperator

Rimossa nella versione 13.0.0.

Versioni: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

vertex_ai.batch_prediction_job

Disponibile nella versione 10.24.0.

Versioni: composer-3-airflow-2.9.3-build.4, composer-2.9.8-airflow-2.9.3.

PromptLanguageModelOperator

Rimossa nella versione 13.0.0.

Versioni: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

TextGenerationModelPredictOperator

Disponibile nella versione 10.21.0.

Versioni: composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3.

GenerateTextEmbeddingsOperator

Rimossa nella versione 13.0.0.

Versioni: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

TextEmbeddingModelGetEmbeddingsOperator

Disponibile nella versione 10.21.0.

Versioni: composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3.

PromptMultimodalModelOperator

Rimossa nella versione 13.0.0.

Versioni: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GenerativeModelGenerateContentOperator

Disponibile nella versione 10.21.0.

Versioni: composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3.

PromptMultimodalModelWithMediaOperator

Rimossa nella versione 13.0.0.

Versioni: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GenerativeModelGenerateContentOperator

Disponibile nella versione 10.21.0.

Versioni: composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3.

DataflowStartSqlJobOperator

Rimossa nella versione 13.0.0.

Versioni: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

DataflowStartYamlJobOperator

Disponibile nella versione 10.23.0.

Versioni: composer-3-airflow-2.9.3-build.1, composer-3-airflow-2.9.1-build.8, composer-2.9.5-airflow-2.9.3, composer-2.9.5-airflow-2.9.1.

DataprocScaleClusterOperator

Rimosso nella versione 15.0.0.

Versioni: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

DataprocUpdateClusterOperator

Disponibile nella versione 15.0.0.

Versioni: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

MLEngineStartBatchPredictionJobOperator

Rimosso nella versione 15.0.0.

Versioni: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

CreateBatchPredictionJobOperator

Disponibile nella versione 15.0.0.

Versioni: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

MLEngineManageModelOperator

Rimosso nella versione 15.0.0.

Versioni: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

MLEngineCreateModelOperator, MLEngineGetModelOperator

Disponibile nella versione 15.0.0.

Versioni: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

MLEngineGetModelOperator

Rimosso nella versione 15.0.0.

Versioni: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

GetModelOperator

Disponibile nella versione 15.0.0.

Versioni: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

MLEngineDeleteModelOperator

Rimosso nella versione 15.0.0.

Versioni: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

DeleteModelOperator

Disponibile nella versione 15.0.0.

Versioni: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

MLEngineManageVersionOperator

Rimosso nella versione 15.0.0.

Versioni: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

MLEngineCreateVersion, MLEngineSetDefaultVersion, MLEngineListVersions, MLEngineDeleteVersion

Disponibile nella versione 15.0.0.

Versioni: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

MLEngineCreateVersionOperator

Rimosso nella versione 15.0.0.

Versioni: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

Parametro parent_model per gli operatori VertexAI

Disponibile nella versione 15.0.0.

Versioni: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

MLEngineSetDefaultVersionOperator

Rimosso nella versione 15.0.0.

Versioni: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

SetDefaultVersionOnModelOperator

Disponibile nella versione 15.0.0.

Versioni: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

MLEngineListVersionsOperator

Rimosso nella versione 15.0.0.

Versioni: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

ListModelVersionsOperator

Disponibile nella versione 15.0.0.

Versioni: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

MLEngineDeleteVersionOperator

Rimosso nella versione 15.0.0.

Versioni: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

DeleteModelVersionOperator

Disponibile nella versione 15.0.0.

Versioni: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

MLEngineStartTrainingJobOperator

Rimosso nella versione 15.0.0.

Versioni: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

CreateCustomPythonPackageTrainingJobOperator

Disponibile nella versione 15.0.0.

Versioni: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

MLEngineTrainingCancelJobOperator

Rimosso nella versione 15.0.0.

Versioni: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

CancelCustomTrainingJobOperator

Disponibile nella versione 15.0.0.

Versioni: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

AutoMLDatasetLink

Rimosso nella versione 16.0.0.

Versioni: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

TranslationLegacyDatasetLink

Disponibile nella versione 10.19.0.

Versioni: composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3.

AutoMLDatasetListLink

Rimosso nella versione 16.0.0.

Versioni: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

TranslationDatasetListLink

Disponibile nella versione 10.19.0.

Versioni: composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3.

AutoMLModelLink

Rimosso nella versione 16.0.0.

Versioni: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

TranslationLegacyModelLink

Disponibile nella versione 10.19.0.

Versioni: composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3.

AutoMLModelTrainLink

Rimosso nella versione 16.0.0.

Versioni: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

TranslationLegacyModelTrainLink

Disponibile nella versione 10.19.0.

Versioni: composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3.

AutoMLModelPredictLink

Rimosso nella versione 16.0.0.

Versioni: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

TranslationLegacyModelPredictLink

Disponibile nella versione 10.19.0.

Versioni: composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3.

TextGenerationModelPredictOperator

Rimosso nella versione 16.0.0.

Versioni: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

GenerativeModelGenerateContentOperator

Disponibile nella versione 16.0.0.

Versioni: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

LifeSciencesHook

Rimosso nella versione 17.0.0.

Versioni: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

Hook degli operatori batch di Google Cloud

Disponibile nella versione 17.0.0.

Versioni: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

LifeSciencesLink

Rimosso nella versione 17.0.0.

Versioni: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

Nessuna sostituzione (API ritirata)

LifeSciencesRunPipelineOperator

Rimosso nella versione 17.0.0.

Versioni: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

Operatori batch di Google Cloud

Disponibile nella versione 17.0.0.

Versioni: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

BigQueryCreateEmptyTableOperator

Rimosso nella versione 17.0.0.

Versioni: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

BigQueryCreateTableOperator

Disponibile nella versione 17.0.0.

Versioni: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

BigQueryCreateExternalTableOperator

Rimosso nella versione 17.0.0.

Versioni: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

BigQueryCreateTableOperator

Disponibile nella versione 17.0.0.

Versioni: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

GoogleDisplayVideo360CreateQueryOperator

Rimossa nella versione 18.0.0.

Versioni: composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17, composer-2.15.0-airflow-2.10.5.

display_video.GoogleDisplayVideo360CreateSDFDownloadTaskOperator

Disponibile nella versione 18.0.0.

Versioni: composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17, composer-2.15.0-airflow-2.10.5.

GoogleDisplayVideo360RunQueryOperator

Rimossa nella versione 18.0.0.

Versioni: composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17, composer-2.15.0-airflow-2.10.5.

display_video.GoogleDisplayVideo360CreateSDFDownloadTaskOperator

Disponibile nella versione 18.0.0.

Versioni: composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17, composer-2.15.0-airflow-2.10.5.

GoogleDisplayVideo360DeleteReportOperator

Rimossa nella versione 18.0.0.

Versioni: composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17, composer-2.15.0-airflow-2.10.5.

Attività di esportazione SDF nella v4 dell'API

Disponibile nella versione 18.0.0.

Versioni: composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17, composer-2.15.0-airflow-2.10.5.

GoogleDisplayVideo360DownloadReportV2Operator

Rimossa nella versione 18.0.0.

Versioni: composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17, composer-2.15.0-airflow-2.10.5.

display_video.GoogleDisplayVideo360SDFtoGCSOperator

Disponibile nella versione 18.0.0.

Versioni: composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17, composer-2.15.0-airflow-2.10.5.

GoogleDisplayVideo360DownloadLineItemsOperator

Rimossa nella versione 18.0.0.

Versioni: composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17, composer-2.15.0-airflow-2.10.5.

display_video.GoogleDisplayVideo360CreateSDFDownloadTaskOperator

Disponibile nella versione 18.0.0.

Versioni: composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17, composer-2.15.0-airflow-2.10.5.

GoogleDisplayVideo360UploadLineItemsOperator

Rimossa nella versione 18.0.0.

Versioni: composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17, composer-2.15.0-airflow-2.10.5.

display_video.GoogleDisplayVideo360SDFtoGCSOperator

Disponibile nella versione 18.0.0.

Versioni: composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17, composer-2.15.0-airflow-2.10.5.

GoogleDisplayVideo360RunQuerySensor

Rimossa nella versione 18.0.0.

Versioni: composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17, composer-2.15.0-airflow-2.10.5.

Attività di esportazione SDF nella v4 dell'API

Disponibile nella versione 18.0.0.

Versioni: composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17, composer-2.15.0-airflow-2.10.5.

AutoMLPredictOperator

Rimossa nella versione 19.0.0.

Versioni: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

TextGenerationModelPredictOperator, TranslateTextOperator

Disponibile nella versione 19.0.0.

Versioni: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

CloudAutoMLHook

Rimossa nella versione 19.0.0.

Versioni: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

vertex_ai.auto_ml.AutoMLHook, translate.TranslateHook

Disponibile nella versione 19.0.0.

Versioni: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

AutoMLCreateDatasetOperator

Rimossa nella versione 19.0.0.

Versioni: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

vertex_ai.dataset.CreateDatasetOperator, translate.TranslateCreateDatasetOperator

Disponibile nella versione 19.0.0.

Versioni: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

AutoMLDeleteDatasetOperator

Rimossa nella versione 19.0.0.

Versioni: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

vertex_ai.dataset.ListDatasetsOperator, translate.TranslateDatasetsListOperator

Disponibile nella versione 19.0.0.

Versioni: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

AutoMLDeleteModelOperator

Rimossa nella versione 19.0.0.

Versioni: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

vertex_ai.model_service.DeleteModelOperator, translate.TranslateDeleteModelOperator

Disponibile nella versione 19.0.0.

Versioni: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

AutoMLDeployModelOperator

Rimossa nella versione 19.0.0.

Versioni: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

vertex_ai.endpoint_service.DeployModelOperator

Disponibile nella versione 19.0.0.

Versioni: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

AutoMLGetModelOperator

Rimossa nella versione 19.0.0.

Versioni: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

vertex_ai.model_service.GetModelOperator

Disponibile nella versione 19.0.0.

Versioni: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

AutoMLImportDataOperator

Rimossa nella versione 19.0.0.

Versioni: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

vertex_ai.dataset.ImportDataOperator, translate.TranslateImportDataOperator

Disponibile nella versione 19.0.0.

Versioni: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

AutoMLListDatasetOperator

Rimossa nella versione 19.0.0.

Versioni: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

vertex_ai.dataset.ListDatasetsOperator, translate.TranslateDatasetsListOperator

Disponibile nella versione 19.0.0.

Versioni: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

AutoMLTablesListColumnSpecsOperator

Rimossa nella versione 19.0.0.

Versioni: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

Nessuna sostituzione (versione legacy di AutoML Tables chiusa)

AutoMLTablesListTableSpecsOperator

Rimossa nella versione 19.0.0.

Versioni: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

Nessuna sostituzione (versione legacy di AutoML Tables chiusa)

AutoMLTablesUpdateDatasetOperator

Rimossa nella versione 19.0.0.

Versioni: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

vertex_ai.dataset.UpdateDatasetOperator

Disponibile nella versione 19.0.0.

Versioni: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

AutoMLTrainModelOperator

Rimossa nella versione 19.0.0.

Versioni: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

vertex_ai.auto_ml.CreateAutoMLTabularTrainingJobOperator, CreateAutoMLVideoTrainingJobOperator, CreateAutoMLImageTrainingJobOperator, SupervisedFineTuningTrainOperator, TranslateCreateModelOperator

Disponibile nella versione 19.0.0.

Versioni: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

MLEngineCreateModelOperator

Rimossa nella versione 19.0.0.

Versioni: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

operatore VertexAI corrispondente

Disponibile nella versione 19.0.0.

Versioni: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

DataCatalogEntryGroupLink

Deprecata nella versione 16.1.0.

Versioni: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogEntryGroupLink

Disponibile nella versione 21.0.0.

Versioni: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

DataCatalogEntryLink

Deprecata nella versione 16.1.0.

Versioni: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogEntryLink

Disponibile nella versione 21.0.0.

Versioni: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

DataCatalogTagTemplateLink

Deprecata nella versione 16.1.0.

Versioni: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogAspectTypeLink

Disponibile nella versione 21.0.0.

Versioni: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogCreateEntryOperator

Deprecata nella versione 16.1.0.

Versioni: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogCreateEntryOperator

Disponibile nella versione 21.0.0.

Versioni: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogCreateEntryGroupOperator

Deprecata nella versione 16.1.0.

Versioni: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogCreateEntryGroupOperator

Disponibile nella versione 21.0.0.

Versioni: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogCreateTagOperator

Deprecata nella versione 16.1.0.

Versioni: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogCreateEntryOperator, DataplexCatalogUpdateEntryOperator

Disponibile nella versione 21.0.0.

Versioni: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogCreateTagTemplateOperator

Deprecata nella versione 16.1.0.

Versioni: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogCreateAspectTypeOperator

Disponibile nella versione 21.0.0.

Versioni: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogCreateTagTemplateFieldOperator

Deprecata nella versione 16.1.0.

Versioni: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogUpdateAspectTypeOperator, DataplexCatalogCreateAspectTypeOperator

Disponibile nella versione 21.0.0.

Versioni: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogDeleteEntryGroupOperator

Deprecata nella versione 16.1.0.

Versioni: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogDeleteEntryGroupOperator

Disponibile nella versione 21.0.0.

Versioni: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogDeleteTagOperator

Deprecata nella versione 16.1.0.

Versioni: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogUpdateEntryOperator

Disponibile nella versione 21.0.0.

Versioni: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogDeleteTagTemplateOperator

Deprecata nella versione 16.1.0.

Versioni: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogDeleteAspectTypeOperator

Disponibile nella versione 21.0.0.

Versioni: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogDeleteTagTemplateFieldOperator

Deprecata nella versione 16.1.0.

Versioni: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogUpdateAspectTypeOperator

Disponibile nella versione 21.0.0.

Versioni: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogGetEntryOperator

Deprecata nella versione 16.1.0.

Versioni: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogGetEntryOperator

Disponibile nella versione 21.0.0.

Versioni: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogGetEntryGroupOperator

Deprecata nella versione 16.1.0.

Versioni: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogGetEntryGroupOperator

Disponibile nella versione 21.0.0.

Versioni: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogGetTagTemplateOperator

Deprecata nella versione 16.1.0.

Versioni: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogGetAspectTypeOperator

Disponibile nella versione 21.0.0.

Versioni: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogListTagsOperator

Deprecata nella versione 16.1.0.

Versioni: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogGetEntryOperator

Disponibile nella versione 21.0.0.

Versioni: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogLookupEntryOperator

Deprecata nella versione 16.1.0.

Versioni: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogLookupEntryOperator

Disponibile nella versione 21.0.0.

Versioni: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogRenameTagTemplateFieldOperator

Deprecata nella versione 16.1.0.

Versioni: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogUpdateAspectTypeOperator

Disponibile nella versione 21.0.0.

Versioni: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogSearchCatalogOperator

Deprecata nella versione 16.1.0.

Versioni: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogSearchEntriesOperator

Disponibile nella versione 21.0.0.

Versioni: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogUpdateEntryOperator

Deprecata nella versione 16.1.0.

Versioni: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogUpdateEntryOperator

Disponibile nella versione 21.0.0.

Versioni: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogUpdateTagOperator

Deprecata nella versione 16.1.0.

Versioni: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogUpdateEntryOperator

Disponibile nella versione 21.0.0.

Versioni: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogUpdateTagTemplateOperator

Deprecata nella versione 16.1.0.

Versioni: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogUpdateAspectTypeOperator

Disponibile nella versione 21.0.0.

Versioni: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogUpdateTagTemplateFieldOperator

Deprecata nella versione 16.1.0.

Versioni: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogUpdateAspectTypeOperator

Disponibile nella versione 21.0.0.

Versioni: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogHook

Deprecata nella versione 16.1.0.

Versioni: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexHook

Disponibile nella versione 21.0.0.

Versioni: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

TextEmbeddingModelGetEmbeddingsOperator

Deprecata nella versione 18.1.0.

Versioni: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

GenAIGenerateEmbeddingsOperator

Disponibile nella versione 21.0.0.

Versioni: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

GenerativeModelGenerateContentOperator

Deprecata nella versione 18.1.0.

Versioni: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

GenAIGenerateContentOperator

Disponibile nella versione 21.0.0.

Versioni: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

SupervisedFineTuningTrainOperator

Deprecata nella versione 18.1.0.

Versioni: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

GenAISupervisedFineTuningTrainOperator

Disponibile nella versione 21.0.0.

Versioni: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CountTokensOperator

Deprecata nella versione 18.1.0.

Versioni: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

GenAICountTokensOperator

Disponibile nella versione 21.0.0.

Versioni: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CreateCachedContentOperator

Deprecata nella versione 18.1.0.

Versioni: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

GenAICreateCachedContentOperator

Disponibile nella versione 21.0.0.

Versioni: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

GenerateFromCachedContentOperator

Deprecata nella versione 18.1.0.

Versioni: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

GenAIGenerateContentOperator

Disponibile nella versione 21.0.0.

Versioni: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

DeleteExperimentRunOperator

Deprecata nella versione 18.1.0.

Versioni: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

DeleteExperimentRunOperator

Disponibile nella versione 21.0.0.

Versioni: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

TranslationLegacyModelLink

Rimossa nella versione 19.0.0.

Versioni: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

TranslationModelLink

Disponibile nella versione 16.0.0.

Versioni: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

TranslationDatasetListLink

Rimossa nella versione 19.0.0.

Versioni: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

TranslationDatasetsListLink

Disponibile nella versione 16.0.0.

Versioni: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

TranslationLegacyDatasetLink

Rimossa nella versione 19.0.0.

Versioni: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

TranslationDatasetsListLink

Disponibile nella versione 16.0.0.

Versioni: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

TranslationLegacyModelTrainLink

Rimossa nella versione 19.0.0.

Versioni: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

TranslationModelsListLink

Disponibile nella versione 16.0.0.

Versioni: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

Passaggi successivi