Gravar DAGs do Airflow

Airflow gerenciado (Geração 3) | Airflow gerenciado (Geração 2) | Airflow gerenciado (Geração 1 legada)

Neste guia, você aprende a escrever um gráfico acíclico dirigido (DAG, na sigla em inglês) do Apache Airflow que é executado em um ambiente do Serviço gerenciado para Apache Airflow.

Como o Apache Airflow não oferece isolamento forte de DAGs e tarefas, recomendamos que você use ambientes de produção e teste separados para evitar a interferência de DAGs. Para mais informações, consulte Como testar DAGs.

Como estruturar um DAG do Airflow

Um DAG do Airflow é definido em um arquivo Python e composto pelos seguintes componentes:

  • Definição de DAG
  • Operadores do Airflow
  • Relações com operadores

Nos snippets de código a seguir, você vê exemplos de cada elemento fora de contexto.

Uma definição de DAG

O exemplo a seguir demonstra uma definição de DAG do Airflow:

import datetime

from airflow import models

default_dag_args = {
    # The start_date describes when a DAG is valid / can be run. Set this to a
    # fixed point in time rather than dynamically, since it is evaluated every
    # time a DAG is parsed. See:
    # https://airflow.apache.org/faq.html#what-s-the-deal-with-start-date
    "start_date": datetime.datetime(2018, 1, 1),
}

# Define a DAG (directed acyclic graph) of tasks.
# Any task you create within the context manager is automatically added to the
# DAG object.
with models.DAG(
    "composer_sample_simple_greeting",
    schedule_interval=datetime.timedelta(days=1),
    default_args=default_dag_args,
) as dag:

Operadores e tarefas

Os operadores do Airflow descrevem o trabalho a ser feito. Uma tarefa task é uma instância específica de um operador.

from airflow.operators.bash import BashOperator
from airflow.operators.python import PythonOperator

    def greeting():
        import logging

        logging.info("Hello World!")

    # An instance of an operator is called a task. In this case, the
    # hello_python task calls the "greeting" Python function.
    hello_python = PythonOperator(task_id="hello", python_callable=greeting)

    # Likewise, the goodbye_bash task calls a Bash script.
    goodbye_bash = BashOperator(task_id="bye", bash_command="echo Goodbye.")

Relações entre tarefas

As relações de tarefa descrevem a ordem em que o trabalho deve ser concluído.

# Define the order in which the tasks complete by using the >> and <<
# operators. In this example, hello_python executes before goodbye_bash.
hello_python >> goodbye_bash

Exemplo completo de fluxo de trabalho de DAG em Python

O fluxo de trabalho a seguir é um modelo de DAG completo que consiste em duas tarefas: uma hello_python e uma goodbye_bash:


import datetime

from airflow import models

from airflow.operators.bash import BashOperator
from airflow.operators.python import PythonOperator



default_dag_args = {
    # The start_date describes when a DAG is valid / can be run. Set this to a
    # fixed point in time rather than dynamically, since it is evaluated every
    # time a DAG is parsed. See:
    # https://airflow.apache.org/faq.html#what-s-the-deal-with-start-date
    "start_date": datetime.datetime(2018, 1, 1),
}

# Define a DAG (directed acyclic graph) of tasks.
# Any task you create within the context manager is automatically added to the
# DAG object.
with models.DAG(
    "composer_sample_simple_greeting",
    schedule_interval=datetime.timedelta(days=1),
    default_args=default_dag_args,
) as dag:
    def greeting():
        import logging

        logging.info("Hello World!")

    # An instance of an operator is called a task. In this case, the
    # hello_python task calls the "greeting" Python function.
    hello_python = PythonOperator(task_id="hello", python_callable=greeting)

    # Likewise, the goodbye_bash task calls a Bash script.
    goodbye_bash = BashOperator(task_id="bye", bash_command="echo Goodbye.")

    # Define the order in which the tasks complete by using the >> and <<
    # operators. In this example, hello_python executes before goodbye_bash.
    hello_python >> goodbye_bash

Para mais informações sobre a definição de DAGs do Airflow, consulte o tutorial do Airflow e os conceitos do Airflow.

Operadores do Airflow

Nos exemplos a seguir, você vê alguns operadores conhecidos do Airflow. Para ter uma referência autoritativa dos operadores do Airflow, consulte a Referência de operadores e hooks e o Índice de provedores.

BashOperator

Use o BashOperator para executar programas da linha de comando.

from airflow.operators import bash

    # Create BigQuery output dataset.
    make_bq_dataset = bash.BashOperator(
        task_id="make_bq_dataset",
        # Executing 'bq' command requires Google Cloud SDK which comes
        # preinstalled in Cloud Composer.
        bash_command=f"bq ls {bq_dataset_name} || bq mk {bq_dataset_name}",
    )

O Airflow Gerenciado executa os comandos fornecidos em um script Bash em um worker do Airflow. O worker é um contêiner do Docker baseado no Debian e inclui vários pacotes.

PythonOperator

Use o PythonOperator para executar o código arbitrário do Python.

O Airflow gerenciado executa o código Python em um contêiner que inclui pacotes da versão de imagem do Airflow gerenciado usada no seu ambiente.

Para instalar mais pacotes Python, consulte Como instalar dependências do Python.

OperadoresGoogle Cloud

Para executar tarefas que usam produtos do Google Cloud , use os operadores doGoogle Cloud Airflow. Por exemplo, os operadores do BigQuery consultam e processam dados no BigQuery.

Há muitos outros operadores do Airflow para Google Cloud e serviços individuais fornecidos por Google Cloud. Consulte a lista completa em Operadores deGoogle Cloud .

from airflow.providers.google.cloud.operators import bigquery
from airflow.providers.google.cloud.transfers import bigquery_to_gcs

    bq_recent_questions_query = bigquery.BigQueryInsertJobOperator(
        task_id="bq_recent_questions_query",
        configuration={
            "query": {
                "query": RECENT_QUESTIONS_QUERY,
                "useLegacySql": False,
                "destinationTable": {
                    "projectId": project_id,
                    "datasetId": bq_dataset_name,
                    "tableId": bq_recent_questions_table_id,
                },
            }
        },
        location=location,
    )

EmailOperator

Use o EmailOperator para enviar e-mails de um DAG. Para enviar e-mails de um ambiente do Airflow Gerenciado, configure o ambiente para usar o SendGrid.

from airflow.operators import email

    # Send email confirmation (you will need to set up the email operator
    # See https://cloud.google.com/composer/docs/how-to/managing/creating#notification
    # for more info on configuring the email operator in Cloud Composer)
    email_summary = email.EmailOperator(
        task_id="email_summary",
        to="{{var.value.email}}",
        subject="Sample BigQuery notify data ready",
        html_content="""
        Analyzed Stack Overflow posts data from {min_date} 12AM to {max_date}
        12AM. The most popular question was '{question_title}' with
        {view_count} views. Top 100 questions asked are now available at:
        {export_location}.
        """.format(
            min_date=min_query_date,
            max_date=max_query_date,
            question_title=(
                "{{ ti.xcom_pull(task_ids='bq_read_most_popular', "
                "key='return_value')[0][0] }}"
            ),
            view_count=(
                "{{ ti.xcom_pull(task_ids='bq_read_most_popular', "
                "key='return_value')[0][1] }}"
            ),
            export_location=output_file,
        ),
    )

Notificações sobre falhas do operador

Defina email_on_failure como True para enviar uma notificação por e-mail quando um operador no DAG falhar. Para enviar notificações por e-mail de um ambiente do Airflow Gerenciado, você precisa configurar o ambiente para usar o SendGrid.

from airflow import models

default_dag_args = {
    "start_date": yesterday,
    # Email whenever an Operator in the DAG fails.
    "email": "{{var.value.email}}",
    "email_on_failure": True,
    "email_on_retry": False,
    "retries": 1,
    "retry_delay": datetime.timedelta(minutes=5),
    "project_id": project_id,
}

with models.DAG(
    "composer_sample_bq_notify",
    schedule_interval=datetime.timedelta(weeks=4),
    default_args=default_dag_args,
) as dag:

Diretrizes de fluxo de trabalho de DAG

  • Coloque as bibliotecas Python personalizadas em um arquivo ZIP do DAG em um diretório aninhado. Não inclua bibliotecas no nível superior do diretório de DAGs.

    Quando o Airflow verifica a pasta dags/, ele só procura DAGs em módulos Python que estão no nível superior da pasta DAGs e no nível superior de um arquivo ZIP também localizado na pasta de nível superior dags/. Se o Airflow encontrar um módulo Python em um arquivo ZIP que não contenha as substrings airflow e DAG, ele interromperá o processamento do arquivo ZIP. O Airflow retorna apenas os DAGs encontrados até esse ponto.

  • Para ter tolerância a falhas, não defina vários objetos de DAG no mesmo módulo do Python.

  • Não use SubDAGs. Em vez disso, agrupe tarefas dentro de DAGs.

  • Coloque os arquivos necessários para a análise do DAG na pasta dags/, e não na data/.

  • Implemente testes de unidade para seus DAGs.

  • Teste os DAGs desenvolvidos ou modificados conforme recomendado nas instruções para testar DAGs.

  • Verifique se os DAGs desenvolvidos não aumentam muito os tempos de análise de DAG.

  • As tarefas do Airflow podem falhar por vários motivos. Para evitar falhas em execuções completas de DAGs, recomendamos ativar as novas tentativas de tarefas. Definir o número máximo de novas tentativas como 0 significa que nenhuma nova tentativa será realizada.

    Recomendamos substituir a opção default_task_retries com um valor para as novas tentativas de tarefa diferente de 0. Além disso, é possível definir o parâmetro retries no nível da tarefa.

  • Se você quiser usar GPUs nas suas tarefas do Airflow, crie um cluster do GKE separado com base em nós que usam máquinas com GPUs. Use o GKEStartPodOperator para executar suas tarefas.

  • Evite executar tarefas pesadas de CPU e memória no pool de nós do cluster em que outros componentes do Airflow (programadores, workers, servidores da Web) estão em execução. Em vez disso, use KubernetesPodOperator ou GKEStartPodOperator.

  • Ao implantar DAGs em um ambiente, faça upload apenas dos arquivos absolutamente necessários para interpretar e executar DAGs na pasta /dags.

  • Limite o número de arquivos DAG na pasta /dags.

    O Airflow está analisando continuamente os DAGs na pasta /dags. A análise é um processo que faz um loop na pasta DAGs, e o número de arquivos que precisam ser carregados (com as dependências) afeta o desempenho da análise de DAG e do agendamento de tarefas. É muito mais eficiente usar 100 arquivos com 100 DAGs cada do que 10.000 arquivos com 1 DAG cada. Por isso, recomendamos essa otimização. Essa otimização é um equilíbrio entre o tempo de análise e a eficiência da criação e do gerenciamento de DAGs.

    Por exemplo, para implantar 10.000 arquivos DAG, você pode criar 100 arquivos ZIP, cada um contendo 100 arquivos DAG.

    Além das dicas acima, se você tiver mais de 10.000 arquivos DAG, gerar DAGs de maneira programática pode ser uma boa opção. Por exemplo, é possível implementar um único arquivo DAG do Python que gera um número de objetos DAG (por exemplo, 20 ou 100).

  • Evite usar operadores do Airflow descontinuados. Em vez disso, use as alternativas atualizadas.

  • Evite usar CloudLoggingHandler para processar registros. Esse manipulador de registros causa a sobrecarga do banco de dados do ambiente e falhas subsequentes de DAG com os erros "o servidor fechou a conexão inesperadamente".

Perguntas frequentes sobre como escrever DAGs

Como diminuir a repetição de código para executar tarefas iguais ou semelhantes em vários DAGs?

Recomendamos definir bibliotecas e wrappers para minimizar a repetição de código.

Como faço para reutilizar código entre arquivos de DAGs?

Coloque as funções de utilitário em uma biblioteca local do Python e importe as funções. É possível referenciar as funções em qualquer DAG localizado na pasta dags/ no bucket do ambiente.

Como diminuo o risco de surgirem diferentes definições?

Por exemplo, tenho duas equipes que querem agregar dados brutos em métricas de receita. Elas escrevem duas tarefas ligeiramente diferentes que fazem a mesma coisa. Defina bibliotecas para trabalhar com os dados de receita. Assim, os implementadores de DAGs precisam esclarecer a definição da receita que está sendo agregada.

Como faço para definir dependências entre DAGs?

Isso depende de como você quer definir a dependência.

Se você tem dois DAGs (DAG A e DAG B) e quer que o DAG B seja acionado após o DAG A, é possível colocar um TriggerDagRunOperator no final do DAG A.

Se o DAG B depender somente de um artefato gerado pelo DAG A, como uma mensagem do Pub/Sub, um sensor funcionará melhor.

Se o DAG B estiver muito integrado ao DAG A, talvez seja possível mesclar os dois em um único DAG.

Como transmito códigos exclusivos de execução para um DAG e às tarefas dele?

Por exemplo, quero transmitir caminhos de arquivo e nomes de cluster do Dataproc.

É possível retornar str(uuid.uuid4()) em PythonOperator para gerar um ID exclusivo aleatório. Isso coloca o ID em XComs para que você possa consultá-lo em outros operadores por meio de campos com modelo.

Antes de gerar um uuid, considere se um ID específico do DagRun seria mais importante. Também é possível referenciar esses IDs nas substituições por meio de macros.

Como separar tarefas em um DAG?

Cada tarefa precisa ser uma unidade de trabalho idempotente. Consequentemente, evite encapsular um fluxo de trabalho de várias etapas em uma única tarefa, como um programa complexo em execução em um PythonOperator.

É recomendado definir várias tarefas em um único DAG para agregar dados de várias origens?

Por exemplo, tenho várias tabelas com dados brutos e quero criar agregações diárias para cada uma delas. As tarefas não são dependentes entre si. Preciso criar uma tarefa e um DAG para cada tabela ou gerar um DAG geral?

Se estiver tudo bem para você que cada tarefa tenha as mesmas propriedades no nível do DAG, como schedule, defina várias tarefas em um único DAG. Caso contrário, para diminuir a repetição de código, é possível gerar muitos DAGs em um único módulo Python. Basta colocá-los nos globals() do módulo.

Como limitar o número de tarefas simultâneas em execução em um DAG?

Por exemplo, quero evitar exceder os limites/cotas de uso da API ou impedir a execução de muitos processos simultâneos.

É possível definir pools do Airflow na UI da Web do Airflow e associar tarefas a pools atuais nos DAGs.

Perguntas frequentes sobre o uso de operadores

Devo usar DockerOperator?

Não recomendamos o uso de DockerOperator, a menos que ele seja usado para iniciar contêineres em uma instalação remota do Docker (ou seja, em nenhum lugar do cluster de um ambiente). Em um ambiente do Airflow gerenciado, o operador não tem acesso aos daemons do Docker.

Em vez disso, use KubernetesPodOperator ou GKEStartPodOperator. Esses operadores iniciam pods do Kubernetes em clusters do Kubernetes ou do GKE, respectivamente. Note that we don't recommend launching pods into an environment's cluster, because this can lead to resource competition.

Devo usar SubDagOperator?

Não recomendamos o uso de SubDagOperator.

Use alternativas conforme sugerido em Agrupamento de tarefas.

Posso executar o código do Python somente em PythonOperators para separar completamente os operadores Python?

Dependendo do seu objetivo, você tem algumas opções.

Se a única preocupação for manter dependências separadas do Python, use PythonVirtualenvOperator.

Considere usar KubernetesPodOperator. Esse operador permite definir pods do Kubernetes e executá-los em outros clusters.

Como adiciono pacotes personalizados não PyPI ou binários?

É possível instalar pacotes hospedados em repositórios de pacotes particulares.

Como faço para transmitir argumentos uniformemente para um DAG e as tarefas dele?

Use o suporte integrado do Airflow para modelos Jinja para transmitir argumentos que podem ser usados em campos com modelo.

Quando ocorre a substituição do modelo?

A substituição de modelo ocorre nos workers do Airflow pouco antes da função pre_execute de um operador ser chamada. Na prática, isso significa que os modelos não são substituídos até um pouco antes de uma tarefa ser executada.

Como sei quais argumentos do operador são compatíveis com a substituição do modelo?

Os argumentos do operador que são compatíveis com a substituição do modelo Jinja2 são explicitamente marcados como tal.

Procure o campo template_fields na definição do operador, que contém uma lista de nomes de argumentos que passam por substituição de modelo.

Por exemplo, consulte o BashOperator, que é compatível com modelos para os argumentos bash_command e env.

Operadores do Airflow descontinuados e removidos

Os operadores do Airflow listados na tabela a seguir estão obsoletos:

  • Evite usar estes operadores nos seus DAGs. Em vez disso, use operadores de substituição atualizados.

  • Se um operador estiver listado como removido, ele já estará indisponível em uma das builds lançadas do Airflow no Airflow gerenciado (Geração 3).

  • Se um operador estiver listado como descontinuado, ele será descontinuado e removido em uma versão futura do Airflow.

Operador descontinuado Operador de substituição

GCSObjectsWtihPrefixExistenceSensor

Removido na versão 7.0.0.

Versões: composer-3-*, composer-2.0.28-airflow-2.3.3.

GCSObjectsWithPrefixExistenceSensor

Disponível na versão 2.0.0.

Versões: composer-3-*, composer-2-*.

CreateAutoMLTextTrainingJobOperator

Removido na versão 11.0.0.

Versões: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

SupervisedFineTuningTrainOperator

Disponível na versão 10.23.0.

Versões: composer-3-airflow-2.9.3-build.1, composer-3-airflow-2.9.1-build.8, composer-2.9.5-airflow-2.9.3, composer-2.9.5-airflow-2.9.1.

GKEDeploymentHook

Removido na versão 11.0.0.

Versões: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GKEKubernetesHook

Disponível na versão 10.17.0.

Versões: composer-3-*, composer-2.7.1-airflow-2.7.3.

GKECustomResourceHook

Removido na versão 11.0.0.

Versões: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GKEKubernetesHook

Disponível na versão 10.17.0.

Versões: composer-3-*, composer-2.7.1-airflow-2.7.3.

GKEPodHook

Removido na versão 11.0.0.

Versões: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GKEKubernetesHook

Disponível na versão 10.17.0.

Versões: composer-3-*, composer-2.7.1-airflow-2.7.3.

GKEJobHook

Removido na versão 11.0.0.

Versões: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GKEKubernetesHook

Disponível na versão 10.17.0.

Versões: composer-3-*, composer-2.7.1-airflow-2.7.3.

GKEPodAsyncHook

Removido na versão 11.0.0.

Versões: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GKEKubernetesAsyncHook

Disponível na versão 10.17.0.

Versões: composer-3-*, composer-2.7.1-airflow-2.7.3.

SecretsManagerHook

Removido na versão 11.0.0.

Versões: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GoogleCloudSecretManagerHook

Disponível na versão 10.18.0.

Versões: composer-3-airflow-2.7.3-build.6, composer-2.8.3-airflow-2.7.3.

BigQueryExecuteQueryOperator

Removido na versão 11.0.0.

Versões: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

BigQueryInsertJobOperator

Disponível na versão 1.0.0.

Versões: composer-3-*, composer-2-*.

BigQueryPatchDatasetOperator

Removido na versão 11.0.0.

Versões: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

BigQueryUpdateDatasetOperator

Disponível na versão 1.0.0.

Versões: composer-3-*, composer-2-*.

DataflowCreateJavaJobOperator

Removido na versão 11.0.0.

Versões: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

beam.BeamRunJavaPipelineOperator

Disponível em apache-airflow-providers-apache-beam==1.0.0.

Versões: composer-3-*, composer-2-*.

DataflowCreatePythonJobOperator

Removido na versão 11.0.0.

Versões: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

beam.BeamRunPythonPipelineOperator

Disponível em apache-airflow-providers-apache-beam==1.0.0.

Versões: composer-3-*, composer-2-*.

DataprocSubmitPigJobOperator

Removido na versão 11.0.0.

Versões: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

DataprocSubmitJobOperator

Disponível na versão 1.0.0.

Versões: composer-3-*, composer-2-*.

DataprocSubmitHiveJobOperator

Removido na versão 11.0.0.

Versões: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

DataprocSubmitJobOperator

Disponível na versão 1.0.0.

Versões: composer-3-*, composer-2-*.

DataprocSubmitSparkSqlJobOperator

Removido na versão 11.0.0.

Versões: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

DataprocSubmitJobOperator

Disponível na versão 1.0.0.

Versões: composer-3-*, composer-2-*.

DataprocSubmitSparkJobOperator

Removido na versão 11.0.0.

Versões: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

DataprocSubmitJobOperator

Disponível na versão 1.0.0.

Versões: composer-3-*, composer-2-*.

DataprocSubmitHadoopJobOperator

Removido na versão 11.0.0.

Versões: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

DataprocSubmitJobOperator

Disponível na versão 1.0.0.

Versões: composer-3-*, composer-2-*.

DataprocSubmitPySparkJobOperator

Removido na versão 11.0.0.

Versões: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

DataprocSubmitJobOperator

Disponível na versão 1.0.0.

Versões: composer-3-*, composer-2-*.

BigQueryTableExistenceAsyncSensor

Removido na versão 11.0.0.

Versões: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

BigQueryTableExistenceSensor

Disponível na versão 8.12.0.

Versões: composer-3-*, composer-2.3.0-airflow-2.5.1, composer-2.3.0-airflow-2.4.3.

BigQueryTableExistencePartitionAsyncSensor

Removido na versão 11.0.0.

Versões: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

BigQueryTablePartitionExistenceSensor

Disponível na versão 8.12.0.

Versões: composer-3-*, composer-2.3.0-airflow-2.5.1, composer-2.3.0-airflow-2.4.3.

CloudComposerEnvironmentSensor

Removido na versão 11.0.0.

Versões: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

CloudComposerCreateEnvironmentOperator, CloudComposerDeleteEnvironmentOperator, CloudComposerUpdateEnvironmentOperator

Disponível na versão 8.13.0.

Versões: composer-3-*, composer-2.3.0-airflow-2.5.1, composer-2.3.0-airflow-2.4.3.

GCSObjectExistenceAsyncSensor

Removido na versão 11.0.0.

Versões: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GCSObjectExistenceSensor

Disponível na versão 8.12.0.

Versões: composer-3-*, composer-2.3.0-airflow-2.5.1, composer-2.3.0-airflow-2.4.3.

GoogleAnalyticsHook

Removido na versão 11.0.0.

Versões: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GoogleAnalyticsAdminHook

Disponível na versão 8.14.0.

Versões: composer-3-*, composer-2.3.0-airflow-2.5.1, composer-2.3.0-airflow-2.4.3.

GoogleAnalyticsListAccountsOperator

Removido na versão 11.0.0.

Versões: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GoogleAnalyticsAdminListAccountsOperator

Disponível na versão 8.14.0.

Versões: composer-3-*, composer-2.3.0-airflow-2.5.1, composer-2.3.0-airflow-2.4.3.

GoogleAnalyticsGetAdsLinkOperator

Removido na versão 11.0.0.

Versões: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GoogleAnalyticsAdminGetGoogleAdsLinkOperator

Disponível na versão 8.14.0.

Versões: composer-3-*, composer-2.3.0-airflow-2.5.1, composer-2.3.0-airflow-2.4.3.

GoogleAnalyticsRetrieveAdsLinksListOperator

Removido na versão 11.0.0.

Versões: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GoogleAnalyticsAdminListGoogleAdsLinksOperator

Disponível na versão 8.14.0.

Versões: composer-3-*, composer-2.3.0-airflow-2.5.1, composer-2.3.0-airflow-2.4.3.

GoogleAnalyticsDataImportUploadOperator

Removido na versão 11.0.0.

Versões: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GoogleAnalyticsAdminCreateDataStreamOperator

Disponível na versão 8.14.0.

Versões: composer-3-*, composer-2.3.0-airflow-2.5.1, composer-2.3.0-airflow-2.4.3.

GoogleAnalyticsDeletePreviousDataUploadsOperator

Removido na versão 11.0.0.

Versões: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GoogleAnalyticsAdminDeleteDataStreamOperator

Disponível na versão 8.14.0.

Versões: composer-3-*, composer-2.3.0-airflow-2.5.1, composer-2.3.0-airflow-2.4.3.

DataPipelineHook

Removido na versão 12.0.0.

Versões: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

DataflowHook

Disponível na versão 10.20.0.

Versões: composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3.

CreateDataPipelineOperator

Removido na versão 12.0.0.

Versões: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

DataflowCreatePipelineOperator

Disponível na versão 10.20.0.

Versões: composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3.

RunDataPipelineOperator

Removido na versão 12.0.0.

Versões: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

DataflowRunPipelineOperator

Disponível na versão 10.20.0.

Versões: composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3.

AutoMLBatchPredictOperator

Removido na versão 13.0.0.

Versões: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

vertex_ai.batch_prediction_job

Disponível na versão 10.24.0.

Versões: composer-3-airflow-2.9.3-build.4, composer-2.9.8-airflow-2.9.3.

PromptLanguageModelOperator

Removido na versão 13.0.0.

Versões: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

TextGenerationModelPredictOperator

Disponível na versão 10.21.0.

Versões: composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3.

GenerateTextEmbeddingsOperator

Removido na versão 13.0.0.

Versões: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

TextEmbeddingModelGetEmbeddingsOperator

Disponível na versão 10.21.0.

Versões: composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3.

PromptMultimodalModelOperator

Removido na versão 13.0.0.

Versões: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GenerativeModelGenerateContentOperator

Disponível na versão 10.21.0.

Versões: composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3.

PromptMultimodalModelWithMediaOperator

Removido na versão 13.0.0.

Versões: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GenerativeModelGenerateContentOperator

Disponível na versão 10.21.0.

Versões: composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3.

DataflowStartSqlJobOperator

Removido na versão 13.0.0.

Versões: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

DataflowStartYamlJobOperator

Disponível na versão 10.23.0.

Versões: composer-3-airflow-2.9.3-build.1, composer-3-airflow-2.9.1-build.8, composer-2.9.5-airflow-2.9.3, composer-2.9.5-airflow-2.9.1.

DataprocScaleClusterOperator

Removido na versão 15.0.0.

Versões: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

DataprocUpdateClusterOperator

Disponível na versão 15.0.0.

Versões: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

MLEngineStartBatchPredictionJobOperator

Removido na versão 15.0.0.

Versões: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

CreateBatchPredictionJobOperator

Disponível na versão 15.0.0.

Versões: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

MLEngineManageModelOperator

Removido na versão 15.0.0.

Versões: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

MLEngineCreateModelOperator, MLEngineGetModelOperator

Disponível na versão 15.0.0.

Versões: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

MLEngineGetModelOperator

Removido na versão 15.0.0.

Versões: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

GetModelOperator

Disponível na versão 15.0.0.

Versões: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

MLEngineDeleteModelOperator

Removido na versão 15.0.0.

Versões: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

DeleteModelOperator

Disponível na versão 15.0.0.

Versões: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

MLEngineManageVersionOperator

Removido na versão 15.0.0.

Versões: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

MLEngineCreateVersion, MLEngineSetDefaultVersion, MLEngineListVersions, MLEngineDeleteVersion

Disponível na versão 15.0.0.

Versões: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

MLEngineCreateVersionOperator

Removido na versão 15.0.0.

Versões: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

Parâmetro "parent_model" para operadores da Vertex AI

Disponível na versão 15.0.0.

Versões: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

MLEngineSetDefaultVersionOperator

Removido na versão 15.0.0.

Versões: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

SetDefaultVersionOnModelOperator

Disponível na versão 15.0.0.

Versões: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

MLEngineListVersionsOperator

Removido na versão 15.0.0.

Versões: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

ListModelVersionsOperator

Disponível na versão 15.0.0.

Versões: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

MLEngineDeleteVersionOperator

Removido na versão 15.0.0.

Versões: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

DeleteModelVersionOperator

Disponível na versão 15.0.0.

Versões: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

MLEngineStartTrainingJobOperator

Removido na versão 15.0.0.

Versões: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

CreateCustomPythonPackageTrainingJobOperator

Disponível na versão 15.0.0.

Versões: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

MLEngineTrainingCancelJobOperator

Removido na versão 15.0.0.

Versões: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

CancelCustomTrainingJobOperator

Disponível na versão 15.0.0.

Versões: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

AutoMLDatasetLink

Removido na versão 16.0.0.

Versões: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

TranslationLegacyDatasetLink

Disponível na versão 10.19.0.

Versões: composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3.

AutoMLDatasetListLink

Removido na versão 16.0.0.

Versões: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

TranslationDatasetListLink

Disponível na versão 10.19.0.

Versões: composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3.

AutoMLModelLink

Removido na versão 16.0.0.

Versões: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

TranslationLegacyModelLink

Disponível na versão 10.19.0.

Versões: composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3.

AutoMLModelTrainLink

Removido na versão 16.0.0.

Versões: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

TranslationLegacyModelTrainLink

Disponível na versão 10.19.0.

Versões: composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3.

AutoMLModelPredictLink

Removido na versão 16.0.0.

Versões: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

TranslationLegacyModelPredictLink

Disponível na versão 10.19.0.

Versões: composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3.

TextGenerationModelPredictOperator

Removido na versão 16.0.0.

Versões: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

GenerativeModelGenerateContentOperator

Disponível na versão 16.0.0.

Versões: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

LifeSciencesHook

Removido na versão 17.0.0.

Versões: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

Hook dos operadores do Batch do Google Cloud

Disponível na versão 17.0.0.

Versões: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

LifeSciencesLink

Removido na versão 17.0.0.

Versões: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

Sem substituição (API descontinuada)

LifeSciencesRunPipelineOperator

Removido na versão 17.0.0.

Versões: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

Operadores do Google Cloud Batch

Disponível na versão 17.0.0.

Versões: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

BigQueryCreateEmptyTableOperator

Removido na versão 17.0.0.

Versões: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

BigQueryCreateTableOperator

Disponível na versão 17.0.0.

Versões: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

BigQueryCreateExternalTableOperator

Removido na versão 17.0.0.

Versões: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

BigQueryCreateTableOperator

Disponível na versão 17.0.0.

Versões: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

GoogleDisplayVideo360CreateQueryOperator

Removido na versão 18.0.0.

Versões: composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17, composer-2.15.0-airflow-2.10.5.

display_video.GoogleDisplayVideo360CreateSDFDownloadTaskOperator

Disponível na versão 18.0.0.

Versões: composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17, composer-2.15.0-airflow-2.10.5.

GoogleDisplayVideo360RunQueryOperator

Removido na versão 18.0.0.

Versões: composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17, composer-2.15.0-airflow-2.10.5.

display_video.GoogleDisplayVideo360CreateSDFDownloadTaskOperator

Disponível na versão 18.0.0.

Versões: composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17, composer-2.15.0-airflow-2.10.5.

GoogleDisplayVideo360DeleteReportOperator

Removido na versão 18.0.0.

Versões: composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17, composer-2.15.0-airflow-2.10.5.

Tarefa de exportação de SDF na v4 da API

Disponível na versão 18.0.0.

Versões: composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17, composer-2.15.0-airflow-2.10.5.

GoogleDisplayVideo360DownloadReportV2Operator

Removido na versão 18.0.0.

Versões: composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17, composer-2.15.0-airflow-2.10.5.

display_video.GoogleDisplayVideo360SDFtoGCSOperator

Disponível na versão 18.0.0.

Versões: composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17, composer-2.15.0-airflow-2.10.5.

GoogleDisplayVideo360DownloadLineItemsOperator

Removido na versão 18.0.0.

Versões: composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17, composer-2.15.0-airflow-2.10.5.

display_video.GoogleDisplayVideo360CreateSDFDownloadTaskOperator

Disponível na versão 18.0.0.

Versões: composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17, composer-2.15.0-airflow-2.10.5.

GoogleDisplayVideo360UploadLineItemsOperator

Removido na versão 18.0.0.

Versões: composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17, composer-2.15.0-airflow-2.10.5.

display_video.GoogleDisplayVideo360SDFtoGCSOperator

Disponível na versão 18.0.0.

Versões: composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17, composer-2.15.0-airflow-2.10.5.

GoogleDisplayVideo360RunQuerySensor

Removido na versão 18.0.0.

Versões: composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17, composer-2.15.0-airflow-2.10.5.

Tarefa de exportação de SDF na v4 da API

Disponível na versão 18.0.0.

Versões: composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17, composer-2.15.0-airflow-2.10.5.

AutoMLPredictOperator

Removido na versão 19.0.0.

Versões: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

TextGenerationModelPredictOperator, TranslateTextOperator

Disponível na versão 19.0.0.

Versões: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

CloudAutoMLHook

Removido na versão 19.0.0.

Versões: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

vertex_ai.auto_ml.AutoMLHook, translate.TranslateHook

Disponível na versão 19.0.0.

Versões: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

AutoMLCreateDatasetOperator

Removido na versão 19.0.0.

Versões: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

vertex_ai.dataset.CreateDatasetOperator, translate.TranslateCreateDatasetOperator

Disponível na versão 19.0.0.

Versões: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

AutoMLDeleteDatasetOperator

Removido na versão 19.0.0.

Versões: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

vertex_ai.dataset.ListDatasetsOperator, translate.TranslateDatasetsListOperator

Disponível na versão 19.0.0.

Versões: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

AutoMLDeleteModelOperator

Removido na versão 19.0.0.

Versões: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

vertex_ai.model_service.DeleteModelOperator, translate.TranslateDeleteModelOperator

Disponível na versão 19.0.0.

Versões: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

AutoMLDeployModelOperator

Removido na versão 19.0.0.

Versões: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

vertex_ai.endpoint_service.DeployModelOperator

Disponível na versão 19.0.0.

Versões: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

AutoMLGetModelOperator

Removido na versão 19.0.0.

Versões: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

vertex_ai.model_service.GetModelOperator

Disponível na versão 19.0.0.

Versões: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

AutoMLImportDataOperator

Removido na versão 19.0.0.

Versões: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

vertex_ai.dataset.ImportDataOperator, translate.TranslateImportDataOperator

Disponível na versão 19.0.0.

Versões: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

AutoMLListDatasetOperator

Removido na versão 19.0.0.

Versões: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

vertex_ai.dataset.ListDatasetsOperator, translate.TranslateDatasetsListOperator

Disponível na versão 19.0.0.

Versões: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

AutoMLTablesListColumnSpecsOperator

Removido na versão 19.0.0.

Versões: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

Sem substituição (versão legada do AutoML Tables desativada)

AutoMLTablesListTableSpecsOperator

Removido na versão 19.0.0.

Versões: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

Sem substituição (versão legada do AutoML Tables desativada)

AutoMLTablesUpdateDatasetOperator

Removido na versão 19.0.0.

Versões: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

vertex_ai.dataset.UpdateDatasetOperator

Disponível na versão 19.0.0.

Versões: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

AutoMLTrainModelOperator

Removido na versão 19.0.0.

Versões: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

vertex_ai.auto_ml.CreateAutoMLTabularTrainingJobOperator, CreateAutoMLVideoTrainingJobOperator, CreateAutoMLImageTrainingJobOperator, SupervisedFineTuningTrainOperator, TranslateCreateModelOperator

Disponível na versão 19.0.0.

Versões: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

MLEngineCreateModelOperator

Removido na versão 19.0.0.

Versões: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

operador correspondente da Vertex AI

Disponível na versão 19.0.0.

Versões: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

DataCatalogEntryGroupLink

Descontinuado na versão 16.1.0.

Versões: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogEntryGroupLink

Disponível na versão 21.0.0.

Versões: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

DataCatalogEntryLink

Descontinuado na versão 16.1.0.

Versões: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogEntryLink

Disponível na versão 21.0.0.

Versões: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

DataCatalogTagTemplateLink

Descontinuado na versão 16.1.0.

Versões: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogAspectTypeLink

Disponível na versão 21.0.0.

Versões: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogCreateEntryOperator

Descontinuado na versão 16.1.0.

Versões: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogCreateEntryOperator

Disponível na versão 21.0.0.

Versões: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogCreateEntryGroupOperator

Descontinuado na versão 16.1.0.

Versões: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogCreateEntryGroupOperator

Disponível na versão 21.0.0.

Versões: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogCreateTagOperator

Descontinuado na versão 16.1.0.

Versões: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogCreateEntryOperator, DataplexCatalogUpdateEntryOperator

Disponível na versão 21.0.0.

Versões: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogCreateTagTemplateOperator

Descontinuado na versão 16.1.0.

Versões: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogCreateAspectTypeOperator

Disponível na versão 21.0.0.

Versões: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogCreateTagTemplateFieldOperator

Descontinuado na versão 16.1.0.

Versões: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogUpdateAspectTypeOperator, DataplexCatalogCreateAspectTypeOperator

Disponível na versão 21.0.0.

Versões: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogDeleteEntryGroupOperator

Descontinuado na versão 16.1.0.

Versões: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogDeleteEntryGroupOperator

Disponível na versão 21.0.0.

Versões: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogDeleteTagOperator

Descontinuado na versão 16.1.0.

Versões: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogUpdateEntryOperator

Disponível na versão 21.0.0.

Versões: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogDeleteTagTemplateOperator

Descontinuado na versão 16.1.0.

Versões: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogDeleteAspectTypeOperator

Disponível na versão 21.0.0.

Versões: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogDeleteTagTemplateFieldOperator

Descontinuado na versão 16.1.0.

Versões: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogUpdateAspectTypeOperator

Disponível na versão 21.0.0.

Versões: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogGetEntryOperator

Descontinuado na versão 16.1.0.

Versões: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogGetEntryOperator

Disponível na versão 21.0.0.

Versões: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogGetEntryGroupOperator

Descontinuado na versão 16.1.0.

Versões: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogGetEntryGroupOperator

Disponível na versão 21.0.0.

Versões: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogGetTagTemplateOperator

Descontinuado na versão 16.1.0.

Versões: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogGetAspectTypeOperator

Disponível na versão 21.0.0.

Versões: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogListTagsOperator

Descontinuado na versão 16.1.0.

Versões: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogGetEntryOperator

Disponível na versão 21.0.0.

Versões: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogLookupEntryOperator

Descontinuado na versão 16.1.0.

Versões: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogLookupEntryOperator

Disponível na versão 21.0.0.

Versões: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogRenameTagTemplateFieldOperator

Descontinuado na versão 16.1.0.

Versões: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogUpdateAspectTypeOperator

Disponível na versão 21.0.0.

Versões: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogSearchCatalogOperator

Descontinuado na versão 16.1.0.

Versões: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogSearchEntriesOperator

Disponível na versão 21.0.0.

Versões: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogUpdateEntryOperator

Descontinuado na versão 16.1.0.

Versões: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogUpdateEntryOperator

Disponível na versão 21.0.0.

Versões: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogUpdateTagOperator

Descontinuado na versão 16.1.0.

Versões: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogUpdateEntryOperator

Disponível na versão 21.0.0.

Versões: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogUpdateTagTemplateOperator

Descontinuado na versão 16.1.0.

Versões: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogUpdateAspectTypeOperator

Disponível na versão 21.0.0.

Versões: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogUpdateTagTemplateFieldOperator

Descontinuado na versão 16.1.0.

Versões: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexCatalogUpdateAspectTypeOperator

Disponível na versão 21.0.0.

Versões: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogHook

Descontinuado na versão 16.1.0.

Versões: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

DataplexHook

Disponível na versão 21.0.0.

Versões: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

TextEmbeddingModelGetEmbeddingsOperator

Descontinuado na versão 18.1.0.

Versões: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

GenAIGenerateEmbeddingsOperator

Disponível na versão 21.0.0.

Versões: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

GenerativeModelGenerateContentOperator

Descontinuado na versão 18.1.0.

Versões: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

GenAIGenerateContentOperator

Disponível na versão 21.0.0.

Versões: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

SupervisedFineTuningTrainOperator

Descontinuado na versão 18.1.0.

Versões: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

GenAISupervisedFineTuningTrainOperator

Disponível na versão 21.0.0.

Versões: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CountTokensOperator

Descontinuado na versão 18.1.0.

Versões: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

GenAICountTokensOperator

Disponível na versão 21.0.0.

Versões: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CreateCachedContentOperator

Descontinuado na versão 18.1.0.

Versões: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

GenAICreateCachedContentOperator

Disponível na versão 21.0.0.

Versões: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

GenerateFromCachedContentOperator

Descontinuado na versão 18.1.0.

Versões: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

GenAIGenerateContentOperator

Disponível na versão 21.0.0.

Versões: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

DeleteExperimentRunOperator

Descontinuado na versão 18.1.0.

Versões: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

DeleteExperimentRunOperator

Disponível na versão 21.0.0.

Versões: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

TranslationLegacyModelLink

Removido na versão 19.0.0.

Versões: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

TranslationModelLink

Disponível na versão 16.0.0.

Versões: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

TranslationDatasetListLink

Removido na versão 19.0.0.

Versões: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

TranslationDatasetsListLink

Disponível na versão 16.0.0.

Versões: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

TranslationLegacyDatasetLink

Removido na versão 19.0.0.

Versões: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

TranslationDatasetsListLink

Disponível na versão 16.0.0.

Versões: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

TranslationLegacyModelTrainLink

Removido na versão 19.0.0.

Versões: composer-3-airflow-2.10.5-build.22, composer-2.16.0-airflow-2.10.5.

TranslationModelsListLink

Disponível na versão 16.0.0.

Versões: composer-3-airflow-2.10.5-build.12, composer-2.14.0-airflow-2.10.5.

A seguir