Cómo escribir DAG de Airflow

Managed Airflow (Gen 3) | Managed Airflow (Gen 2) | Managed Airflow (Legacy Gen 1)

En esta guía, se muestra cómo escribir un grafo acíclico dirigido (DAG) de Apache Airflow que se ejecuta en un entorno de Managed Service para Apache Airflow.

Debido a que Apache Airflow no proporciona un aislamiento eficaz de DAG y tareas, te recomendamos que utilices entornos de prueba y producción separados para evitar la interferencia del DAG. Para obtener más información, consulta Probar DAG.

Cómo estructurar un DAG de Airflow

Un DAG de Airflow se define en un archivo de Python y está compuesto por los siguientes componentes:

  • Definición de DAG
  • Operadores de Airflow
  • Relaciones con operadores

En los siguientes fragmentos de código, se muestran ejemplos de cada componente fuera de contexto.

Una definición de DAG

En el siguiente ejemplo, se muestra una definición de DAG de Airflow:

import datetime

from airflow import models

default_dag_args = {
    # The start_date describes when a DAG is valid / can be run. Set this to a
    # fixed point in time rather than dynamically, since it is evaluated every
    # time a DAG is parsed. See:
    # https://airflow.apache.org/faq.html#what-s-the-deal-with-start-date
    "start_date": datetime.datetime(2018, 1, 1),
}

# Define a DAG (directed acyclic graph) of tasks.
# Any task you create within the context manager is automatically added to the
# DAG object.
with models.DAG(
    "composer_sample_simple_greeting",
    schedule_interval=datetime.timedelta(days=1),
    default_args=default_dag_args,
) as dag:

Operadores y tareas

Los operadores de Airflow describen el trabajo que se debe realizar. Una tarea task es una instancia específica de un operador.

from airflow.operators.bash import BashOperator
from airflow.operators.python import PythonOperator

    def greeting():
        import logging

        logging.info("Hello World!")

    # An instance of an operator is called a task. In this case, the
    # hello_python task calls the "greeting" Python function.
    hello_python = PythonOperator(task_id="hello", python_callable=greeting)

    # Likewise, the goodbye_bash task calls a Bash script.
    goodbye_bash = BashOperator(task_id="bye", bash_command="echo Goodbye.")

Relaciones de tareas

Las relaciones entre tareas describen el orden en el que se debe completar el trabajo.

# Define the order in which the tasks complete by using the >> and <<
# operators. In this example, hello_python executes before goodbye_bash.
hello_python >> goodbye_bash

Ejemplo completo de flujo de trabajo de DAG en Python

El siguiente flujo de trabajo es una plantilla de DAG de trabajo completa que consta de dos tareas: una tarea hello_python y una tarea goodbye_bash:


import datetime

from airflow import models

from airflow.operators.bash import BashOperator
from airflow.operators.python import PythonOperator



default_dag_args = {
    # The start_date describes when a DAG is valid / can be run. Set this to a
    # fixed point in time rather than dynamically, since it is evaluated every
    # time a DAG is parsed. See:
    # https://airflow.apache.org/faq.html#what-s-the-deal-with-start-date
    "start_date": datetime.datetime(2018, 1, 1),
}

# Define a DAG (directed acyclic graph) of tasks.
# Any task you create within the context manager is automatically added to the
# DAG object.
with models.DAG(
    "composer_sample_simple_greeting",
    schedule_interval=datetime.timedelta(days=1),
    default_args=default_dag_args,
) as dag:
    def greeting():
        import logging

        logging.info("Hello World!")

    # An instance of an operator is called a task. In this case, the
    # hello_python task calls the "greeting" Python function.
    hello_python = PythonOperator(task_id="hello", python_callable=greeting)

    # Likewise, the goodbye_bash task calls a Bash script.
    goodbye_bash = BashOperator(task_id="bye", bash_command="echo Goodbye.")

    # Define the order in which the tasks complete by using the >> and <<
    # operators. In this example, hello_python executes before goodbye_bash.
    hello_python >> goodbye_bash

Para obtener más información sobre cómo definir los DAG de Airflow, consulta el instructivo de Airflow y los conceptos de Airflow.

Operadores de Airflow

En los siguientes ejemplos, se muestran algunos operadores populares de Airflow. Para obtener una referencia fidedigna de los operadores de Airflow, consulta la Referencia de operadores y hooks y el Índice de proveedores.

BashOperator

Usa BashOperator para ejecutar programas de línea de comandos.

from airflow.operators import bash

    # Create BigQuery output dataset.
    make_bq_dataset = bash.BashOperator(
        task_id="make_bq_dataset",
        # Executing 'bq' command requires Google Cloud SDK which comes
        # preinstalled in Cloud Composer.
        bash_command=f"bq ls {bq_dataset_name} || bq mk {bq_dataset_name}",
    )

Managed Airflow ejecuta los comandos proporcionados en una secuencia de comandos de Bash en un trabajador de Airflow. El trabajador es un contenedor de Docker basado en Debian que incluye varios paquetes.

PythonOperator

Usa PythonOperator para ejecutar código de Python arbitrario.

Managed Airflow ejecuta el código de Python en un contenedor que incluye paquetes para la versión de la imagen de Managed Airflow que se usa en tu entorno.

Para instalar paquetes adicionales de Python, consulta cómo instalar dependencias de Python.

OperadoresGoogle Cloud

Para ejecutar tareas que usan productos de Google Cloud , usa los operadores deGoogle Cloud Airflow. Por ejemplo, los operadores de BigQuery consultan y procesan datos en BigQuery.

Hay muchos más operadores de Airflow para Google Cloud y servicios individuales proporcionados por Google Cloud. Consulta Google Cloud Operadores para ver la lista completa.

from airflow.providers.google.cloud.operators import bigquery
from airflow.providers.google.cloud.transfers import bigquery_to_gcs

    bq_recent_questions_query = bigquery.BigQueryInsertJobOperator(
        task_id="bq_recent_questions_query",
        configuration={
            "query": {
                "query": RECENT_QUESTIONS_QUERY,
                "useLegacySql": False,
                "destinationTable": {
                    "projectId": project_id,
                    "datasetId": bq_dataset_name,
                    "tableId": bq_recent_questions_table_id,
                },
            }
        },
        location=location,
    )

EmailOperator

Usa el EmailOperator para enviar correos electrónicos desde un DAG. Para enviar correos electrónicos desde un entorno de Managed Airflow, configura tu entorno para usar SendGrid.

from airflow.operators import email

    # Send email confirmation (you will need to set up the email operator
    # See https://cloud.google.com/composer/docs/how-to/managing/creating#notification
    # for more info on configuring the email operator in Cloud Composer)
    email_summary = email.EmailOperator(
        task_id="email_summary",
        to="{{var.value.email}}",
        subject="Sample BigQuery notify data ready",
        html_content="""
        Analyzed Stack Overflow posts data from {min_date} 12AM to {max_date}
        12AM. The most popular question was '{question_title}' with
        {view_count} views. Top 100 questions asked are now available at:
        {export_location}.
        """.format(
            min_date=min_query_date,
            max_date=max_query_date,
            question_title=(
                "{{ ti.xcom_pull(task_ids='bq_read_most_popular', "
                "key='return_value')[0][0] }}"
            ),
            view_count=(
                "{{ ti.xcom_pull(task_ids='bq_read_most_popular', "
                "key='return_value')[0][1] }}"
            ),
            export_location=output_file,
        ),
    )

Notificaciones sobre fallas del operador

Configura email_on_failure como True para enviar una notificación por correo electrónico cuando un operador del DAG falle. Para enviar notificaciones por correo electrónico desde un entorno de Managed Airflow, debes configurar tu entorno para usar SendGrid.

from airflow import models

default_dag_args = {
    "start_date": yesterday,
    # Email whenever an Operator in the DAG fails.
    "email": "{{var.value.email}}",
    "email_on_failure": True,
    "email_on_retry": False,
    "retries": 1,
    "retry_delay": datetime.timedelta(minutes=5),
    "project_id": project_id,
}

with models.DAG(
    "composer_sample_bq_notify",
    schedule_interval=datetime.timedelta(weeks=4),
    default_args=default_dag_args,
) as dag:

Lineamientos para el flujo de trabajo del DAG

  • Coloca cualquier biblioteca de Python personalizada en el archivo ZIP de un DAG en un directorio anidado. No coloques bibliotecas en el nivel superior del directorio de DAG.

    Cuando Airflow escanea la carpeta dags/, Airflow solo busca DAG en los módulos de Python que se encuentran en el nivel superior de la carpeta de DAG y en el nivel superior de un archivo ZIP ubicado también en la carpeta dags/ de nivel superior. Si Airflow encuentra un módulo de Python en un archivo ZIP que no contiene las subcadenas airflow y DAG, Airflow deja de procesar el archivo ZIP. Airflow solo muestra los DAG encontrados hasta ese momento.

  • Para la tolerancia a errores, no definas varios objetos DAG en el mismo módulo de Python.

  • No uses SubDAGs. En su lugar, agrupa las tareas dentro de los DAG.

  • Coloca los archivos que se requieren en el tiempo de análisis de DAG en la carpeta dags/, no en la carpeta data/.

  • Implementa pruebas de unidades para tus DAGs.

  • Prueba los DAGs desarrollados o modificados según las recomendaciones de las instrucciones para probar DAGs.

  • Verifica que los DAG desarrollados no aumenten demasiado los tiempos de análisis del DAG.

  • Las tareas de Airflow pueden fallar por varios motivos. Para evitar fallas en las ejecuciones completas del DAG, te recomendamos que habilites los reintentos de tareas. Si se establece la cantidad máxima de reintentos en 0, no se realizarán reintentos.

    Te recomendamos que anules la opción default_task_retries con un valor para los reintentos de tareas que no sea 0. Además, puedes establecer el parámetro retries a nivel de la tarea.

  • Si quieres usar la GPU en tus tareas de Airflow, crea un clúster de GKE independiente basado en nodos que usen máquinas con GPUs. Usa GKEStartPodOperator para ejecutar tus tareas.

  • Evita ejecutar tareas que consuman mucha CPU y memoria en el grupo de nodos del clúster en el que se ejecutan otros componentes de Airflow (programadores, trabajadores, servidores web). En su lugar, usa KubernetesPodOperator o GKEStartPodOperator.

  • Cuando implementes DAGs en un entorno, sube solo los archivos que sean absolutamente necesarios para interpretar y ejecutar DAGs en la carpeta /dags.

  • Limita la cantidad de archivos DAG en la carpeta /dags.

    Airflow analiza continuamente los DAG en la carpeta /dags. El análisis es un proceso que se repite en la carpeta de DAGs, y la cantidad de archivos que se deben cargar (con sus dependencias) afecta el rendimiento del análisis de DAGs y la programación de tareas. Es mucho más eficiente usar 100 archivos con 100 DAGs cada uno que 10,000 archivos con 1 DAG cada uno, por lo que se recomienda esta optimización. Esta optimización es un equilibrio entre el tiempo de análisis y la eficiencia de la creación y administración de DAG.

    También puedes considerar, por ejemplo, implementar 10,000 archivos DAG. Para ello, puedes crear 100 archivos ZIP que contengan 100 archivos DAG cada uno.

    Además de las sugerencias anteriores, si tienes más de 10,000 archivos de DAG, generar DAG de forma programática puede ser una buena opción. Por ejemplo, puedes implementar un solo archivo DAG de Python que genere una cierta cantidad de objetos DAG (por ejemplo, 20 o 100 objetos DAG).

  • Evita usar operadores de Airflow obsoletos. En su lugar, usa sus alternativas actualizadas.

  • Evita usar CloudLoggingHandler para controlar el registro. Este controlador de registro provoca una sobrecarga en la base de datos del entorno y, luego, fallas en el DAG con errores de "el servidor cerró la conexión de forma inesperada".

Preguntas frecuentes para escribir DAG

¿Cómo minimizo la repetición de código si quiero ejecutar las mismas tareas o tareas similares en varios DAG?

Sugerimos definir bibliotecas y wrappers para minimizar la repetición de código.

¿Cómo vuelvo a usar el código entre los archivos DAG?

Coloca tus funciones de utilidad en una biblioteca local de Python y, luego, importa las funciones. Puedes hacer referencia a las funciones en cualquier DAG ubicado en la carpeta dags/ del bucket de tu entorno.

¿Cómo minimizo el riesgo de que surjan definiciones diferentes?

Por ejemplo, tienes dos equipos que desean agregar datos sin procesar a las métricas de ingresos. Los equipos escriben dos tareas con pequeñas diferencias entre sí que logran lo mismo. Se deben definir bibliotecas para trabajar con los datos de ingresos, de modo que los implementadores de DAG aclaren la definición de ingresos que se agrega.

¿Cómo configuro las dependencias entre los DAG?

Esto dependerá de cómo deseas definir la dependencia.

Si tienes dos DAG (DAG A y DAG B) y quieres que el DAG B se active después del DAG A, puedes poner un TriggerDagRunOperator al final del DAG A.

Si el DAG B solo depende de un artefacto generado por el DAG A, como un mensaje de Pub/Sub, es posible que un sensor funcione mejor.

Si el DAG B se integra perfectamente al DAG A, es posible que puedas combinar los dos DAG en uno.

¿Cómo transfiero los ID de ejecución únicos a un DAG y sus tareas?

Por ejemplo, deseas transmitir nombres de clústeres de Dataproc y rutas de archivos.

Puedes generar un ID único aleatorio si muestras str(uuid.uuid4()) en un PythonOperator. Esto coloca el ID en XComs para que puedas consultar el ID en otros operadores a través de campos de plantillas.

Antes de generar un uuid, considera si un ID específico de DagRun sería más valioso. También puedes hacer referencia a estos IDs en sustituciones de Jinja con macros.

¿Cómo separo las tareas en un DAG?

Cada tarea debe ser una unidad de trabajo idempotente. Por lo tanto, debes evitar encapsular un flujo de trabajo de varios pasos en una sola tarea, como un programa complejo que se ejecute en un PythonOperator.

¿Debo definir varias tareas en un solo DAG para agregar datos de varias fuentes?

Por ejemplo, tienes varias tablas con datos sin procesar y quieres crear agregados diarios para cada una. Las tareas no dependen una de otra. ¿Debes crear una tarea y un DAG para cada tabla o crear un DAG general?

Si estás de acuerdo con que cada tarea comparta las mismas propiedades a nivel del DAG, como schedule, entonces tiene sentido definir varias tareas en un solo DAG. De lo contrario, para minimizar la repetición de código, se pueden generar varios DAG a partir de un único módulo de Python colocándolos en globals() del módulo.

¿Cómo puedo limitar la cantidad de tareas simultáneas que se ejecutan en un DAG?

Por ejemplo, quieres evitar superar las cuotas o los límites de uso de la API o evitar ejecutar demasiados procesos simultáneos.

Puedes definir grupos de Airflow en la IU web de Airflow y asociar tareas con grupos existentes en tus DAG.

Preguntas frecuentes sobre el uso de operadores

¿Debo usar DockerOperator?

No recomendamos usar DockerOperator, a menos que se use para iniciar contenedores en una instalación remota de Docker (no dentro del clúster de un entorno). En un entorno de Managed Airflow, el operador no tiene acceso a los daemons de Docker.

En su lugar, usa KubernetesPodOperator o GKEStartPodOperator. Estos operadores inician pods de Kubernetes en clústeres de Kubernetes o GKE, respectivamente. Ten en cuenta que no recomendamos lanzar pods en el clúster de un entorno, ya que esto puede generar competencia en los recursos.

¿Debo usar SubDagOperator?

No recomendamos usar SubDagOperator.

Usa alternativas como las que se sugieren en Agrupación de tareas.

¿Debería ejecutar código de Python solo en PythonOperators para separar completamente los operadores de Python?

Según tu objetivo, tienes algunas opciones.

Si tu única preocupación es mantener dependencias independientes de Python, puedes usar PythonVirtualenvOperator.

Considera usar KubernetesPodOperator. Este operador te permite definir pods de Kubernetes y ejecutarlos en otros clústeres.

¿Cómo agrego paquetes binarios personalizados o que no son de PyPI?

Puedes instalar paquetes alojados en repositorios de paquetes privados.

¿Cómo transmito uniformemente los argumentos a un DAG y sus tareas?

Puedes usar la compatibilidad integrada de Airflow para las plantillas de Jinja y pasar argumentos que se pueden usar en campos con plantillas.

¿Cuándo ocurre la sustitución de plantilla?

La sustitución de plantilla ocurre en los trabajadores de Airflow justo antes de que se llame a la función pre_execute de un operador. En la práctica, esto significa que las plantillas no se sustituyen hasta justo antes de que se ejecute una tarea.

¿Cómo puedo saber qué argumentos del operador admiten la sustitución de plantillas?

Los argumentos del operador que admiten la sustitución de plantillas de Jinja2 se marcan explícitamente como tales.

Busca el campo template_fields en la definición de operador, que contiene una lista de nombres de argumentos que se someten a la sustitución de plantillas.

Por ejemplo, consulta BashOperator, que admite plantillas para los argumentos bash_command y env.

Operadores de Airflow obsoletos y quitados

Los operadores de Airflow que se enumeran en la siguiente tabla quedaron obsoletos:

  • Evita usar estos operadores en tus DAGs. En su lugar, usa los operadores de reemplazo actualizados que se proporcionan.

  • Si un operador aparece como quitado, significa que ya no está disponible en una de las compilaciones de Airflow lanzadas en Managed Airflow (Gen 3).

  • Si un operador aparece como obsoleto, significa que dejó de estar disponible y se quitará en una compilación futura de Airflow.

Operador obsoleto Operador de reemplazo

GCSObjectsWtihPrefixExistenceSensor

Se quitó en la versión 7.0.0.

Versiones: composer-3-*, composer-2.0.28-airflow-2.3.3.

GCSObjectsWithPrefixExistenceSensor

Disponible en la versión 2.0.0.

Versiones: composer-3-* y composer-2-*.

CreateAutoMLTextTrainingJobOperator

Se quitó en la versión 11.0.0.

Versiones: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

SupervisedFineTuningTrainOperator

Disponible en la versión 10.23.0.

Versiones: composer-3-airflow-2.9.3-build.1, composer-3-airflow-2.9.1-build.8, composer-2.9.5-airflow-2.9.3, composer-2.9.5-airflow-2.9.1.

GKEDeploymentHook

Se quitó en la versión 11.0.0.

Versiones: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GKEKubernetesHook

Disponible en la versión 10.17.0.

Versiones: composer-3-*, composer-2.7.1-airflow-2.7.3.

GKECustomResourceHook

Se quitó en la versión 11.0.0.

Versiones: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GKEKubernetesHook

Disponible en la versión 10.17.0.

Versiones: composer-3-*, composer-2.7.1-airflow-2.7.3.

GKEPodHook

Se quitó en la versión 11.0.0.

Versiones: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GKEKubernetesHook

Disponible en la versión 10.17.0.

Versiones: composer-3-*, composer-2.7.1-airflow-2.7.3.

GKEJobHook

Se quitó en la versión 11.0.0.

Versiones: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GKEKubernetesHook

Disponible en la versión 10.17.0.

Versiones: composer-3-*, composer-2.7.1-airflow-2.7.3.

GKEPodAsyncHook

Se quitó en la versión 11.0.0.

Versiones: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GKEKubernetesAsyncHook

Disponible en la versión 10.17.0.

Versiones: composer-3-*, composer-2.7.1-airflow-2.7.3.

SecretsManagerHook

Se quitó en la versión 11.0.0.

Versiones: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GoogleCloudSecretManagerHook

Disponible en la versión 10.18.0.

Versiones: composer-3-airflow-2.7.3-build.6 y composer-2.8.3-airflow-2.7.3.

BigQueryExecuteQueryOperator

Se quitó en la versión 11.0.0.

Versiones: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

BigQueryInsertJobOperator

Disponible en la versión 1.0.0.

Versiones: composer-3-* y composer-2-*.

BigQueryPatchDatasetOperator

Se quitó en la versión 11.0.0.

Versiones: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

BigQueryUpdateDatasetOperator

Disponible en la versión 1.0.0.

Versiones: composer-3-* y composer-2-*.

DataflowCreateJavaJobOperator

Se quitó en la versión 11.0.0.

Versiones: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

beam.BeamRunJavaPipelineOperator

Disponible en apache-airflow-providers-apache-beam==1.0.0.

Versiones: composer-3-* y composer-2-*.

DataflowCreatePythonJobOperator

Se quitó en la versión 11.0.0.

Versiones: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

beam.BeamRunPythonPipelineOperator

Disponible en apache-airflow-providers-apache-beam==1.0.0.

Versiones: composer-3-* y composer-2-*.

DataprocSubmitPigJobOperator

Se quitó en la versión 11.0.0.

Versiones: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

DataprocSubmitJobOperator

Disponible en la versión 1.0.0.

Versiones: composer-3-* y composer-2-*.

DataprocSubmitHiveJobOperator

Se quitó en la versión 11.0.0.

Versiones: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

DataprocSubmitJobOperator

Disponible en la versión 1.0.0.

Versiones: composer-3-* y composer-2-*.

DataprocSubmitSparkSqlJobOperator

Se quitó en la versión 11.0.0.

Versiones: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

DataprocSubmitJobOperator

Disponible en la versión 1.0.0.

Versiones: composer-3-* y composer-2-*.

DataprocSubmitSparkJobOperator

Se quitó en la versión 11.0.0.

Versiones: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

DataprocSubmitJobOperator

Disponible en la versión 1.0.0.

Versiones: composer-3-* y composer-2-*.

DataprocSubmitHadoopJobOperator

Se quitó en la versión 11.0.0.

Versiones: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

DataprocSubmitJobOperator

Disponible en la versión 1.0.0.

Versiones: composer-3-* y composer-2-*.

DataprocSubmitPySparkJobOperator

Se quitó en la versión 11.0.0.

Versiones: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

DataprocSubmitJobOperator

Disponible en la versión 1.0.0.

Versiones: composer-3-* y composer-2-*.

BigQueryTableExistenceAsyncSensor

Se quitó en la versión 11.0.0.

Versiones: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

BigQueryTableExistenceSensor

Disponible en la versión 8.12.0.

Versiones: composer-3-*, composer-2.3.0-airflow-2.5.1, composer-2.3.0-airflow-2.4.3.

BigQueryTableExistencePartitionAsyncSensor

Se quitó en la versión 11.0.0.

Versiones: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

BigQueryTablePartitionExistenceSensor

Disponible en la versión 8.12.0.

Versiones: composer-3-*, composer-2.3.0-airflow-2.5.1, composer-2.3.0-airflow-2.4.3.

CloudComposerEnvironmentSensor

Se quitó en la versión 11.0.0.

Versiones: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

CloudComposerCreateEnvironmentOperator, CloudComposerDeleteEnvironmentOperator, CloudComposerUpdateEnvironmentOperator

Disponible en la versión 8.13.0.

Versiones: composer-3-*, composer-2.3.0-airflow-2.5.1, composer-2.3.0-airflow-2.4.3.

GCSObjectExistenceAsyncSensor

Se quitó en la versión 11.0.0.

Versiones: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GCSObjectExistenceSensor

Disponible en la versión 8.12.0.

Versiones: composer-3-*, composer-2.3.0-airflow-2.5.1, composer-2.3.0-airflow-2.4.3.

GoogleAnalyticsHook

Se quitó en la versión 11.0.0.

Versiones: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GoogleAnalyticsAdminHook

Disponible en la versión 8.14.0.

Versiones: composer-3-*, composer-2.3.0-airflow-2.5.1, composer-2.3.0-airflow-2.4.3.

GoogleAnalyticsListAccountsOperator

Se quitó en la versión 11.0.0.

Versiones: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GoogleAnalyticsAdminListAccountsOperator

Disponible en la versión 8.14.0.

Versiones: composer-3-*, composer-2.3.0-airflow-2.5.1, composer-2.3.0-airflow-2.4.3.

GoogleAnalyticsGetAdsLinkOperator

Se quitó en la versión 11.0.0.

Versiones: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GoogleAnalyticsAdminGetGoogleAdsLinkOperator

Disponible en la versión 8.14.0.

Versiones: composer-3-*, composer-2.3.0-airflow-2.5.1, composer-2.3.0-airflow-2.4.3.

GoogleAnalyticsRetrieveAdsLinksListOperator

Se quitó en la versión 11.0.0.

Versiones: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GoogleAnalyticsAdminListGoogleAdsLinksOperator

Disponible en la versión 8.14.0.

Versiones: composer-3-*, composer-2.3.0-airflow-2.5.1, composer-2.3.0-airflow-2.4.3.

GoogleAnalyticsDataImportUploadOperator

Se quitó en la versión 11.0.0.

Versiones: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GoogleAnalyticsAdminCreateDataStreamOperator

Disponible en la versión 8.14.0.

Versiones: composer-3-*, composer-2.3.0-airflow-2.5.1, composer-2.3.0-airflow-2.4.3.

GoogleAnalyticsDeletePreviousDataUploadsOperator

Se quitó en la versión 11.0.0.

Versiones: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GoogleAnalyticsAdminDeleteDataStreamOperator

Disponible en la versión 8.14.0.

Versiones: composer-3-*, composer-2.3.0-airflow-2.5.1, composer-2.3.0-airflow-2.4.3.

DataPipelineHook

Se quitó en la versión 12.0.0.

Versiones: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

DataflowHook

Disponible en la versión 10.20.0.

Versiones: composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3.

CreateDataPipelineOperator

Se quitó en la versión 12.0.0.

Versiones: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

DataflowCreatePipelineOperator

Disponible en la versión 10.20.0.

Versiones: composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3.

RunDataPipelineOperator

Se quitó en la versión 12.0.0.

Versiones: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

DataflowRunPipelineOperator

Disponible en la versión 10.20.0.

Versiones: composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3.

AutoMLBatchPredictOperator

Se quitó en la versión 13.0.0.

Versiones: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

vertex_ai.batch_prediction_job

Disponible en la versión 10.24.0.

Versiones: composer-3-airflow-2.9.3-build.4 y composer-2.9.8-airflow-2.9.3.

PromptLanguageModelOperator

Se quitó en la versión 13.0.0.

Versiones: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

TextGenerationModelPredictOperator

Disponible en la versión 10.21.0.

Versiones: composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3.

GenerateTextEmbeddingsOperator

Se quitó en la versión 13.0.0.

Versiones: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

TextEmbeddingModelGetEmbeddingsOperator

Disponible en la versión 10.21.0.

Versiones: composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3.

PromptMultimodalModelOperator

Se quitó en la versión 13.0.0.

Versiones: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GenerativeModelGenerateContentOperator

Disponible en la versión 10.21.0.

Versiones: composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3.

PromptMultimodalModelWithMediaOperator

Se quitó en la versión 13.0.0.

Versiones: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

GenerativeModelGenerateContentOperator

Disponible en la versión 10.21.0.

Versiones: composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3.

DataflowStartSqlJobOperator

Se quitó en la versión 13.0.0.

Versiones: composer-3-airflow-2.10.5-build.0, composer-3-airflow-2.10.2-build.12, composer-3-airflow-2.9.3-build.19, composer-2.12.1-airflow-2.10.5, composer-2.12.0-airflow-2.10.2, composer-2.12.0-airflow-2.9.3.

DataflowStartYamlJobOperator

Disponible en la versión 10.23.0.

Versiones: composer-3-airflow-2.9.3-build.1, composer-3-airflow-2.9.1-build.8, composer-2.9.5-airflow-2.9.3, composer-2.9.5-airflow-2.9.1.

DataprocScaleClusterOperator

Se quitó en la versión 15.0.0.

Versiones: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

DataprocUpdateClusterOperator

Disponible en la versión 15.0.0.

Versiones: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

MLEngineStartBatchPredictionJobOperator

Se quitó en la versión 15.0.0.

Versiones: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

CreateBatchPredictionJobOperator

Disponible en la versión 15.0.0.

Versiones: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

MLEngineManageModelOperator

Se quitó en la versión 15.0.0.

Versiones: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

MLEngineCreateModelOperator, MLEngineGetModelOperator

Disponible en la versión 15.0.0.

Versiones: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

MLEngineGetModelOperator

Se quitó en la versión 15.0.0.

Versiones: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

GetModelOperator

Disponible en la versión 15.0.0.

Versiones: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

MLEngineDeleteModelOperator

Se quitó en la versión 15.0.0.

Versiones: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

DeleteModelOperator

Disponible en la versión 15.0.0.

Versiones: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

MLEngineManageVersionOperator

Se quitó en la versión 15.0.0.

Versiones: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

MLEngineCreateVersion, MLEngineSetDefaultVersion, MLEngineListVersions, MLEngineDeleteVersion

Disponible en la versión 15.0.0.

Versiones: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

MLEngineCreateVersionOperator

Se quitó en la versión 15.0.0.

Versiones: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

Parámetro parent_model para los operadores de Vertex AI

Disponible en la versión 15.0.0.

Versiones: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

MLEngineSetDefaultVersionOperator

Se quitó en la versión 15.0.0.

Versiones: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

SetDefaultVersionOnModelOperator

Disponible en la versión 15.0.0.

Versiones: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

MLEngineListVersionsOperator

Se quitó en la versión 15.0.0.

Versiones: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

ListModelVersionsOperator

Disponible en la versión 15.0.0.

Versiones: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

MLEngineDeleteVersionOperator

Se quitó en la versión 15.0.0.

Versiones: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

DeleteModelVersionOperator

Disponible en la versión 15.0.0.

Versiones: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

MLEngineStartTrainingJobOperator

Se quitó en la versión 15.0.0.

Versiones: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

CreateCustomPythonPackageTrainingJobOperator

Disponible en la versión 15.0.0.

Versiones: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

MLEngineTrainingCancelJobOperator

Se quitó en la versión 15.0.0.

Versiones: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

CancelCustomTrainingJobOperator

Disponible en la versión 15.0.0.

Versiones: composer-3-airflow-2.9.3-build.23, composer-3-airflow-2.10.5-build.2, composer-2.13.0-airflow-2.10.5, composer-2.13.1-airflow-2.9.3.

AutoMLDatasetLink

Se quitó en la versión 16.0.0.

Versiones: composer-3-airflow-2.10.5-build.12 y composer-2.14.0-airflow-2.10.5.

TranslationLegacyDatasetLink

Disponible en la versión 10.19.0.

Versiones: composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3.

AutoMLDatasetListLink

Se quitó en la versión 16.0.0.

Versiones: composer-3-airflow-2.10.5-build.12 y composer-2.14.0-airflow-2.10.5.

TranslationDatasetListLink

Disponible en la versión 10.19.0.

Versiones: composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3.

AutoMLModelLink

Se quitó en la versión 16.0.0.

Versiones: composer-3-airflow-2.10.5-build.12 y composer-2.14.0-airflow-2.10.5.

TranslationLegacyModelLink

Disponible en la versión 10.19.0.

Versiones: composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3.

AutoMLModelTrainLink

Se quitó en la versión 16.0.0.

Versiones: composer-3-airflow-2.10.5-build.12 y composer-2.14.0-airflow-2.10.5.

TranslationLegacyModelTrainLink

Disponible en la versión 10.19.0.

Versiones: composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3.

AutoMLModelPredictLink

Se quitó en la versión 16.0.0.

Versiones: composer-3-airflow-2.10.5-build.12 y composer-2.14.0-airflow-2.10.5.

TranslationLegacyModelPredictLink

Disponible en la versión 10.19.0.

Versiones: composer-3-airflow-2.9.1-build.0, composer-3-airflow-2.7.3-build.9, composer-2.8.6-airflow-2.9.1, composer-2.8.6-airflow-2.7.3.

TextGenerationModelPredictOperator

Se quitó en la versión 16.0.0.

Versiones: composer-3-airflow-2.10.5-build.12 y composer-2.14.0-airflow-2.10.5.

GenerativeModelGenerateContentOperator

Disponible en la versión 16.0.0.

Versiones: composer-3-airflow-2.10.5-build.12 y composer-2.14.0-airflow-2.10.5.

LifeSciencesHook

Se quitó en la versión 17.0.0.

Versiones: composer-3-airflow-2.10.5-build.12 y composer-2.14.0-airflow-2.10.5.

Hook de los operadores de Google Cloud Batch

Disponible en la versión 17.0.0.

Versiones: composer-3-airflow-2.10.5-build.12 y composer-2.14.0-airflow-2.10.5.

LifeSciencesLink

Se quitó en la versión 17.0.0.

Versiones: composer-3-airflow-2.10.5-build.12 y composer-2.14.0-airflow-2.10.5.

No hay reemplazo (se descontinuó la API)

LifeSciencesRunPipelineOperator

Se quitó en la versión 17.0.0.

Versiones: composer-3-airflow-2.10.5-build.12 y composer-2.14.0-airflow-2.10.5.

Operadores de Google Cloud Batch

Disponible en la versión 17.0.0.

Versiones: composer-3-airflow-2.10.5-build.12 y composer-2.14.0-airflow-2.10.5.

BigQueryCreateEmptyTableOperator

Se quitó en la versión 17.0.0.

Versiones: composer-3-airflow-2.10.5-build.12 y composer-2.14.0-airflow-2.10.5.

BigQueryCreateTableOperator

Disponible en la versión 17.0.0.

Versiones: composer-3-airflow-2.10.5-build.12 y composer-2.14.0-airflow-2.10.5.

BigQueryCreateExternalTableOperator

Se quitó en la versión 17.0.0.

Versiones: composer-3-airflow-2.10.5-build.12 y composer-2.14.0-airflow-2.10.5.

BigQueryCreateTableOperator

Disponible en la versión 17.0.0.

Versiones: composer-3-airflow-2.10.5-build.12 y composer-2.14.0-airflow-2.10.5.

GoogleDisplayVideo360CreateQueryOperator

Se quitó en la versión 18.0.0.

Versiones: composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17 y composer-2.15.0-airflow-2.10.5.

display_video.GoogleDisplayVideo360CreateSDFDownloadTaskOperator

Disponible en la versión 18.0.0.

Versiones: composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17 y composer-2.15.0-airflow-2.10.5.

GoogleDisplayVideo360RunQueryOperator

Se quitó en la versión 18.0.0.

Versiones: composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17 y composer-2.15.0-airflow-2.10.5.

display_video.GoogleDisplayVideo360CreateSDFDownloadTaskOperator

Disponible en la versión 18.0.0.

Versiones: composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17 y composer-2.15.0-airflow-2.10.5.

GoogleDisplayVideo360DeleteReportOperator

Se quitó en la versión 18.0.0.

Versiones: composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17 y composer-2.15.0-airflow-2.10.5.

Tarea de exportación de SDF en la versión 4 de la API

Disponible en la versión 18.0.0.

Versiones: composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17 y composer-2.15.0-airflow-2.10.5.

GoogleDisplayVideo360DownloadReportV2Operator

Se quitó en la versión 18.0.0.

Versiones: composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17 y composer-2.15.0-airflow-2.10.5.

display_video.GoogleDisplayVideo360SDFtoGCSOperator

Disponible en la versión 18.0.0.

Versiones: composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17 y composer-2.15.0-airflow-2.10.5.

GoogleDisplayVideo360DownloadLineItemsOperator

Se quitó en la versión 18.0.0.

Versiones: composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17 y composer-2.15.0-airflow-2.10.5.

display_video.GoogleDisplayVideo360CreateSDFDownloadTaskOperator

Disponible en la versión 18.0.0.

Versiones: composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17 y composer-2.15.0-airflow-2.10.5.

GoogleDisplayVideo360UploadLineItemsOperator

Se quitó en la versión 18.0.0.

Versiones: composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17 y composer-2.15.0-airflow-2.10.5.

display_video.GoogleDisplayVideo360SDFtoGCSOperator

Disponible en la versión 18.0.0.

Versiones: composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17 y composer-2.15.0-airflow-2.10.5.

GoogleDisplayVideo360RunQuerySensor

Se quitó en la versión 18.0.0.

Versiones: composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17 y composer-2.15.0-airflow-2.10.5.

Tarea de exportación de SDF en la versión 4 de la API

Disponible en la versión 18.0.0.

Versiones: composer-3-airflow-3.1.0-build.2, composer-3-airflow-2.10.5-build.17 y composer-2.15.0-airflow-2.10.5.

AutoMLPredictOperator

Se quitó en la versión 19.0.0.

Versiones: composer-3-airflow-2.10.5-build.22 y composer-2.16.0-airflow-2.10.5.

TextGenerationModelPredictOperator, TranslateTextOperator

Disponible en la versión 19.0.0.

Versiones: composer-3-airflow-2.10.5-build.22 y composer-2.16.0-airflow-2.10.5.

CloudAutoMLHook

Se quitó en la versión 19.0.0.

Versiones: composer-3-airflow-2.10.5-build.22 y composer-2.16.0-airflow-2.10.5.

vertex_ai.auto_ml.AutoMLHook, translate.TranslateHook

Disponible en la versión 19.0.0.

Versiones: composer-3-airflow-2.10.5-build.22 y composer-2.16.0-airflow-2.10.5.

AutoMLCreateDatasetOperator

Se quitó en la versión 19.0.0.

Versiones: composer-3-airflow-2.10.5-build.22 y composer-2.16.0-airflow-2.10.5.

vertex_ai.dataset.CreateDatasetOperator, translate.TranslateCreateDatasetOperator

Disponible en la versión 19.0.0.

Versiones: composer-3-airflow-2.10.5-build.22 y composer-2.16.0-airflow-2.10.5.

AutoMLDeleteDatasetOperator

Se quitó en la versión 19.0.0.

Versiones: composer-3-airflow-2.10.5-build.22 y composer-2.16.0-airflow-2.10.5.

vertex_ai.dataset.ListDatasetsOperator, translate.TranslateDatasetsListOperator

Disponible en la versión 19.0.0.

Versiones: composer-3-airflow-2.10.5-build.22 y composer-2.16.0-airflow-2.10.5.

AutoMLDeleteModelOperator

Se quitó en la versión 19.0.0.

Versiones: composer-3-airflow-2.10.5-build.22 y composer-2.16.0-airflow-2.10.5.

vertex_ai.model_service.DeleteModelOperator, translate.TranslateDeleteModelOperator

Disponible en la versión 19.0.0.

Versiones: composer-3-airflow-2.10.5-build.22 y composer-2.16.0-airflow-2.10.5.

AutoMLDeployModelOperator

Se quitó en la versión 19.0.0.

Versiones: composer-3-airflow-2.10.5-build.22 y composer-2.16.0-airflow-2.10.5.

vertex_ai.endpoint_service.DeployModelOperator

Disponible en la versión 19.0.0.

Versiones: composer-3-airflow-2.10.5-build.22 y composer-2.16.0-airflow-2.10.5.

AutoMLGetModelOperator

Se quitó en la versión 19.0.0.

Versiones: composer-3-airflow-2.10.5-build.22 y composer-2.16.0-airflow-2.10.5.

vertex_ai.model_service.GetModelOperator

Disponible en la versión 19.0.0.

Versiones: composer-3-airflow-2.10.5-build.22 y composer-2.16.0-airflow-2.10.5.

AutoMLImportDataOperator

Se quitó en la versión 19.0.0.

Versiones: composer-3-airflow-2.10.5-build.22 y composer-2.16.0-airflow-2.10.5.

vertex_ai.dataset.ImportDataOperator, translate.TranslateImportDataOperator

Disponible en la versión 19.0.0.

Versiones: composer-3-airflow-2.10.5-build.22 y composer-2.16.0-airflow-2.10.5.

AutoMLListDatasetOperator

Se quitó en la versión 19.0.0.

Versiones: composer-3-airflow-2.10.5-build.22 y composer-2.16.0-airflow-2.10.5.

vertex_ai.dataset.ListDatasetsOperator, translate.TranslateDatasetsListOperator

Disponible en la versión 19.0.0.

Versiones: composer-3-airflow-2.10.5-build.22 y composer-2.16.0-airflow-2.10.5.

AutoMLTablesListColumnSpecsOperator

Se quitó en la versión 19.0.0.

Versiones: composer-3-airflow-2.10.5-build.22 y composer-2.16.0-airflow-2.10.5.

No hay reemplazo (se cerró la versión heredada de AutoML Tables)

AutoMLTablesListTableSpecsOperator

Se quitó en la versión 19.0.0.

Versiones: composer-3-airflow-2.10.5-build.22 y composer-2.16.0-airflow-2.10.5.

No hay reemplazo (se cerró la versión heredada de AutoML Tables)

AutoMLTablesUpdateDatasetOperator

Se quitó en la versión 19.0.0.

Versiones: composer-3-airflow-2.10.5-build.22 y composer-2.16.0-airflow-2.10.5.

vertex_ai.dataset.UpdateDatasetOperator

Disponible en la versión 19.0.0.

Versiones: composer-3-airflow-2.10.5-build.22 y composer-2.16.0-airflow-2.10.5.

AutoMLTrainModelOperator

Se quitó en la versión 19.0.0.

Versiones: composer-3-airflow-2.10.5-build.22 y composer-2.16.0-airflow-2.10.5.

vertex_ai.auto_ml.CreateAutoMLTabularTrainingJobOperator, CreateAutoMLVideoTrainingJobOperator, CreateAutoMLImageTrainingJobOperator, SupervisedFineTuningTrainOperator, TranslateCreateModelOperator

Disponible en la versión 19.0.0.

Versiones: composer-3-airflow-2.10.5-build.22 y composer-2.16.0-airflow-2.10.5.

MLEngineCreateModelOperator

Se quitó en la versión 19.0.0.

Versiones: composer-3-airflow-2.10.5-build.22 y composer-2.16.0-airflow-2.10.5.

operador de Vertex AI correspondiente

Disponible en la versión 19.0.0.

Versiones: composer-3-airflow-2.10.5-build.22 y composer-2.16.0-airflow-2.10.5.

DataCatalogEntryGroupLink

Se dio de baja en la versión 16.1.0.

Versiones: composer-3-airflow-2.10.5-build.12 y composer-2.14.0-airflow-2.10.5.

DataplexCatalogEntryGroupLink

Disponible en la versión 21.0.0.

Versiones: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

DataCatalogEntryLink

Se dio de baja en la versión 16.1.0.

Versiones: composer-3-airflow-2.10.5-build.12 y composer-2.14.0-airflow-2.10.5.

DataplexCatalogEntryLink

Disponible en la versión 21.0.0.

Versiones: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

DataCatalogTagTemplateLink

Se dio de baja en la versión 16.1.0.

Versiones: composer-3-airflow-2.10.5-build.12 y composer-2.14.0-airflow-2.10.5.

DataplexCatalogAspectTypeLink

Disponible en la versión 21.0.0.

Versiones: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogCreateEntryOperator

Se dio de baja en la versión 16.1.0.

Versiones: composer-3-airflow-2.10.5-build.12 y composer-2.14.0-airflow-2.10.5.

DataplexCatalogCreateEntryOperator

Disponible en la versión 21.0.0.

Versiones: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogCreateEntryGroupOperator

Se dio de baja en la versión 16.1.0.

Versiones: composer-3-airflow-2.10.5-build.12 y composer-2.14.0-airflow-2.10.5.

DataplexCatalogCreateEntryGroupOperator

Disponible en la versión 21.0.0.

Versiones: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogCreateTagOperator

Se dio de baja en la versión 16.1.0.

Versiones: composer-3-airflow-2.10.5-build.12 y composer-2.14.0-airflow-2.10.5.

DataplexCatalogCreateEntryOperator, DataplexCatalogUpdateEntryOperator

Disponible en la versión 21.0.0.

Versiones: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogCreateTagTemplateOperator

Se dio de baja en la versión 16.1.0.

Versiones: composer-3-airflow-2.10.5-build.12 y composer-2.14.0-airflow-2.10.5.

DataplexCatalogCreateAspectTypeOperator

Disponible en la versión 21.0.0.

Versiones: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogCreateTagTemplateFieldOperator

Se dio de baja en la versión 16.1.0.

Versiones: composer-3-airflow-2.10.5-build.12 y composer-2.14.0-airflow-2.10.5.

DataplexCatalogUpdateAspectTypeOperator, DataplexCatalogCreateAspectTypeOperator

Disponible en la versión 21.0.0.

Versiones: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogDeleteEntryGroupOperator

Se dio de baja en la versión 16.1.0.

Versiones: composer-3-airflow-2.10.5-build.12 y composer-2.14.0-airflow-2.10.5.

DataplexCatalogDeleteEntryGroupOperator

Disponible en la versión 21.0.0.

Versiones: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogDeleteTagOperator

Se dio de baja en la versión 16.1.0.

Versiones: composer-3-airflow-2.10.5-build.12 y composer-2.14.0-airflow-2.10.5.

DataplexCatalogUpdateEntryOperator

Disponible en la versión 21.0.0.

Versiones: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogDeleteTagTemplateOperator

Se dio de baja en la versión 16.1.0.

Versiones: composer-3-airflow-2.10.5-build.12 y composer-2.14.0-airflow-2.10.5.

DataplexCatalogDeleteAspectTypeOperator

Disponible en la versión 21.0.0.

Versiones: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogDeleteTagTemplateFieldOperator

Se dio de baja en la versión 16.1.0.

Versiones: composer-3-airflow-2.10.5-build.12 y composer-2.14.0-airflow-2.10.5.

DataplexCatalogUpdateAspectTypeOperator

Disponible en la versión 21.0.0.

Versiones: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogGetEntryOperator

Se dio de baja en la versión 16.1.0.

Versiones: composer-3-airflow-2.10.5-build.12 y composer-2.14.0-airflow-2.10.5.

DataplexCatalogGetEntryOperator

Disponible en la versión 21.0.0.

Versiones: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogGetEntryGroupOperator

Se dio de baja en la versión 16.1.0.

Versiones: composer-3-airflow-2.10.5-build.12 y composer-2.14.0-airflow-2.10.5.

DataplexCatalogGetEntryGroupOperator

Disponible en la versión 21.0.0.

Versiones: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogGetTagTemplateOperator

Se dio de baja en la versión 16.1.0.

Versiones: composer-3-airflow-2.10.5-build.12 y composer-2.14.0-airflow-2.10.5.

DataplexCatalogGetAspectTypeOperator

Disponible en la versión 21.0.0.

Versiones: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogListTagsOperator

Se dio de baja en la versión 16.1.0.

Versiones: composer-3-airflow-2.10.5-build.12 y composer-2.14.0-airflow-2.10.5.

DataplexCatalogGetEntryOperator

Disponible en la versión 21.0.0.

Versiones: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogLookupEntryOperator

Se dio de baja en la versión 16.1.0.

Versiones: composer-3-airflow-2.10.5-build.12 y composer-2.14.0-airflow-2.10.5.

DataplexCatalogLookupEntryOperator

Disponible en la versión 21.0.0.

Versiones: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogRenameTagTemplateFieldOperator

Se dio de baja en la versión 16.1.0.

Versiones: composer-3-airflow-2.10.5-build.12 y composer-2.14.0-airflow-2.10.5.

DataplexCatalogUpdateAspectTypeOperator

Disponible en la versión 21.0.0.

Versiones: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogSearchCatalogOperator

Se dio de baja en la versión 16.1.0.

Versiones: composer-3-airflow-2.10.5-build.12 y composer-2.14.0-airflow-2.10.5.

DataplexCatalogSearchEntriesOperator

Disponible en la versión 21.0.0.

Versiones: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogUpdateEntryOperator

Se dio de baja en la versión 16.1.0.

Versiones: composer-3-airflow-2.10.5-build.12 y composer-2.14.0-airflow-2.10.5.

DataplexCatalogUpdateEntryOperator

Disponible en la versión 21.0.0.

Versiones: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogUpdateTagOperator

Se dio de baja en la versión 16.1.0.

Versiones: composer-3-airflow-2.10.5-build.12 y composer-2.14.0-airflow-2.10.5.

DataplexCatalogUpdateEntryOperator

Disponible en la versión 21.0.0.

Versiones: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogUpdateTagTemplateOperator

Se dio de baja en la versión 16.1.0.

Versiones: composer-3-airflow-2.10.5-build.12 y composer-2.14.0-airflow-2.10.5.

DataplexCatalogUpdateAspectTypeOperator

Disponible en la versión 21.0.0.

Versiones: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogUpdateTagTemplateFieldOperator

Se dio de baja en la versión 16.1.0.

Versiones: composer-3-airflow-2.10.5-build.12 y composer-2.14.0-airflow-2.10.5.

DataplexCatalogUpdateAspectTypeOperator

Disponible en la versión 21.0.0.

Versiones: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CloudDataCatalogHook

Se dio de baja en la versión 16.1.0.

Versiones: composer-3-airflow-2.10.5-build.12 y composer-2.14.0-airflow-2.10.5.

DataplexHook

Disponible en la versión 21.0.0.

Versiones: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

TextEmbeddingModelGetEmbeddingsOperator

Se dio de baja en la versión 18.1.0.

Versiones: composer-3-airflow-2.10.5-build.22 y composer-2.16.0-airflow-2.10.5.

GenAIGenerateEmbeddingsOperator

Disponible en la versión 21.0.0.

Versiones: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

GenerativeModelGenerateContentOperator

Se dio de baja en la versión 18.1.0.

Versiones: composer-3-airflow-2.10.5-build.22 y composer-2.16.0-airflow-2.10.5.

GenAIGenerateContentOperator

Disponible en la versión 21.0.0.

Versiones: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

SupervisedFineTuningTrainOperator

Se dio de baja en la versión 18.1.0.

Versiones: composer-3-airflow-2.10.5-build.22 y composer-2.16.0-airflow-2.10.5.

GenAISupervisedFineTuningTrainOperator

Disponible en la versión 21.0.0.

Versiones: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CountTokensOperator

Se dio de baja en la versión 18.1.0.

Versiones: composer-3-airflow-2.10.5-build.22 y composer-2.16.0-airflow-2.10.5.

GenAICountTokensOperator

Disponible en la versión 21.0.0.

Versiones: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

CreateCachedContentOperator

Se dio de baja en la versión 18.1.0.

Versiones: composer-3-airflow-2.10.5-build.22 y composer-2.16.0-airflow-2.10.5.

GenAICreateCachedContentOperator

Disponible en la versión 21.0.0.

Versiones: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

GenerateFromCachedContentOperator

Se dio de baja en la versión 18.1.0.

Versiones: composer-3-airflow-2.10.5-build.22 y composer-2.16.0-airflow-2.10.5.

GenAIGenerateContentOperator

Disponible en la versión 21.0.0.

Versiones: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

DeleteExperimentRunOperator

Se dio de baja en la versión 18.1.0.

Versiones: composer-3-airflow-2.10.5-build.22 y composer-2.16.0-airflow-2.10.5.

DeleteExperimentRunOperator

Disponible en la versión 21.0.0.

Versiones: composer-3-airflow-3.1.7-build.11, composer-3-airflow-2.11.1-build.7, composer-2.17.4-airflow-2.11.1.

TranslationLegacyModelLink

Se quitó en la versión 19.0.0.

Versiones: composer-3-airflow-2.10.5-build.22 y composer-2.16.0-airflow-2.10.5.

TranslationModelLink

Disponible en la versión 16.0.0.

Versiones: composer-3-airflow-2.10.5-build.12 y composer-2.14.0-airflow-2.10.5.

TranslationDatasetListLink

Se quitó en la versión 19.0.0.

Versiones: composer-3-airflow-2.10.5-build.22 y composer-2.16.0-airflow-2.10.5.

TranslationDatasetsListLink

Disponible en la versión 16.0.0.

Versiones: composer-3-airflow-2.10.5-build.12 y composer-2.14.0-airflow-2.10.5.

TranslationLegacyDatasetLink

Se quitó en la versión 19.0.0.

Versiones: composer-3-airflow-2.10.5-build.22 y composer-2.16.0-airflow-2.10.5.

TranslationDatasetsListLink

Disponible en la versión 16.0.0.

Versiones: composer-3-airflow-2.10.5-build.12 y composer-2.14.0-airflow-2.10.5.

TranslationLegacyModelTrainLink

Se quitó en la versión 19.0.0.

Versiones: composer-3-airflow-2.10.5-build.22 y composer-2.16.0-airflow-2.10.5.

TranslationModelsListLink

Disponible en la versión 16.0.0.

Versiones: composer-3-airflow-2.10.5-build.12 y composer-2.14.0-airflow-2.10.5.

¿Qué sigue?