Airflow DAG を書き込む

Managed Airflow（第 3 世代） | Managed Airflow（第 2 世代） | Managed Airflow（以前の第 1 世代）

このガイドでは、Managed Service for Apache Airflow 環境で実行する Apache Airflow 有向非巡回グラフ（DAG）の作成方法を説明します。

Apache Airflow では強固な DAG とタスクの分離が実現されないため、DAG の干渉を回避するために分離された状態で本番環境とテスト環境を使用することをおすすめします。詳細については、DAG のテストをご覧ください。

Airflow DAG の構造化

Airflow DAG は Python ファイルで定義されており、以下のコンポーネントで構成されています。

  • DAG 定義
  • Airflow オペレーター
  • オペレーターの関係

次のコード スニペットは、コンテキスト外の各コンポーネントの例を示しています。

DAG の定義

次の例は、Airflow DAG の定義を示しています。

import datetime

from airflow import models

default_dag_args = {
    # The start_date describes when a DAG is valid / can be run. Set this to a
    # fixed point in time rather than dynamically, since it is evaluated every
    # time a DAG is parsed. See:
    # https://airflow.apache.org/faq.html#what-s-the-deal-with-start-date
    "start_date": datetime.datetime(2018, 1, 1),
}

# Define a DAG (directed acyclic graph) of tasks.
# Any task you create within the context manager is automatically added to the
# DAG object.
with models.DAG(
    "composer_sample_simple_greeting",
    schedule_interval=datetime.timedelta(days=1),
    default_args=default_dag_args,
) as dag:

オペレーターとタスク

Airflow 演算子は行う処理を記述します。タスクタスクは、演算子の特定のインスタンスです。

from airflow.operators.bash import BashOperator
from airflow.operators.python import PythonOperator

    def greeting():
        import logging

        logging.info("Hello World!")

    # An instance of an operator is called a task. In this case, the
    # hello_python task calls the "greeting" Python function.
    hello_python = PythonOperator(task_id="hello", python_callable=greeting)

    # Likewise, the goodbye_bash task calls a Bash script.
    goodbye_bash = BashOperator(task_id="bye", bash_command="echo Goodbye.")

タスクの関係

タスクの関係は、作業を完了する必要がある順序を記述します。

# Define the order in which the tasks complete by using the >> and <<
# operators. In this example, hello_python executes before goodbye_bash.
hello_python >> goodbye_bash

Python の完全な DAG ワークフローの例

次のワークフローは、hello_python タスクと goodbye_bash タスクという 2 つのタスクで構成される完全な作業用 DAG テンプレートです。


import datetime

from airflow import models

from airflow.operators.bash import BashOperator
from airflow.operators.python import PythonOperator



default_dag_args = {
    # The start_date describes when a DAG is valid / can be run. Set this to a
    # fixed point in time rather than dynamically, since it is evaluated every
    # time a DAG is parsed. See:
    # https://airflow.apache.org/faq.html#what-s-the-deal-with-start-date
    "start_date": datetime.datetime(2018, 1, 1),
}

# Define a DAG (directed acyclic graph) of tasks.
# Any task you create within the context manager is automatically added to the
# DAG object.
with models.DAG(
    "composer_sample_simple_greeting",
    schedule_interval=datetime.timedelta(days=1),
    default_args=default_dag_args,
) as dag:
    def greeting():
        import logging

        logging.info("Hello World!")

    # An instance of an operator is called a task. In this case, the
    # hello_python task calls the "greeting" Python function.
    hello_python = PythonOperator(task_id="hello", python_callable=greeting)

    # Likewise, the goodbye_bash task calls a Bash script.
    goodbye_bash = BashOperator(task_id="bye", bash_command="echo Goodbye.")

    # Define the order in which the tasks complete by using the >> and <<
    # operators. In this example, hello_python executes before goodbye_bash.
    hello_python >> goodbye_bash

Airflow DAG の定義の詳細については、Airflow チュートリアルと Airflow のコンセプトをご覧ください。

Airflow オペレーター

次の例は、いくつかの一般的な Airflow オペレーターを示しています。Airflow オペレーターの信頼できるリファレンスについては、オペレーターとフックのリファレンスとプロバイダ インデックスをご覧ください。

BashOperator

BashOperator を使用してコマンドライン プログラムを実行します。

from airflow.operators import bash

    # Create BigQuery output dataset.
    make_bq_dataset = bash.BashOperator(
        task_id="make_bq_dataset",
        # Executing 'bq' command requires Google Cloud SDK which comes
        # preinstalled in Cloud Composer.
        bash_command=f"bq ls {bq_dataset_name} || bq mk {bq_dataset_name}",
    )

Managed Airflow では、Airflow ワーカーの bash スクリプトで、指定されたコマンドが実行されます。ワーカーは Debian ベースの Docker コンテナであり、いくつかのパッケージが含まれています。

PythonOperator

PythonOperator を使用して任意の Python コードを実行します。

環境で使用される Managed Airflow イメージのバージョンのパッケージを含むコンテナ内で、Managed Airflow によって Python コードが実行されます。

追加の Python パッケージをインストールするには、Python 依存関係のインストールをご覧ください。

Google Cloud 演算子

Google Cloud プロダクトを使用するタスクを実行するには、Google Cloud Airflow 演算子を使用します。たとえば、BigQuery 演算子は、BigQuery でデータのクエリ、処理を行います。

Google Cloud Google Cloudが提供する個々のサービス用の Airflow 演算子が多数あります。完全なリストについては、Google Cloud 演算子をご覧ください。

from airflow.providers.google.cloud.operators import bigquery
from airflow.providers.google.cloud.transfers import bigquery_to_gcs

    bq_recent_questions_query = bigquery.BigQueryInsertJobOperator(
        task_id="bq_recent_questions_query",
        configuration={
            "query": {
                "query": RECENT_QUESTIONS_QUERY,
                "useLegacySql": False,
                "destinationTable": {
                    "projectId": project_id,
                    "datasetId": bq_dataset_name,
                    "tableId": bq_recent_questions_table_id,
                },
            }
        },
        location=location,
    )

EmailOperator

DAG からメールを送信するには、EmailOperator を使用します。Managed Airflow 環境からメールを送信するには、SendGrid を使用するように環境を構成します。

from airflow.operators import email

    # Send email confirmation (you will need to set up the email operator
    # See https://cloud.google.com/composer/docs/how-to/managing/creating#notification
    # for more info on configuring the email operator in Cloud Composer)
    email_summary = email.EmailOperator(
        task_id="email_summary",
        to="{{var.value.email}}",
        subject="Sample BigQuery notify data ready",
        html_content="""
        Analyzed Stack Overflow posts data from {min_date} 12AM to {max_date}
        12AM. The most popular question was '{question_title}' with
        {view_count} views. Top 100 questions asked are now available at:
        {export_location}.
        """.format(
            min_date=min_query_date,
            max_date=max_query_date,
            question_title=(
                "{{ ti.xcom_pull(task_ids='bq_read_most_popular', "
                "key='return_value')[0][0] }}"
            ),
            view_count=(
                "{{ ti.xcom_pull(task_ids='bq_read_most_popular', "
                "key='return_value')[0][1] }}"
            ),
            export_location=output_file,
        ),
    )

オペレーター失敗時の通知

DAG 内のオペレーターが失敗したときにメール通知を送信するには、email_on_failure を True に設定します。Managed Airflow 環境からメール通知を送信するには、SendGrid を使用するように環境を構成する必要があります。

from airflow import models

default_dag_args = {
    "start_date": yesterday,
    # Email whenever an Operator in the DAG fails.
    "email": "{{var.value.email}}",
    "email_on_failure": True,
    "email_on_retry": False,
    "retries": 1,
    "retry_delay": datetime.timedelta(minutes=5),
    "project_id": project_id,
}

with models.DAG(
    "composer_sample_bq_notify",
    schedule_interval=datetime.timedelta(weeks=4),
    default_args=default_dag_args,
) as dag:

DAG ワークフローのガイドライン

  • ネストされたディレクトリの DAG の ZIP アーカイブにカスタム Python ライブラリを配置します。ライブラリは DAG ディレクトリの最上位には配置しないでください。

    Airflow が dags/ フォルダをスキャンするとき、DAG フォルダの最上位にある Python モジュールの DAG、および最上位の dags/ フォルダに配置された ZIP アーカイブの最上位にある Python モジュールの DAG のみがチェックされます。部分文字列 airflow と DAG の両方を含まない ZIP アーカイブ内の Python モジュールが存在する場合、Airflow は ZIP アーカイブの処理を停止します。Airflow はその時点までに見つかった DAG のみを返します。

  • フォールト トラレンスのために、同じ Python モジュール内に複数の DAG オブジェクトを定義しないでください。

  • SubDAG を使用しないでください。代わりに、DAG 内にタスクをグループ化します。

  • DAG 解析に必要なファイルは、data/ ディレクトリではなく、dags/ フォルダに配置します。

  • DAG の単体テストを実装します。

  • DAG のテスト手順で推奨されているように、開発または変更された DAG をテストします。

  • 開発された DAG によって DAG 解析時間が過剰に増加していないことを確認します。

  • Airflow タスクは、いくつかの理由で失敗することがあります。DAG の実行全体のエラーを回避するには、タスクの再試行を有効にすることをおすすめします。 最大再試行回数を 0 に設定すると、再試行は行われなくなります。

    default_task_retries オプションをオーバーライドし、タスク再試行の値を 0 以外に設定することをおすすめします。また、タスクレベルで retries パラメータを設定できます。

  • Airflow タスクで GPU を使用する場合は、GPU 搭載マシンを使用するノードに基づいて、別の GKE クラスタを作成します。GKEStartPodOperator を使用してタスクを実行します。

  • CPU とメモリを大量に消費するタスクを、他の Airflow コンポーネント（スケジューラ、ワーカー、ウェブサーバー）が実行されているクラスタのノードプールで実行しないでください。 代わりに、KubernetesPodOperator または GKEStartPodOperator を使用します。

  • DAG を環境にデプロイする場合は、DAG の解釈と実行に不可欠なファイルのみを /dags フォルダにアップロードします。

  • /dags フォルダ内の DAG ファイルの数を制限します。

    Airflow は、/dags フォルダ内の DAG を継続的に解析します。解析は、DAG フォルダをくまなくループするプロセスであり、（依存関係とともに）読み込む必要があるファイル数は、DAG の解析とタスクのスケジューリングのパフォーマンスに影響を及ぼします。DAG が 100 個あるファイルを 100 個使用するほうが、1 個の DAG を 10,000 個使用するよりはるかに効率的であるため、このような最適化をおすすめします。この最適化は、解析時間と DAG の作成と管理の効率のバランスを取るものです。

    また、たとえば、10,000 個の DAG ファイルをデプロイするには、それぞれに 100 個の DAG ファイルを含む 100 個の ZIP ファイルを作成することができます。

    前述のヒントに加えて、10,000 個を超える DAG ファイルがある場合は、プログラムによる方法で DAG を生成するのが適切な選択肢である可能性があります。たとえば、いくつかの DAG オブジェクト（例: 20,100 個の DAG オブジェクト）を生成する単一の Python DAG ファイルを実装できます。

  • サポートが終了した Airflow 演算子の使用を回避する代わりに、最新の代替手段を使用します。

  • ロギングの処理に CloudLoggingHandler を使用しないでください。このロギング ハンドラにより、環境のデータベースが過負荷になり、その後の DAG の失敗で「サーバーが予期せず接続を閉じました」というエラーが発生します。

DAG の作成に関するよくある質問

複数の DAG で同じまたは類似したタスクを実行する場合、コードの繰り返しを最小限に抑えるにはどうすればよいですか？

コードの繰り返しを最小限に抑えるには、ライブラリを定義したりラッパーを定義したりすることをおすすめします。

DAG ファイル間でコードを再利用するにはどうすればよいですか？

ユーティリティ関数をローカルの Python ライブラリに入れて、その関数をインポートしてください。環境のバケット内の dags/ フォルダに置かれた任意の DAG の関数を参照できます。

異なる定義が作成されるリスクを最小限に抑えるにはどうすればよいですか？

たとえば、元データを集計して収益の指標を作成しようとしているチームが 2 つあるとします。これらのチームが同じ目的を達成するために、2 つのわずかに異なったタスクを作成する場合を考えてください。その場合、収益データの処理に対するライブラリを定義すると、DAG の実装者が、集計対象の収益の定義を明確にできます。

DAG 間の依存関係を設定するにはどうすればよいですか？

これは依存関係をどのように定義するかによって異なります。

DAG A と DAG B の 2 つの DAG があり、DAG A の後に DAG B をトリガーする場合は、DAG A の末尾に TriggerDagRunOperator を配置します。

DAG B が Pub/Sub メッセージなどの DAG A が生成するアーティファクトのみに依存している場合は、センサーを使用するほうが有効な場合があります。

DAG B が DAG A と密に統合されている場合は、2 つの DAG を 1 つの DAG にマージできる場合があります。

DAG とそのタスクに一意の実行 ID を渡すにはどうすればよいですか？

たとえば、Dataproc のクラスタ名とファイルパスを渡すとします。

ランダムな一意の ID は、PythonOperator で str(uuid.uuid4()) を返すことにより生成できます。これにより ID が XComs に配置され、テンプレート フィールドを介して他のオペレーターで ID を参照できるようになります。

DagRun 固有の ID のほうが有用な場合もあるので、uuid を生成する前にその可能性を検討してください。マクロを使用して Jinja 置換でこれらの ID を参照することもできます。

DAG のタスクを分けるにはどうすればよいですか？

各タスクは、べき等の作業ユニットである必要があります。そのため、PythonOperator 内で実行される複雑なプログラムのように、単一タスク内でマルチステップ ワークフローをカプセル化するのを避ける必要があります。

複数のソースからのデータを集計する場合、単一の DAG に複数のタスクを定義するべきですか？

たとえば、元データを含む複数のテーブルがあり、各テーブルの日次集計を作成するとします。タスクは互いに依存していません。この場合、各テーブルにタスクと DAG を 1 つずつ作成するべきでしょうか、それとも、1つの大きな DAG を作成しますか。

各タスクで、複数の同じ DAG レベルのプロパティ（schedule など）を共有しても差し支えない場合は、単一の DAG に複数のタスクを定義するのが有効な選択肢です。一方、コードの繰り返しを最小限に抑える必要がある場合は、モジュールの globals() に複数の DAG を配置することで、これらを単一の Python モジュールから生成できます。

DAG で実行中の同時タスクの数を制限するにはどうすればよいですか？

たとえば、API の使用量上限や割り当ての超過を回避する、または過剰な同時プロセスの実行を回避する必要がある場合が該当します。

Airflow ウェブ UI で Airflow Pools を定義し、DAG 内のタスクを既存のプールに関連付けることができます。

オペレーターの使用に関するよくある質問

DockerOperator を使用するべきですか？

リモートでの Docker のインストール（環境のクラスタ内ではありません）でコンテナの起動に使用されていない場合は、DockerOperator の使用はおすすめしません。Managed Airflow 環境では、オペレーターは Docker デーモンにアクセスできません。

代わりに、KubernetesPodOperator または GKEStartPodOperator を使用します。これらのオペレーターは、Kubernetes Pod をそれぞれ Kubernetes クラスタまたは GKE クラスタに起動します。環境のクラスタに Pod を起動することは、リソースが競合する可能性があるためおすすめしません。

SubDagOperator を使用するべきですか？

SubDagOperator の使用はおすすめしません。

タスクのグループ化に記載されている代替手法を使用します

Python オペレーターを完全に分離するには、PythonOperators 内でのみ Python コードを実行するべきですか？

目的に応じていくつかの選択肢があります。

Python 依存関係の分離を維持することが唯一の目的である場合は、PythonVirtualenvOperator を使用できます。

KubernetesPodOperator の使用を検討してください。このオペレーターを使用すると、Kubernetes Pod を定義して、他のクラスタで Pod を実行できます。

カスタムのバイナリ パッケージや非 PyPI パッケージを追加するにはどうすればよいですか？

プライベート パッケージ リポジトリでホストされているパッケージをインストールできます。

DAG とそのタスクに対して一律に引数を渡すにはどうすればよいですか？

Jinja テンプレートに対する Airflow の組み込みサポートを使用して、テンプレート フィールドで使用できる引数を渡すことができます。

テンプレート置換はいつ行われますか？

テンプレート置換は、オペレーターの pre_execute 関数が呼び出される直前の Airflow ワーカーで行われます。これは、実際にはタスクが実行される直前までテンプレート置換が行われないことを意味します。

どの演算子引数がテンプレート置換をサポートするのかを知るにはどうすればよいですか？

Jinja2 のテンプレート置換をサポートするオペレーターの引数は、そのように明示的にマークされます。

オペレーターの定義内の template_fields フィールドを確認してください。このフィールドにテンプレート置換の対象となる引数名のリストが示されています。

たとえば、BashOperator では、引数 bash_command および env のテンプレートがサポートされています。

非推奨になった Airflow 演算子と削除された Airflow 演算子

次の表に示す Airflow 演算子はサポートが終了しました。

  • DAG ではこれらの演算子を使用しないでください。代わりに、提供されている最新の置換演算子を使用します。

  • 演算子が [削除済み] として表示されている場合、その演算子は、Managed Airflow（第 3 世代）のリリース済み Airflow ビルドのいずれかですでに使用できなくなっています。

  • 演算子が [非推奨] として表示されている場合、その演算子は非推奨であり、今後の Airflow ビルドで削除されます。

非推奨の演算子 置換演算子

GCSObjectsWtihPrefixExistenceSensor

7.0.0 で削除されました。

バージョン: composer-3-*, composer-2.0.28-airflow-2.3.3。

GCSObjectsWithPrefixExistenceSensor

2.0.0 で利用可能。

バージョン: composer-3-*, composer-2-*.

CreateAutoMLTextTrainingJobOperator

11.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.0、composer-3-airflow-2.10.2-build.12、composer-3-airflow-2.9.3-build.19、composer-2.12.1-airflow-2.10.5、composer-2.12.0-airflow-2.10.2、composer-2.12.0-airflow-2.9.3。

SupervisedFineTuningTrainOperator

10.23.0 で利用可能。

バージョン: composer-3-airflow-2.9.3-build.1、composer-3-airflow-2.9.1-build.8、composer-2.9.5-airflow-2.9.3、composer-2.9.5-airflow-2.9.1。

GKEDeploymentHook

11.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.0、composer-3-airflow-2.10.2-build.12、composer-3-airflow-2.9.3-build.19、composer-2.12.1-airflow-2.10.5、composer-2.12.0-airflow-2.10.2、composer-2.12.0-airflow-2.9.3。

GKEKubernetesHook

10.17.0 で利用可能です。

バージョン: composer-3-*, composer-2.7.1-airflow-2.7.3。

GKECustomResourceHook

11.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.0、composer-3-airflow-2.10.2-build.12、composer-3-airflow-2.9.3-build.19、composer-2.12.1-airflow-2.10.5、composer-2.12.0-airflow-2.10.2、composer-2.12.0-airflow-2.9.3。

GKEKubernetesHook

10.17.0 で利用可能です。

バージョン: composer-3-*, composer-2.7.1-airflow-2.7.3。

GKEPodHook

11.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.0、composer-3-airflow-2.10.2-build.12、composer-3-airflow-2.9.3-build.19、composer-2.12.1-airflow-2.10.5、composer-2.12.0-airflow-2.10.2、composer-2.12.0-airflow-2.9.3。

GKEKubernetesHook

10.17.0 で利用可能です。

バージョン: composer-3-*, composer-2.7.1-airflow-2.7.3。

GKEJobHook

11.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.0、composer-3-airflow-2.10.2-build.12、composer-3-airflow-2.9.3-build.19、composer-2.12.1-airflow-2.10.5、composer-2.12.0-airflow-2.10.2、composer-2.12.0-airflow-2.9.3。

GKEKubernetesHook

10.17.0 で利用可能です。

バージョン: composer-3-*, composer-2.7.1-airflow-2.7.3。

GKEPodAsyncHook

11.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.0、composer-3-airflow-2.10.2-build.12、composer-3-airflow-2.9.3-build.19、composer-2.12.1-airflow-2.10.5、composer-2.12.0-airflow-2.10.2、composer-2.12.0-airflow-2.9.3。

GKEKubernetesAsyncHook

10.17.0 で利用可能です。

バージョン: composer-3-*, composer-2.7.1-airflow-2.7.3。

SecretsManagerHook

11.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.0、composer-3-airflow-2.10.2-build.12、composer-3-airflow-2.9.3-build.19、composer-2.12.1-airflow-2.10.5、composer-2.12.0-airflow-2.10.2、composer-2.12.0-airflow-2.9.3。

GoogleCloudSecretManagerHook

10.18.0 で利用可能。

バージョン: composer-3-airflow-2.7.3-build.6、composer-2.8.3-airflow-2.7.3。

BigQueryExecuteQueryOperator

11.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.0、composer-3-airflow-2.10.2-build.12、composer-3-airflow-2.9.3-build.19、composer-2.12.1-airflow-2.10.5、composer-2.12.0-airflow-2.10.2、composer-2.12.0-airflow-2.9.3。

BigQueryInsertJobOperator

1.0.0 で利用可能。

バージョン: composer-3-*, composer-2-*.

BigQueryPatchDatasetOperator

11.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.0、composer-3-airflow-2.10.2-build.12、composer-3-airflow-2.9.3-build.19、composer-2.12.1-airflow-2.10.5、composer-2.12.0-airflow-2.10.2、composer-2.12.0-airflow-2.9.3。

BigQueryUpdateDatasetOperator

1.0.0 で利用可能。

バージョン: composer-3-*, composer-2-*.

DataflowCreateJavaJobOperator

11.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.0、composer-3-airflow-2.10.2-build.12、composer-3-airflow-2.9.3-build.19、composer-2.12.1-airflow-2.10.5、composer-2.12.0-airflow-2.10.2、composer-2.12.0-airflow-2.9.3。

beam.BeamRunJavaPipelineOperator

apache-airflow-providers-apache-beam==1.0.0 で使用できます。

バージョン: composer-3-*, composer-2-*.

DataflowCreatePythonJobOperator

11.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.0、composer-3-airflow-2.10.2-build.12、composer-3-airflow-2.9.3-build.19、composer-2.12.1-airflow-2.10.5、composer-2.12.0-airflow-2.10.2、composer-2.12.0-airflow-2.9.3。

beam.BeamRunPythonPipelineOperator

apache-airflow-providers-apache-beam==1.0.0 で使用できます。

バージョン: composer-3-*, composer-2-*.

DataprocSubmitPigJobOperator

11.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.0、composer-3-airflow-2.10.2-build.12、composer-3-airflow-2.9.3-build.19、composer-2.12.1-airflow-2.10.5、composer-2.12.0-airflow-2.10.2、composer-2.12.0-airflow-2.9.3。

DataprocSubmitJobOperator

1.0.0 で利用可能。

バージョン: composer-3-*, composer-2-*.

DataprocSubmitHiveJobOperator

11.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.0、composer-3-airflow-2.10.2-build.12、composer-3-airflow-2.9.3-build.19、composer-2.12.1-airflow-2.10.5、composer-2.12.0-airflow-2.10.2、composer-2.12.0-airflow-2.9.3。

DataprocSubmitJobOperator

1.0.0 で利用可能。

バージョン: composer-3-*, composer-2-*.

DataprocSubmitSparkSqlJobOperator

11.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.0、composer-3-airflow-2.10.2-build.12、composer-3-airflow-2.9.3-build.19、composer-2.12.1-airflow-2.10.5、composer-2.12.0-airflow-2.10.2、composer-2.12.0-airflow-2.9.3。

DataprocSubmitJobOperator

1.0.0 で利用可能。

バージョン: composer-3-*, composer-2-*.

DataprocSubmitSparkJobOperator

11.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.0、composer-3-airflow-2.10.2-build.12、composer-3-airflow-2.9.3-build.19、composer-2.12.1-airflow-2.10.5、composer-2.12.0-airflow-2.10.2、composer-2.12.0-airflow-2.9.3。

DataprocSubmitJobOperator

1.0.0 で利用可能。

バージョン: composer-3-*, composer-2-*.

DataprocSubmitHadoopJobOperator

11.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.0、composer-3-airflow-2.10.2-build.12、composer-3-airflow-2.9.3-build.19、composer-2.12.1-airflow-2.10.5、composer-2.12.0-airflow-2.10.2、composer-2.12.0-airflow-2.9.3。

DataprocSubmitJobOperator

1.0.0 で利用可能。

バージョン: composer-3-*, composer-2-*.

DataprocSubmitPySparkJobOperator

11.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.0、composer-3-airflow-2.10.2-build.12、composer-3-airflow-2.9.3-build.19、composer-2.12.1-airflow-2.10.5、composer-2.12.0-airflow-2.10.2、composer-2.12.0-airflow-2.9.3。

DataprocSubmitJobOperator

1.0.0 で利用可能。

バージョン: composer-3-*, composer-2-*.

BigQueryTableExistenceAsyncSensor

11.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.0、composer-3-airflow-2.10.2-build.12、composer-3-airflow-2.9.3-build.19、composer-2.12.1-airflow-2.10.5、composer-2.12.0-airflow-2.10.2、composer-2.12.0-airflow-2.9.3。

BigQueryTableExistenceSensor

8.12.0 で利用可能。

バージョン: composer-3-*, composer-2.3.0-airflow-2.5.1、composer-2.3.0-airflow-2.4.3。

BigQueryTableExistencePartitionAsyncSensor

11.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.0、composer-3-airflow-2.10.2-build.12、composer-3-airflow-2.9.3-build.19、composer-2.12.1-airflow-2.10.5、composer-2.12.0-airflow-2.10.2、composer-2.12.0-airflow-2.9.3。

BigQueryTablePartitionExistenceSensor

8.12.0 で利用可能。

バージョン: composer-3-*, composer-2.3.0-airflow-2.5.1、composer-2.3.0-airflow-2.4.3。

CloudComposerEnvironmentSensor

11.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.0、composer-3-airflow-2.10.2-build.12、composer-3-airflow-2.9.3-build.19、composer-2.12.1-airflow-2.10.5、composer-2.12.0-airflow-2.10.2、composer-2.12.0-airflow-2.9.3。

CloudComposerCreateEnvironmentOperator、CloudComposerDeleteEnvironmentOperator、CloudComposerUpdateEnvironmentOperator

8.13.0 で利用可能。

バージョン: composer-3-*, composer-2.3.0-airflow-2.5.1、composer-2.3.0-airflow-2.4.3。

GCSObjectExistenceAsyncSensor

11.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.0、composer-3-airflow-2.10.2-build.12、composer-3-airflow-2.9.3-build.19、composer-2.12.1-airflow-2.10.5、composer-2.12.0-airflow-2.10.2、composer-2.12.0-airflow-2.9.3。

GCSObjectExistenceSensor

8.12.0 で利用可能。

バージョン: composer-3-*, composer-2.3.0-airflow-2.5.1、composer-2.3.0-airflow-2.4.3。

GoogleAnalyticsHook

11.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.0、composer-3-airflow-2.10.2-build.12、composer-3-airflow-2.9.3-build.19、composer-2.12.1-airflow-2.10.5、composer-2.12.0-airflow-2.10.2、composer-2.12.0-airflow-2.9.3。

GoogleAnalyticsAdminHook

8.14.0 で利用可能。

バージョン: composer-3-*, composer-2.3.0-airflow-2.5.1、composer-2.3.0-airflow-2.4.3。

GoogleAnalyticsListAccountsOperator

11.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.0、composer-3-airflow-2.10.2-build.12、composer-3-airflow-2.9.3-build.19、composer-2.12.1-airflow-2.10.5、composer-2.12.0-airflow-2.10.2、composer-2.12.0-airflow-2.9.3。

GoogleAnalyticsAdminListAccountsOperator

8.14.0 で利用可能。

バージョン: composer-3-*, composer-2.3.0-airflow-2.5.1、composer-2.3.0-airflow-2.4.3。

GoogleAnalyticsGetAdsLinkOperator

11.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.0、composer-3-airflow-2.10.2-build.12、composer-3-airflow-2.9.3-build.19、composer-2.12.1-airflow-2.10.5、composer-2.12.0-airflow-2.10.2、composer-2.12.0-airflow-2.9.3。

GoogleAnalyticsAdminGetGoogleAdsLinkOperator

8.14.0 で利用可能。

バージョン: composer-3-*, composer-2.3.0-airflow-2.5.1、composer-2.3.0-airflow-2.4.3。

GoogleAnalyticsRetrieveAdsLinksListOperator

11.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.0、composer-3-airflow-2.10.2-build.12、composer-3-airflow-2.9.3-build.19、composer-2.12.1-airflow-2.10.5、composer-2.12.0-airflow-2.10.2、composer-2.12.0-airflow-2.9.3。

GoogleAnalyticsAdminListGoogleAdsLinksOperator

8.14.0 で利用可能。

バージョン: composer-3-*, composer-2.3.0-airflow-2.5.1、composer-2.3.0-airflow-2.4.3。

GoogleAnalyticsDataImportUploadOperator

11.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.0、composer-3-airflow-2.10.2-build.12、composer-3-airflow-2.9.3-build.19、composer-2.12.1-airflow-2.10.5、composer-2.12.0-airflow-2.10.2、composer-2.12.0-airflow-2.9.3。

GoogleAnalyticsAdminCreateDataStreamOperator

8.14.0 で利用可能。

バージョン: composer-3-*, composer-2.3.0-airflow-2.5.1、composer-2.3.0-airflow-2.4.3。

GoogleAnalyticsDeletePreviousDataUploadsOperator

11.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.0、composer-3-airflow-2.10.2-build.12、composer-3-airflow-2.9.3-build.19、composer-2.12.1-airflow-2.10.5、composer-2.12.0-airflow-2.10.2、composer-2.12.0-airflow-2.9.3。

GoogleAnalyticsAdminDeleteDataStreamOperator

8.14.0 で利用可能。

バージョン: composer-3-*, composer-2.3.0-airflow-2.5.1、composer-2.3.0-airflow-2.4.3。

DataPipelineHook

12.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.0、composer-3-airflow-2.10.2-build.12、composer-3-airflow-2.9.3-build.19、composer-2.12.1-airflow-2.10.5、composer-2.12.0-airflow-2.10.2、composer-2.12.0-airflow-2.9.3。

DataflowHook

10.20.0 で利用可能。

バージョン: composer-3-airflow-2.9.1-build.0、composer-3-airflow-2.7.3-build.9、composer-2.8.6-airflow-2.9.1、composer-2.8.6-airflow-2.7.3。

CreateDataPipelineOperator

12.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.0、composer-3-airflow-2.10.2-build.12、composer-3-airflow-2.9.3-build.19、composer-2.12.1-airflow-2.10.5、composer-2.12.0-airflow-2.10.2、composer-2.12.0-airflow-2.9.3。

DataflowCreatePipelineOperator

10.20.0 で利用可能。

バージョン: composer-3-airflow-2.9.1-build.0、composer-3-airflow-2.7.3-build.9、composer-2.8.6-airflow-2.9.1、composer-2.8.6-airflow-2.7.3。

RunDataPipelineOperator

12.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.0、composer-3-airflow-2.10.2-build.12、composer-3-airflow-2.9.3-build.19、composer-2.12.1-airflow-2.10.5、composer-2.12.0-airflow-2.10.2、composer-2.12.0-airflow-2.9.3。

DataflowRunPipelineOperator

10.20.0 で利用可能。

バージョン: composer-3-airflow-2.9.1-build.0、composer-3-airflow-2.7.3-build.9、composer-2.8.6-airflow-2.9.1、composer-2.8.6-airflow-2.7.3。

AutoMLBatchPredictOperator

13.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.0、composer-3-airflow-2.10.2-build.12、composer-3-airflow-2.9.3-build.19、composer-2.12.1-airflow-2.10.5、composer-2.12.0-airflow-2.10.2、composer-2.12.0-airflow-2.9.3。

vertex_ai.batch_prediction_job

10.24.0 で利用可能。

バージョン: composer-3-airflow-2.9.3-build.4、composer-2.9.8-airflow-2.9.3。

PromptLanguageModelOperator

13.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.0、composer-3-airflow-2.10.2-build.12、composer-3-airflow-2.9.3-build.19、composer-2.12.1-airflow-2.10.5、composer-2.12.0-airflow-2.10.2、composer-2.12.0-airflow-2.9.3。

TextGenerationModelPredictOperator

10.21.0 で利用可能。

バージョン: composer-3-airflow-2.9.1-build.0、composer-3-airflow-2.7.3-build.9、composer-2.8.6-airflow-2.9.1、composer-2.8.6-airflow-2.7.3。

GenerateTextEmbeddingsOperator

13.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.0、composer-3-airflow-2.10.2-build.12、composer-3-airflow-2.9.3-build.19、composer-2.12.1-airflow-2.10.5、composer-2.12.0-airflow-2.10.2、composer-2.12.0-airflow-2.9.3。

TextEmbeddingModelGetEmbeddingsOperator

10.21.0 で利用可能。

バージョン: composer-3-airflow-2.9.1-build.0、composer-3-airflow-2.7.3-build.9、composer-2.8.6-airflow-2.9.1、composer-2.8.6-airflow-2.7.3。

PromptMultimodalModelOperator

13.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.0、composer-3-airflow-2.10.2-build.12、composer-3-airflow-2.9.3-build.19、composer-2.12.1-airflow-2.10.5、composer-2.12.0-airflow-2.10.2、composer-2.12.0-airflow-2.9.3。

GenerativeModelGenerateContentOperator

10.21.0 で利用可能。

バージョン: composer-3-airflow-2.9.1-build.0、composer-3-airflow-2.7.3-build.9、composer-2.8.6-airflow-2.9.1、composer-2.8.6-airflow-2.7.3。

PromptMultimodalModelWithMediaOperator

13.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.0、composer-3-airflow-2.10.2-build.12、composer-3-airflow-2.9.3-build.19、composer-2.12.1-airflow-2.10.5、composer-2.12.0-airflow-2.10.2、composer-2.12.0-airflow-2.9.3。

GenerativeModelGenerateContentOperator

10.21.0 で利用可能。

バージョン: composer-3-airflow-2.9.1-build.0、composer-3-airflow-2.7.3-build.9、composer-2.8.6-airflow-2.9.1、composer-2.8.6-airflow-2.7.3。

DataflowStartSqlJobOperator

13.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.0、composer-3-airflow-2.10.2-build.12、composer-3-airflow-2.9.3-build.19、composer-2.12.1-airflow-2.10.5、composer-2.12.0-airflow-2.10.2、composer-2.12.0-airflow-2.9.3。

DataflowStartYamlJobOperator

10.23.0 で利用可能。

バージョン: composer-3-airflow-2.9.3-build.1、composer-3-airflow-2.9.1-build.8、composer-2.9.5-airflow-2.9.3、composer-2.9.5-airflow-2.9.1。

DataprocScaleClusterOperator

15.0.0 で削除されました。

バージョン: composer-3-airflow-2.9.3-build.23、composer-3-airflow-2.10.5-build.2、composer-2.13.0-airflow-2.10.5、composer-2.13.1-airflow-2.9.3。

DataprocUpdateClusterOperator

15.0.0 で利用可能。

バージョン: composer-3-airflow-2.9.3-build.23、composer-3-airflow-2.10.5-build.2、composer-2.13.0-airflow-2.10.5、composer-2.13.1-airflow-2.9.3。

MLEngineStartBatchPredictionJobOperator

15.0.0 で削除されました。

バージョン: composer-3-airflow-2.9.3-build.23、composer-3-airflow-2.10.5-build.2、composer-2.13.0-airflow-2.10.5、composer-2.13.1-airflow-2.9.3。

CreateBatchPredictionJobOperator

15.0.0 で利用可能。

バージョン: composer-3-airflow-2.9.3-build.23、composer-3-airflow-2.10.5-build.2、composer-2.13.0-airflow-2.10.5、composer-2.13.1-airflow-2.9.3。

MLEngineManageModelOperator

15.0.0 で削除されました。

バージョン: composer-3-airflow-2.9.3-build.23、composer-3-airflow-2.10.5-build.2、composer-2.13.0-airflow-2.10.5、composer-2.13.1-airflow-2.9.3。

MLEngineCreateModelOperator、MLEngineGetModelOperator

15.0.0 で利用可能。

バージョン: composer-3-airflow-2.9.3-build.23、composer-3-airflow-2.10.5-build.2、composer-2.13.0-airflow-2.10.5、composer-2.13.1-airflow-2.9.3。

MLEngineGetModelOperator

15.0.0 で削除されました。

バージョン: composer-3-airflow-2.9.3-build.23、composer-3-airflow-2.10.5-build.2、composer-2.13.0-airflow-2.10.5、composer-2.13.1-airflow-2.9.3。

GetModelOperator

15.0.0 で利用可能。

バージョン: composer-3-airflow-2.9.3-build.23、composer-3-airflow-2.10.5-build.2、composer-2.13.0-airflow-2.10.5、composer-2.13.1-airflow-2.9.3。

MLEngineDeleteModelOperator

15.0.0 で削除されました。

バージョン: composer-3-airflow-2.9.3-build.23、composer-3-airflow-2.10.5-build.2、composer-2.13.0-airflow-2.10.5、composer-2.13.1-airflow-2.9.3。

DeleteModelOperator

15.0.0 で利用可能。

バージョン: composer-3-airflow-2.9.3-build.23、composer-3-airflow-2.10.5-build.2、composer-2.13.0-airflow-2.10.5、composer-2.13.1-airflow-2.9.3。

MLEngineManageVersionOperator

15.0.0 で削除されました。

バージョン: composer-3-airflow-2.9.3-build.23、composer-3-airflow-2.10.5-build.2、composer-2.13.0-airflow-2.10.5、composer-2.13.1-airflow-2.9.3。

MLEngineCreateVersion、MLEngineSetDefaultVersion、MLEngineListVersions、MLEngineDeleteVersion

15.0.0 で利用可能。

バージョン: composer-3-airflow-2.9.3-build.23、composer-3-airflow-2.10.5-build.2、composer-2.13.0-airflow-2.10.5、composer-2.13.1-airflow-2.9.3。

MLEngineCreateVersionOperator

15.0.0 で削除されました。

バージョン: composer-3-airflow-2.9.3-build.23、composer-3-airflow-2.10.5-build.2、composer-2.13.0-airflow-2.10.5、composer-2.13.1-airflow-2.9.3。

VertexAI 演算子の parent_model パラメータ

15.0.0 で利用可能。

バージョン: composer-3-airflow-2.9.3-build.23、composer-3-airflow-2.10.5-build.2、composer-2.13.0-airflow-2.10.5、composer-2.13.1-airflow-2.9.3。

MLEngineSetDefaultVersionOperator

15.0.0 で削除されました。

バージョン: composer-3-airflow-2.9.3-build.23、composer-3-airflow-2.10.5-build.2、composer-2.13.0-airflow-2.10.5、composer-2.13.1-airflow-2.9.3。

SetDefaultVersionOnModelOperator

15.0.0 で利用可能。

バージョン: composer-3-airflow-2.9.3-build.23、composer-3-airflow-2.10.5-build.2、composer-2.13.0-airflow-2.10.5、composer-2.13.1-airflow-2.9.3。

MLEngineListVersionsOperator

15.0.0 で削除されました。

バージョン: composer-3-airflow-2.9.3-build.23、composer-3-airflow-2.10.5-build.2、composer-2.13.0-airflow-2.10.5、composer-2.13.1-airflow-2.9.3。

ListModelVersionsOperator

15.0.0 で利用可能。

バージョン: composer-3-airflow-2.9.3-build.23、composer-3-airflow-2.10.5-build.2、composer-2.13.0-airflow-2.10.5、composer-2.13.1-airflow-2.9.3。

MLEngineDeleteVersionOperator

15.0.0 で削除されました。

バージョン: composer-3-airflow-2.9.3-build.23、composer-3-airflow-2.10.5-build.2、composer-2.13.0-airflow-2.10.5、composer-2.13.1-airflow-2.9.3。

DeleteModelVersionOperator

15.0.0 で利用可能。

バージョン: composer-3-airflow-2.9.3-build.23、composer-3-airflow-2.10.5-build.2、composer-2.13.0-airflow-2.10.5、composer-2.13.1-airflow-2.9.3。

MLEngineStartTrainingJobOperator

15.0.0 で削除されました。

バージョン: composer-3-airflow-2.9.3-build.23、composer-3-airflow-2.10.5-build.2、composer-2.13.0-airflow-2.10.5、composer-2.13.1-airflow-2.9.3。

CreateCustomPythonPackageTrainingJobOperator

15.0.0 で利用可能。

バージョン: composer-3-airflow-2.9.3-build.23、composer-3-airflow-2.10.5-build.2、composer-2.13.0-airflow-2.10.5、composer-2.13.1-airflow-2.9.3。

MLEngineTrainingCancelJobOperator

15.0.0 で削除されました。

バージョン: composer-3-airflow-2.9.3-build.23、composer-3-airflow-2.10.5-build.2、composer-2.13.0-airflow-2.10.5、composer-2.13.1-airflow-2.9.3。

CancelCustomTrainingJobOperator

15.0.0 で利用可能。

バージョン: composer-3-airflow-2.9.3-build.23、composer-3-airflow-2.10.5-build.2、composer-2.13.0-airflow-2.10.5、composer-2.13.1-airflow-2.9.3。

AutoMLDatasetLink

16.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.12、composer-2.14.0-airflow-2.10.5。

TranslationLegacyDatasetLink

10.19.0 で利用可能。

バージョン: composer-3-airflow-2.9.1-build.0、composer-3-airflow-2.7.3-build.9、composer-2.8.6-airflow-2.9.1、composer-2.8.6-airflow-2.7.3。

AutoMLDatasetListLink

16.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.12、composer-2.14.0-airflow-2.10.5。

TranslationDatasetListLink

10.19.0 で利用可能。

バージョン: composer-3-airflow-2.9.1-build.0、composer-3-airflow-2.7.3-build.9、composer-2.8.6-airflow-2.9.1、composer-2.8.6-airflow-2.7.3。

AutoMLModelLink

16.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.12、composer-2.14.0-airflow-2.10.5。

TranslationLegacyModelLink

10.19.0 で利用可能。

バージョン: composer-3-airflow-2.9.1-build.0、composer-3-airflow-2.7.3-build.9、composer-2.8.6-airflow-2.9.1、composer-2.8.6-airflow-2.7.3。

AutoMLModelTrainLink

16.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.12、composer-2.14.0-airflow-2.10.5。

TranslationLegacyModelTrainLink

10.19.0 で利用可能。

バージョン: composer-3-airflow-2.9.1-build.0、composer-3-airflow-2.7.3-build.9、composer-2.8.6-airflow-2.9.1、composer-2.8.6-airflow-2.7.3。

AutoMLModelPredictLink

16.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.12、composer-2.14.0-airflow-2.10.5。

TranslationLegacyModelPredictLink

10.19.0 で利用可能。

バージョン: composer-3-airflow-2.9.1-build.0、composer-3-airflow-2.7.3-build.9、composer-2.8.6-airflow-2.9.1、composer-2.8.6-airflow-2.7.3。

TextGenerationModelPredictOperator

16.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.12、composer-2.14.0-airflow-2.10.5。

GenerativeModelGenerateContentOperator

16.0.0 で利用可能です。

バージョン: composer-3-airflow-2.10.5-build.12、composer-2.14.0-airflow-2.10.5。

LifeSciencesHook

17.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.12、composer-2.14.0-airflow-2.10.5。

Google Cloud バッチ演算子のフック

17.0.0 で利用可能。

バージョン: composer-3-airflow-2.10.5-build.12、composer-2.14.0-airflow-2.10.5。

LifeSciencesLink

17.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.12、composer-2.14.0-airflow-2.10.5。

代替なし（API は廃止されました）

LifeSciencesRunPipelineOperator

17.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.12、composer-2.14.0-airflow-2.10.5。

Google Cloud バッチ演算子

17.0.0 で利用可能です。

バージョン: composer-3-airflow-2.10.5-build.12、composer-2.14.0-airflow-2.10.5。

BigQueryCreateEmptyTableOperator

17.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.12、composer-2.14.0-airflow-2.10.5。

BigQueryCreateTableOperator

17.0.0 で利用可能です。

バージョン: composer-3-airflow-2.10.5-build.12、composer-2.14.0-airflow-2.10.5。

BigQueryCreateExternalTableOperator

17.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.12、composer-2.14.0-airflow-2.10.5。

BigQueryCreateTableOperator

17.0.0 で利用可能です。

バージョン: composer-3-airflow-2.10.5-build.12、composer-2.14.0-airflow-2.10.5。

GoogleDisplayVideo360CreateQueryOperator

18.0.0 で削除されました。

バージョン: composer-3-airflow-3.1.0-build.2、composer-3-airflow-2.10.5-build.17、composer-2.15.0-airflow-2.10.5。

display_video.GoogleDisplayVideo360CreateSDFDownloadTaskOperator

18.0.0 で利用可能。

バージョン: composer-3-airflow-3.1.0-build.2、composer-3-airflow-2.10.5-build.17、composer-2.15.0-airflow-2.10.5。

GoogleDisplayVideo360RunQueryOperator

18.0.0 で削除されました。

バージョン: composer-3-airflow-3.1.0-build.2、composer-3-airflow-2.10.5-build.17、composer-2.15.0-airflow-2.10.5。

display_video.GoogleDisplayVideo360CreateSDFDownloadTaskOperator

18.0.0 で利用可能。

バージョン: composer-3-airflow-3.1.0-build.2、composer-3-airflow-2.10.5-build.17、composer-2.15.0-airflow-2.10.5。

GoogleDisplayVideo360DeleteReportOperator

18.0.0 で削除されました。

バージョン: composer-3-airflow-3.1.0-build.2、composer-3-airflow-2.10.5-build.17、composer-2.15.0-airflow-2.10.5。

API の v4 での SDF エクスポート タスク

18.0.0 で利用可能。

バージョン: composer-3-airflow-3.1.0-build.2、composer-3-airflow-2.10.5-build.17、composer-2.15.0-airflow-2.10.5。

GoogleDisplayVideo360DownloadReportV2Operator

18.0.0 で削除されました。

バージョン: composer-3-airflow-3.1.0-build.2、composer-3-airflow-2.10.5-build.17、composer-2.15.0-airflow-2.10.5。

display_video.GoogleDisplayVideo360SDFtoGCSOperator

18.0.0 で利用可能。

バージョン: composer-3-airflow-3.1.0-build.2、composer-3-airflow-2.10.5-build.17、composer-2.15.0-airflow-2.10.5。

GoogleDisplayVideo360DownloadLineItemsOperator

18.0.0 で削除されました。

バージョン: composer-3-airflow-3.1.0-build.2、composer-3-airflow-2.10.5-build.17、composer-2.15.0-airflow-2.10.5。

display_video.GoogleDisplayVideo360CreateSDFDownloadTaskOperator

18.0.0 で利用可能。

バージョン: composer-3-airflow-3.1.0-build.2、composer-3-airflow-2.10.5-build.17、composer-2.15.0-airflow-2.10.5。

GoogleDisplayVideo360UploadLineItemsOperator

18.0.0 で削除されました。

バージョン: composer-3-airflow-3.1.0-build.2、composer-3-airflow-2.10.5-build.17、composer-2.15.0-airflow-2.10.5。

display_video.GoogleDisplayVideo360SDFtoGCSOperator

18.0.0 で利用可能。

バージョン: composer-3-airflow-3.1.0-build.2、composer-3-airflow-2.10.5-build.17、composer-2.15.0-airflow-2.10.5。

GoogleDisplayVideo360RunQuerySensor

18.0.0 で削除されました。

バージョン: composer-3-airflow-3.1.0-build.2、composer-3-airflow-2.10.5-build.17、composer-2.15.0-airflow-2.10.5。

API の v4 での SDF エクスポート タスク

18.0.0 で利用可能。

バージョン: composer-3-airflow-3.1.0-build.2、composer-3-airflow-2.10.5-build.17、composer-2.15.0-airflow-2.10.5。

AutoMLPredictOperator

19.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.22、composer-2.16.0-airflow-2.10.5。

TextGenerationModelPredictOperator、TranslateTextOperator

19.0.0 で利用可能。

バージョン: composer-3-airflow-2.10.5-build.22、composer-2.16.0-airflow-2.10.5。

CloudAutoMLHook

19.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.22、composer-2.16.0-airflow-2.10.5。

vertex_ai.auto_ml.AutoMLHook、translate.TranslateHook

19.0.0 で利用可能。

バージョン: composer-3-airflow-2.10.5-build.22、composer-2.16.0-airflow-2.10.5。

AutoMLCreateDatasetOperator

19.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.22、composer-2.16.0-airflow-2.10.5。

vertex_ai.dataset.CreateDatasetOperator、translate.TranslateCreateDatasetOperator

19.0.0 で利用可能。

バージョン: composer-3-airflow-2.10.5-build.22、composer-2.16.0-airflow-2.10.5。

AutoMLDeleteDatasetOperator

19.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.22、composer-2.16.0-airflow-2.10.5。

vertex_ai.dataset.ListDatasetsOperator、translate.TranslateDatasetsListOperator

19.0.0 で利用可能。

バージョン: composer-3-airflow-2.10.5-build.22、composer-2.16.0-airflow-2.10.5。

AutoMLDeleteModelOperator

19.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.22、composer-2.16.0-airflow-2.10.5。

vertex_ai.model_service.DeleteModelOperator、translate.TranslateDeleteModelOperator

19.0.0 で利用可能。

バージョン: composer-3-airflow-2.10.5-build.22、composer-2.16.0-airflow-2.10.5。

AutoMLDeployModelOperator

19.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.22、composer-2.16.0-airflow-2.10.5。

vertex_ai.endpoint_service.DeployModelOperator

19.0.0 で利用可能。

バージョン: composer-3-airflow-2.10.5-build.22、composer-2.16.0-airflow-2.10.5。

AutoMLGetModelOperator

19.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.22、composer-2.16.0-airflow-2.10.5。

vertex_ai.model_service.GetModelOperator

19.0.0 で利用可能。

バージョン: composer-3-airflow-2.10.5-build.22、composer-2.16.0-airflow-2.10.5。

AutoMLImportDataOperator

19.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.22、composer-2.16.0-airflow-2.10.5。

vertex_ai.dataset.ImportDataOperator、translate.TranslateImportDataOperator

19.0.0 で利用可能。

バージョン: composer-3-airflow-2.10.5-build.22、composer-2.16.0-airflow-2.10.5。

AutoMLListDatasetOperator

19.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.22、composer-2.16.0-airflow-2.10.5。

vertex_ai.dataset.ListDatasetsOperator、translate.TranslateDatasetsListOperator

19.0.0 で利用可能。

バージョン: composer-3-airflow-2.10.5-build.22、composer-2.16.0-airflow-2.10.5。

AutoMLTablesListColumnSpecsOperator

19.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.22、composer-2.16.0-airflow-2.10.5。

代替なし（以前のバージョンの AutoML Tables はシャットダウン）

AutoMLTablesListTableSpecsOperator

19.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.22、composer-2.16.0-airflow-2.10.5。

代替なし（以前のバージョンの AutoML Tables はシャットダウン）

AutoMLTablesUpdateDatasetOperator

19.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.22、composer-2.16.0-airflow-2.10.5。

vertex_ai.dataset.UpdateDatasetOperator

19.0.0 で利用可能。

バージョン: composer-3-airflow-2.10.5-build.22、composer-2.16.0-airflow-2.10.5。

AutoMLTrainModelOperator

19.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.22、composer-2.16.0-airflow-2.10.5。

vertex_ai.auto_ml.CreateAutoMLTabularTrainingJobOperator、CreateAutoMLVideoTrainingJobOperator、CreateAutoMLImageTrainingJobOperator、SupervisedFineTuningTrainOperator、TranslateCreateModelOperator

19.0.0 で利用可能。

バージョン: composer-3-airflow-2.10.5-build.22、composer-2.16.0-airflow-2.10.5。

MLEngineCreateModelOperator

19.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.22、composer-2.16.0-airflow-2.10.5。

対応する VertexAI 演算子

19.0.0 で利用可能。

バージョン: composer-3-airflow-2.10.5-build.22、composer-2.16.0-airflow-2.10.5。

DataCatalogEntryGroupLink

16.1.0 で非推奨になりました。

バージョン: composer-3-airflow-2.10.5-build.12、composer-2.14.0-airflow-2.10.5。

DataplexCatalogEntryGroupLink

21.0.0 で利用可能。

バージョン: composer-3-airflow-3.1.7-build.11、composer-3-airflow-2.11.1-build.7、composer-2.17.4-airflow-2.11.1。

DataCatalogEntryLink

16.1.0 で非推奨になりました。

バージョン: composer-3-airflow-2.10.5-build.12、composer-2.14.0-airflow-2.10.5。

DataplexCatalogEntryLink

21.0.0 で利用可能。

バージョン: composer-3-airflow-3.1.7-build.11、composer-3-airflow-2.11.1-build.7、composer-2.17.4-airflow-2.11.1。

DataCatalogTagTemplateLink

16.1.0 で非推奨になりました。

バージョン: composer-3-airflow-2.10.5-build.12、composer-2.14.0-airflow-2.10.5。

DataplexCatalogAspectTypeLink

21.0.0 で利用可能。

バージョン: composer-3-airflow-3.1.7-build.11、composer-3-airflow-2.11.1-build.7、composer-2.17.4-airflow-2.11.1。

CloudDataCatalogCreateEntryOperator

16.1.0 で非推奨になりました。

バージョン: composer-3-airflow-2.10.5-build.12、composer-2.14.0-airflow-2.10.5。

DataplexCatalogCreateEntryOperator

21.0.0 で利用可能。

バージョン: composer-3-airflow-3.1.7-build.11、composer-3-airflow-2.11.1-build.7、composer-2.17.4-airflow-2.11.1。

CloudDataCatalogCreateEntryGroupOperator

16.1.0 で非推奨になりました。

バージョン: composer-3-airflow-2.10.5-build.12、composer-2.14.0-airflow-2.10.5。

DataplexCatalogCreateEntryGroupOperator

21.0.0 で利用可能。

バージョン: composer-3-airflow-3.1.7-build.11、composer-3-airflow-2.11.1-build.7、composer-2.17.4-airflow-2.11.1。

CloudDataCatalogCreateTagOperator

16.1.0 で非推奨になりました。

バージョン: composer-3-airflow-2.10.5-build.12、composer-2.14.0-airflow-2.10.5。

DataplexCatalogCreateEntryOperator、DataplexCatalogUpdateEntryOperator

21.0.0 で利用可能。

バージョン: composer-3-airflow-3.1.7-build.11、composer-3-airflow-2.11.1-build.7、composer-2.17.4-airflow-2.11.1。

CloudDataCatalogCreateTagTemplateOperator

16.1.0 で非推奨になりました。

バージョン: composer-3-airflow-2.10.5-build.12、composer-2.14.0-airflow-2.10.5。

DataplexCatalogCreateAspectTypeOperator

21.0.0 で利用可能。

バージョン: composer-3-airflow-3.1.7-build.11、composer-3-airflow-2.11.1-build.7、composer-2.17.4-airflow-2.11.1。

CloudDataCatalogCreateTagTemplateFieldOperator

16.1.0 で非推奨になりました。

バージョン: composer-3-airflow-2.10.5-build.12、composer-2.14.0-airflow-2.10.5。

DataplexCatalogUpdateAspectTypeOperator、DataplexCatalogCreateAspectTypeOperator

21.0.0 で利用可能。

バージョン: composer-3-airflow-3.1.7-build.11、composer-3-airflow-2.11.1-build.7、composer-2.17.4-airflow-2.11.1。

CloudDataCatalogDeleteEntryGroupOperator

16.1.0 で非推奨になりました。

バージョン: composer-3-airflow-2.10.5-build.12、composer-2.14.0-airflow-2.10.5。

DataplexCatalogDeleteEntryGroupOperator

21.0.0 で利用可能。

バージョン: composer-3-airflow-3.1.7-build.11、composer-3-airflow-2.11.1-build.7、composer-2.17.4-airflow-2.11.1。

CloudDataCatalogDeleteTagOperator

16.1.0 で非推奨になりました。

バージョン: composer-3-airflow-2.10.5-build.12、composer-2.14.0-airflow-2.10.5。

DataplexCatalogUpdateEntryOperator

21.0.0 で利用可能。

バージョン: composer-3-airflow-3.1.7-build.11、composer-3-airflow-2.11.1-build.7、composer-2.17.4-airflow-2.11.1。

CloudDataCatalogDeleteTagTemplateOperator

16.1.0 で非推奨になりました。

バージョン: composer-3-airflow-2.10.5-build.12、composer-2.14.0-airflow-2.10.5。

DataplexCatalogDeleteAspectTypeOperator

21.0.0 で利用可能。

バージョン: composer-3-airflow-3.1.7-build.11、composer-3-airflow-2.11.1-build.7、composer-2.17.4-airflow-2.11.1。

CloudDataCatalogDeleteTagTemplateFieldOperator

16.1.0 で非推奨になりました。

バージョン: composer-3-airflow-2.10.5-build.12、composer-2.14.0-airflow-2.10.5。

DataplexCatalogUpdateAspectTypeOperator

21.0.0 で利用可能。

バージョン: composer-3-airflow-3.1.7-build.11、composer-3-airflow-2.11.1-build.7、composer-2.17.4-airflow-2.11.1。

CloudDataCatalogGetEntryOperator

16.1.0 で非推奨になりました。

バージョン: composer-3-airflow-2.10.5-build.12、composer-2.14.0-airflow-2.10.5。

DataplexCatalogGetEntryOperator

21.0.0 で利用可能。

バージョン: composer-3-airflow-3.1.7-build.11、composer-3-airflow-2.11.1-build.7、composer-2.17.4-airflow-2.11.1。

CloudDataCatalogGetEntryGroupOperator

16.1.0 で非推奨になりました。

バージョン: composer-3-airflow-2.10.5-build.12、composer-2.14.0-airflow-2.10.5。

DataplexCatalogGetEntryGroupOperator

21.0.0 で利用可能。

バージョン: composer-3-airflow-3.1.7-build.11、composer-3-airflow-2.11.1-build.7、composer-2.17.4-airflow-2.11.1。

CloudDataCatalogGetTagTemplateOperator

16.1.0 で非推奨になりました。

バージョン: composer-3-airflow-2.10.5-build.12、composer-2.14.0-airflow-2.10.5。

DataplexCatalogGetAspectTypeOperator

21.0.0 で利用可能。

バージョン: composer-3-airflow-3.1.7-build.11、composer-3-airflow-2.11.1-build.7、composer-2.17.4-airflow-2.11.1。

CloudDataCatalogListTagsOperator

16.1.0 で非推奨になりました。

バージョン: composer-3-airflow-2.10.5-build.12、composer-2.14.0-airflow-2.10.5。

DataplexCatalogGetEntryOperator

21.0.0 で利用可能。

バージョン: composer-3-airflow-3.1.7-build.11、composer-3-airflow-2.11.1-build.7、composer-2.17.4-airflow-2.11.1。

CloudDataCatalogLookupEntryOperator

16.1.0 で非推奨になりました。

バージョン: composer-3-airflow-2.10.5-build.12、composer-2.14.0-airflow-2.10.5。

DataplexCatalogLookupEntryOperator

21.0.0 で利用可能。

バージョン: composer-3-airflow-3.1.7-build.11、composer-3-airflow-2.11.1-build.7、composer-2.17.4-airflow-2.11.1。

CloudDataCatalogRenameTagTemplateFieldOperator

16.1.0 で非推奨になりました。

バージョン: composer-3-airflow-2.10.5-build.12、composer-2.14.0-airflow-2.10.5。

DataplexCatalogUpdateAspectTypeOperator

21.0.0 で利用可能。

バージョン: composer-3-airflow-3.1.7-build.11、composer-3-airflow-2.11.1-build.7、composer-2.17.4-airflow-2.11.1。

CloudDataCatalogSearchCatalogOperator

16.1.0 で非推奨になりました。

バージョン: composer-3-airflow-2.10.5-build.12、composer-2.14.0-airflow-2.10.5。

DataplexCatalogSearchEntriesOperator

21.0.0 で利用可能。

バージョン: composer-3-airflow-3.1.7-build.11、composer-3-airflow-2.11.1-build.7、composer-2.17.4-airflow-2.11.1。

CloudDataCatalogUpdateEntryOperator

16.1.0 で非推奨になりました。

バージョン: composer-3-airflow-2.10.5-build.12、composer-2.14.0-airflow-2.10.5。

DataplexCatalogUpdateEntryOperator

21.0.0 で利用可能。

バージョン: composer-3-airflow-3.1.7-build.11、composer-3-airflow-2.11.1-build.7、composer-2.17.4-airflow-2.11.1。

CloudDataCatalogUpdateTagOperator

16.1.0 で非推奨になりました。

バージョン: composer-3-airflow-2.10.5-build.12、composer-2.14.0-airflow-2.10.5。

DataplexCatalogUpdateEntryOperator

21.0.0 で利用可能。

バージョン: composer-3-airflow-3.1.7-build.11、composer-3-airflow-2.11.1-build.7、composer-2.17.4-airflow-2.11.1。

CloudDataCatalogUpdateTagTemplateOperator

16.1.0 で非推奨になりました。

バージョン: composer-3-airflow-2.10.5-build.12、composer-2.14.0-airflow-2.10.5。

DataplexCatalogUpdateAspectTypeOperator

21.0.0 で利用可能。

バージョン: composer-3-airflow-3.1.7-build.11、composer-3-airflow-2.11.1-build.7、composer-2.17.4-airflow-2.11.1。

CloudDataCatalogUpdateTagTemplateFieldOperator

16.1.0 で非推奨になりました。

バージョン: composer-3-airflow-2.10.5-build.12、composer-2.14.0-airflow-2.10.5。

DataplexCatalogUpdateAspectTypeOperator

21.0.0 で利用可能。

バージョン: composer-3-airflow-3.1.7-build.11、composer-3-airflow-2.11.1-build.7、composer-2.17.4-airflow-2.11.1。

CloudDataCatalogHook

16.1.0 で非推奨になりました。

バージョン: composer-3-airflow-2.10.5-build.12、composer-2.14.0-airflow-2.10.5。

DataplexHook

21.0.0 で利用可能。

バージョン: composer-3-airflow-3.1.7-build.11、composer-3-airflow-2.11.1-build.7、composer-2.17.4-airflow-2.11.1。

TextEmbeddingModelGetEmbeddingsOperator

18.1.0 で非推奨になりました。

バージョン: composer-3-airflow-2.10.5-build.22、composer-2.16.0-airflow-2.10.5。

GenAIGenerateEmbeddingsOperator

21.0.0 で利用可能。

バージョン: composer-3-airflow-3.1.7-build.11、composer-3-airflow-2.11.1-build.7、composer-2.17.4-airflow-2.11.1。

GenerativeModelGenerateContentOperator

18.1.0 で非推奨になりました。

バージョン: composer-3-airflow-2.10.5-build.22、composer-2.16.0-airflow-2.10.5。

GenAIGenerateContentOperator

21.0.0 で利用可能。

バージョン: composer-3-airflow-3.1.7-build.11、composer-3-airflow-2.11.1-build.7、composer-2.17.4-airflow-2.11.1。

SupervisedFineTuningTrainOperator

18.1.0 で非推奨になりました。

バージョン: composer-3-airflow-2.10.5-build.22、composer-2.16.0-airflow-2.10.5。

GenAISupervisedFineTuningTrainOperator

21.0.0 で利用可能。

バージョン: composer-3-airflow-3.1.7-build.11、composer-3-airflow-2.11.1-build.7、composer-2.17.4-airflow-2.11.1。

CountTokensOperator

18.1.0 で非推奨になりました。

バージョン: composer-3-airflow-2.10.5-build.22、composer-2.16.0-airflow-2.10.5。

GenAICountTokensOperator

21.0.0 で利用可能。

バージョン: composer-3-airflow-3.1.7-build.11、composer-3-airflow-2.11.1-build.7、composer-2.17.4-airflow-2.11.1。

CreateCachedContentOperator

18.1.0 で非推奨になりました。

バージョン: composer-3-airflow-2.10.5-build.22、composer-2.16.0-airflow-2.10.5。

GenAICreateCachedContentOperator

21.0.0 で利用可能。

バージョン: composer-3-airflow-3.1.7-build.11、composer-3-airflow-2.11.1-build.7、composer-2.17.4-airflow-2.11.1。

GenerateFromCachedContentOperator

18.1.0 で非推奨になりました。

バージョン: composer-3-airflow-2.10.5-build.22、composer-2.16.0-airflow-2.10.5。

GenAIGenerateContentOperator

21.0.0 で利用可能。

バージョン: composer-3-airflow-3.1.7-build.11、composer-3-airflow-2.11.1-build.7、composer-2.17.4-airflow-2.11.1。

DeleteExperimentRunOperator

18.1.0 で非推奨になりました。

バージョン: composer-3-airflow-2.10.5-build.22、composer-2.16.0-airflow-2.10.5。

DeleteExperimentRunOperator

21.0.0 で利用可能。

バージョン: composer-3-airflow-3.1.7-build.11、composer-3-airflow-2.11.1-build.7、composer-2.17.4-airflow-2.11.1。

TranslationLegacyModelLink

19.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.22、composer-2.16.0-airflow-2.10.5。

TranslationModelLink

16.0.0 で利用可能です。

バージョン: composer-3-airflow-2.10.5-build.12、composer-2.14.0-airflow-2.10.5。

TranslationDatasetListLink

19.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.22、composer-2.16.0-airflow-2.10.5。

TranslationDatasetsListLink

16.0.0 で利用可能です。

バージョン: composer-3-airflow-2.10.5-build.12、composer-2.14.0-airflow-2.10.5。

TranslationLegacyDatasetLink

19.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.22、composer-2.16.0-airflow-2.10.5。

TranslationDatasetsListLink

16.0.0 で利用可能です。

バージョン: composer-3-airflow-2.10.5-build.12、composer-2.14.0-airflow-2.10.5。

TranslationLegacyModelTrainLink

19.0.0 で削除されました。

バージョン: composer-3-airflow-2.10.5-build.22、composer-2.16.0-airflow-2.10.5。

TranslationModelsListLink

16.0.0 で利用可能です。

バージョン: composer-3-airflow-2.10.5-build.12、composer-2.14.0-airflow-2.10.5。

次のステップ