このドキュメントでは、Dataform のワークフローのアーキテクチャと実行について説明します。
Dataform を使用すると、BigQuery で実行して分析用にデータを変換できるワークフローを開発、テスト、バージョン管理できます。Dataform ワークフローは、BigQuery パイプライン、データ準備、ノートブック、保存済みクエリを強化します。
ワークフローは、 Dataform coreを使用して SQLX ファイルと JavaScript ファイル（省略可）で開発することも、 JavaScriptで開発することもできます。
ワークフローは次のオブジェクトで構成できます。
- データソースの宣言
- Dataform テーブル定義と SQL オペレーションでこれらのデータソースを参照できるようにする BigQuery データソースの宣言。
- テーブル
- ワークフロー内で宣言されたデータソースまたは他のテーブルに基づいて Dataform で作成するテーブル。Dataform は、テーブル、増分テーブル、ビュー、マテリアライズド ビューのテーブルタイプをサポートしています。
- アサーション
- テーブルデータの検証に使用できるデータ品質のテストクエリ。 Dataform は、ワークフローを更新するたびにアサーションを実行し、アサーションが失敗した場合にアラートを送信します。
- カスタム SQL オペレーション
- Dataform が BigQuery で変更せずに実行する SQL ステートメント。
- 含まれるサービス
- ワークフロー全体で再利用できる変数と関数の定義を含む JavaScript ファイル。
Data Engineering Agent を使用した開発
Data Engineering Agent は、自然言語プロンプトからコードと構成を生成することで、SQL ワークフローの構築と保守を支援します。SQL ロジックに加えて、エージェントは、フィールドの説明、テーブルの概要、システムや タイプ情報などの一般的な側面など、 Knowledge Catalog メタデータ （プレビュー）を使用してテーブル構成を事前に設定します。これにより、データアセットは作成直後から検出可能になります。
詳細については、 Data Engineering Agent を使用してデータ パイプラインを構築、変更するをご覧ください。
ワークフローの可視化
ワークフローは、有向非巡回グラフ（DAG）の形式で可視化して表示できます。DAG には、ワークスペースで定義されたワークフローのすべてのオブジェクトと、それらの関係が表示されます。DAG では、ズームインとズームアウト、ドラッグ&ドロップ ナビゲーションを使用できます。ワークフローにコンパイル エラーがある場合、Dataform は DAG ではなくエラー メッセージを表示します。
ワークフローの DAG を表示するには、ワークスペースで [コンパイル済みグラフ] をクリックします。
ワークフローの実行
ワークフローを実行するには、カスタム サービス アカウントを Dataform リポジトリに関連付ける必要があります。他のすべてのリポジトリ オペレーションは、デフォルトの Dataform サービス エージェントによって実行されます。
開発ワークスペースでは、 ワークフロー全体、アクションの選択、タグの選択を手動でトリガーできます。
Dataform リリース構成 と ワークフロー構成を使用して実行をスケジュールできます。 まず、リリース構成を作成して、リポジトリのコンパイル結果を作成します。次に、ワークフロー構成を作成し、リリース構成を選択して、実行するワークフロー アクションを選択し、実行スケジュールを設定します。
または、 Managed Service for Apache Airflow、または Workflows と Cloud Scheduler を使用して実行をスケジュールすることもできます。
実行中、Dataform はワークフローのオブジェクト依存関係の順に BigQuery で SQL クエリを実行します。 実行後、定義済みのテーブルとビューを BigQuery で分析に使用できます。
実行構成オプション
ワークフロー アクションの特定のグループを実行するには、選択したファイルに Dataform 実行タグ を追加します。実行を手動でトリガーすると、 選択したタグが付いたファイルのみを実行できます 。
デフォルトでは、Dataform は workflow_settings.yaml ファイルで定義された実行設定でワークフローを実行します。
ワークスペース コンパイル オーバーライド を使用すると 、ワークスペースを分離された 実行環境に変換できます。つまり、ワークスペースで実行を手動でトリガーすると、Dataform は BigQuery の分離された場所で出力を実行します。
コンパイル オーバーライドを使用して単一のコンパイル結果を作成して実行するには、Dataform API でリクエストを渡します。
リリース構成 を使用すると、リポジトリ全体に対してコンパイル オーバーライドを構成できます。また、適用された設定でコンパイル結果を作成する頻度も構成できます。
Dataform でコンパイルとコード ライフサイクルを構成する方法の詳細については、 Dataform の コード ライフサイクルの概要をご覧ください。
次のステップ
- データソースを宣言する方法について、 データソースを宣言するを確認する。
- 依存関係を宣言してワークフロー内のオブジェクト間の関係を定義する方法について 、依存関係を設定するを確認する。
- カスタム SQL オペレーションを定義する方法について、 オペレーションを作成するを確認する。
- インクルードを使用してワークフロー全体で変数と関数を再利用する方法について、 インクルードを使用して単一のリポジトリ全体でコードを再利用するを確認する。