Dataproc のワークロードとジョブを設定して実行するには、GitHub の Dataproc テンプレートを使用します。
テンプレートは、次の言語と実行環境で提供されます。
- Airflow オーケストレーション テンプレート: Airflow の DAG から Spark ジョブを実行します。
- Java テンプレート: Apache Spark 向け Google Cloud Serverless または既存の Dataproc クラスタで Spark バッチ ワークロードまたはジョブを実行します。
- Python テンプレート: Apache Spark 向け Google Cloud Serverless で PySpark バッチ ワークロードを実行します。
- Notebook テンプレート: Vertex AI ノートブックを使用して Spark ジョブを実行します。