Menjalankan pipeline data dan AI serta menyediakan sumber daya untuknya dengan Orchestration Pipelines

Managed Airflow (Gen 3) | Managed Airflow (Gen 2) | Managed Airflow (Legacy Gen 1)

Halaman ini menjelaskan hubungan antara Orchestration Pipelines dan Managed Airflow.

Tentang Orchestration Pipelines

Orchestration Pipelines adalah framework orkestrasi dan deployment otomatis yang terpadu dan deklaratif yang dioptimalkan untuk mengelola pipeline data dan AI secara lancar di Google Cloud.

Dengan Orchestration Pipelines, Anda dapat menentukan pipeline dan konfigurasi deployment-nya menggunakan Bahasa Khusus Domain (DSL) berbasis YAML yang deklaratif. Framework ini mengabstraksi infrastruktur yang mendasarinya, sehingga Anda dapat berfokus pada logika alur kerja data dan AI, sementara Orchestration Pipelines menangani deployment, pembuatan versi, dan orkestrasi.

Tentang lingkungan Managed Airflow di Orchestration Pipelines

Managed Airflow adalah mesin orkestrasi yang menjalankan pipeline Anda setelah di-deploy. Anda menetapkan lingkungan Managed Airflow sebagai bagian dari definisi pipeline. Lingkungan ini disebut lingkungan runner di Orchestration Pipelines.

Manfaat yang ditawarkan Orchestration Pipelines:

  1. Anda dapat memberdayakan tim di organisasi Anda yang bukan ahli Airflow untuk membuat dan menjalankan alur kerja mereka tanpa menulis DAG atau mengonfigurasi Airflow. Misalnya, Anda dapat menjalankan Notebook di cluster Managed Service untuk Apache Spark ephemeral dan menentukan semua parameter jadwal, resource, dan konfigurasi untuk eksekusinya dalam YAML tanpa menulis kode DAG apa pun.

  2. Semua konfigurasi dan deployment di Orchestration Pipelines didasarkan pada perintah YAML dan gcloud CLI. Semua DAG Airflow dibuat secara otomatis dan tidak memerlukan interaksi dengan Airflow, lingkungan Managed Airflow, atau bucket lingkungan. Anda dapat mengembangkan dan men-deploy alur kerja di repositori Git biasa tempat file aset berada.

  3. Definisi YAML Anda berfungsi di semua versi Airflow. Anda tidak perlu menyesuaikan kode untuk perubahan antara versi Airflow atau perbedaan dalam paket yang diinstal. Misalnya, Anda tidak perlu memigrasikan pipeline jika berpindah dari Airflow 2 ke Airflow 3.

  4. Orchestration Pipelines terintegrasi dengan ekstensi Google Cloud Data Agent Kit, sehingga Anda dapat menggunakan penulisan dan pemecahan masalah agentic. Anda dapat menggunakan agen untuk menulis pipeline, mempermudah deployment, dan mengamati status pipeline melalui ekstensi yang sama.

Cara kerja Orchestration Pipelines

Orchestration Pipelines mendukung berbagai tindakan dan layanan, seperti:Google Cloud

  • Menjalankan skrip PySpark di Managed Service untuk Apache Spark.
  • Menjalankan file notebook di Managed Service untuk Apache Spark.
  • Menjalankan kueri SQL di BigQuery atau Managed Service untuk Apache Spark.
  • Menjalankan pipeline pemrosesan data di framework Dataform atau dbt.
  • Menjalankan skrip Python.

Alur kerja umum untuk Orchestration Pipelines adalah:

  1. Anda menentukan pipeline sebagai urutan tindakan yang harus dieksekusi menggunakan salah satu layanan Google Cloud .
  2. Anda menentukan konfigurasi resource untuk tindakan pipeline. Misalnya, Anda dapat menentukan bahwa tindakan tertentu harus dijalankan pada cluster Managed Service untuk Apache Spark sementara yang memiliki konfigurasi tertentu.
  3. (Opsional) Anda menentukan resource yang harus disediakan secara otomatis jika belum ada melalui mekanisme resource yang disediakan. Misalnya, Anda dapat menentukan bahwa cluster Managed Service untuk Apache Spark statis dalam konfigurasi tertentu harus dibuat.
  4. Anda menambahkan file definisi pipeline dengan tindakan yang ingin dijalankan ke repositori Git.
  5. Anda menambahkan aset untuk setiap tindakan pipeline (seperti file skrip atau notebook) ke repositori Git.

  6. Anda men-deploy pipeline ke lingkungan Managed Airflow dengan perintah gcloud CLI. Orchestration Pipelines secara otomatis membuat beberapa file DAG yang menjalankan pipeline Anda.

    Dibandingkan dengan DAG Airflow mandiri, DAG ini dibuat secara otomatis dan Anda tidak perlu mengelolanya dengan cara apa pun. Anda dapat memeriksa status eksekusi pipeline dan mengelola pipeline dengan perintah gcloud CLI.

  7. Lingkungan Anda menjalankan pipeline sesuai jadwal.

Langkah berikutnya