Menjadwalkan DAG Airflow

Dokumen ini menjelaskan cara menjadwalkan directed acyclic graph (DAG) Airflow dari Managed Airflow 3 di halaman Penjadwalan di BigQuery, termasuk cara memicu DAG secara manual, dan cara melihat histori dan log eksekusi DAG sebelumnya.

Tentang mengelola DAG Airflow di BigQuery

Halaman Penjadwalan di BigQuery menyediakan alat untuk menjadwalkan DAG Airflow yang berjalan di lingkungan Managed Airflow 3 Anda.

DAG Airflow yang Anda jadwalkan di BigQuery dieksekusi di satu atau beberapa lingkungan Managed Airflow di project Anda. Halaman Penjadwalan di BigQuery menggabungkan informasi untuk semua DAG Airflow di project Anda.

Selama DAG berjalan, Airflow menjadwalkan dan menjalankan setiap tugas yang membentuk DAG dalam urutan yang ditentukan oleh DAG. Di halaman Penjadwalan di BigQuery, Anda dapat melihat status eksekusi DAG sebelumnya, menjelajahi log mendetail semua eksekusi DAG dan semua tugas dari eksekusi DAG ini, serta melihat detail tentang DAG.

Untuk mempelajari lebih lanjut konsep inti Airflow seperti DAG Airflow, eksekusi DAG, tugas, atau operator, lihat halaman Konsep Inti dalam dokumentasi Airflow.

Untuk mempelajari lebih lanjut lingkungan Managed Airflow, lihat halaman Ringkasan Managed Airflow 3 di dokumentasi Managed Airflow.

Sebelum memulai

  1. Aktifkan Cloud Composer API.

    Peran yang diperlukan untuk mengaktifkan API

    Untuk mengaktifkan API, Anda memerlukan peran IAM Service Usage Admin (roles/serviceusage.serviceUsageAdmin), yang berisi izin serviceusage.services.enable. Pelajari cara memberikan peran.

    Mengaktifkan API

  2. Pastikan project Google Cloud Anda memiliki setidaknya satu lingkungan Managed Airflow 3, dengan setidaknya satu file DAG yang sudah diupload:
    • Untuk mulai menggunakan DAG Airflow, ikuti petunjuk dalam panduan Menjalankan DAG Apache Airflow di Managed Airflow 3. Sebagai bagian dari panduan ini, Anda membuat lingkungan Managed Airflow 3 dengan konfigurasi default, mengupload DAG ke lingkungan tersebut, dan memeriksa apakah Airflow menjalankannya.
    • Untuk mengetahui petunjuk mendetail tentang cara mengupload DAG Airflow ke lingkungan Managed Airflow 3, lihat Menambahkan dan mengupdate DAG.
    • Untuk mengetahui petunjuk mendetail tentang cara membuat lingkungan Managed Airflow 3, lihat Membuat lingkungan Managed Airflow.

Izin yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk menjadwalkan DAG Airflow, minta administrator untuk memberi Anda peran IAM berikut pada project:

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk menjadwalkan DAG Airflow. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk menjadwalkan DAG Airflow:

  • Untuk melihat DAG Airflow dan detailnya: composers.dags.list, composer.environments.list
  • Untuk memicu dan menjeda DAG Airflow: composers.dags.list, composer.environments.list, composer.dags.execute

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Untuk mengetahui informasi selengkapnya tentang IAM Managed Airflow 3, lihat Kontrol akses dengan IAM di dokumentasi Managed Airflow.

Memicu DAG Airflow secara manual

Saat Anda memicu DAG Airflow secara manual, Airflow menjalankan DAG satu kali, terlepas dari jadwal yang ditentukan untuk DAG.

Untuk memicu DAG Airflow yang dipilih secara manual, ikuti langkah-langkah berikut:

  1. Di konsol Google Cloud , buka halaman Scheduling.

    Buka halaman Penjadwalan

  2. Lakukan salah satu hal berikut:

    • Klik nama DAG yang dipilih, lalu di halaman DAG details, klik Trigger DAG.

    • Di baris yang berisi DAG yang dipilih, klik Lihat tindakan di kolom Tindakan, lalu klik Picu DAG.

Melihat log dan detail operasi DAG Airflow

Untuk melihat detail DAG Airflow yang dipilih, ikuti langkah-langkah berikut:

  1. Di konsol Google Cloud , buka halaman Scheduling.

    Buka halaman Penjadwalan

  2. Klik nama DAG yang dipilih.

  3. Di halaman Detail DAG, pilih tab Detail.

  4. Untuk melihat operasi DAG sebelumnya, pilih tab Operasi.

    1. Opsional: Tab Runs menampilkan operasi DAG dari 10 hari terakhir secara default. Untuk memfilter proses DAG menurut rentang waktu yang berbeda, di menu drop-down 10 hari, pilih rentang waktu, lalu klik Oke.

    2. Opsional: Untuk menampilkan kolom tambahan dengan detail eksekusi DAG dalam daftar semua eksekusi DAG, klik Opsi tampilan kolom, lalu pilih kolom dan klik Oke.

    3. Untuk melihat detail dan log untuk proses DAG yang dipilih, pilih proses DAG.

  5. Untuk melihat visualisasi DAG dengan dependensi tugas, pilih tab Diagram.

    1. Untuk melihat detail tugas, pilih tugas pada diagram.

  6. Untuk melihat kode sumber DAG, pilih tab Code.

  7. Opsional: Untuk memuat ulang data yang ditampilkan, klik Muat ulang.

Melihat semua DAG Airflow

Untuk melihat DAG Airflow dari semua lingkungan Managed Airflow 3 di project Anda, ikuti langkah-langkah berikut:Google Cloud

  1. Di konsol Google Cloud , buka halaman Scheduling.

    Buka halaman Penjadwalan

  2. Opsional: Untuk menampilkan kolom tambahan dengan detail DAG, klik Opsi tampilan kolom, lalu pilih kolom dan klik Oke.

Menjeda DAG Airflow

Untuk menjeda DAG Airflow yang dipilih, ikuti langkah-langkah berikut:

  1. Di konsol Google Cloud , buka halaman Scheduling.

    Buka halaman Penjadwalan

  2. Lakukan salah satu hal berikut:

    • Klik nama DAG yang dipilih, lalu di halaman Detail DAG, klik Jeda DAG.

    • Di baris yang berisi DAG yang dipilih, klik Lihat tindakan di kolom Tindakan, lalu klik Jeda DAG.

Pemecahan masalah

Untuk mengetahui petunjuk pemecahan masalah DAG Airflow, lihat Memecahkan masalah DAG Airflow dalam dokumentasi Managed Airflow.

Langkah berikutnya