Menjadwalkan DAG Airflow

Dokumen ini menjelaskan cara menjadwalkan directed acyclic graph (DAG) Airflow dari Managed Airflow 3 di halaman Scheduling di BigQuery, termasuk cara memicu DAG secara manual, dan cara melihat histori serta log operasi DAG sebelumnya.

Tentang pengelolaan DAG Airflow di BigQuery

Halaman Scheduling di BigQuery menyediakan alat untuk menjadwalkan DAG Airflow yang berjalan di lingkungan Managed Airflow 3 Anda.

DAG Airflow yang Anda jadwalkan di BigQuery dieksekusi di satu atau beberapa lingkungan Managed Airflow di project Anda. Halaman Scheduling di BigQuery menggabungkan informasi untuk semua DAG Airflow di project Anda.

Selama operasi DAG, Airflow menjadwalkan dan menjalankan tugas individual yang membentuk DAG dalam urutan yang ditentukan oleh DAG. Di halaman Scheduling di BigQuery, Anda dapat melihat status operasi DAG sebelumnya, menjelajahi log mendetail dari semua operasi DAG dan semua tugas dari operasi DAG ini, serta melihat detail tentang DAG.

Untuk mempelajari lebih lanjut konsep inti Airflow seperti DAG Airflow, operasi DAG, tugas, atau operator, lihat halaman Konsep Inti di dokumentasi Airflow.

Untuk mempelajari lebih lanjut lingkungan Managed Airflow, lihat halaman ringkasan Managed Airflow 3 di dokumentasi Managed Airflow.

Sebelum memulai

  1. Aktifkan Cloud Composer API.

    Peran yang diperlukan untuk mengaktifkan API

    Untuk mengaktifkan API, Anda memerlukan peran IAM Service Usage Admin (roles/serviceusage.serviceUsageAdmin), yang berisi izin serviceusage.services.enable. Pelajari cara memberikan peran.

    Mengaktifkan API

  2. Pastikan Google Cloud project Anda memiliki setidaknya satu lingkungan Managed Airflow 3 dengan setidaknya satu file DAG yang sudah diupload:
    • Untuk mulai menggunakan DAG Airflow, ikuti petunjuk di panduan Menjalankan DAG Apache Airflow di Managed Airflow 3. Sebagai bagian dari panduan ini, Anda membuat lingkungan Managed Airflow 3 dengan konfigurasi default, mengupload DAG ke lingkungan tersebut, dan memeriksa apakah Airflow menjalankannya.
    • Untuk mengetahui petunjuk mendetail tentang cara mengupload DAG Airflow ke lingkungan Managed Airflow 3, lihat Menambahkan dan mengupdate DAG.
    • Untuk mengetahui petunjuk mendetail tentang cara membuat lingkungan Managed Airflow 3, lihat Membuat lingkungan Managed Airflow.

Izin yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk menjadwalkan DAG Airflow, minta administrator Anda untuk memberi Anda peran IAM berikut di project Anda:

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk menjadwalkan DAG Airflow. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk menjadwalkan DAG Airflow:

  • Untuk melihat DAG Airflow dan detailnya: composers.dags.list, composer.environments.list
  • Untuk memicu dan menjeda DAG Airflow: composers.dags.list, composer.environments.list, composer.dags.execute

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Untuk mengetahui informasi selengkapnya tentang Managed Airflow 3 IAM, lihat Kontrol akses dengan IAM di dokumentasi Managed Airflow.

Memicu DAG Airflow secara manual

Saat Anda memicu DAG Airflow secara manual, Airflow akan menjalankan DAG satu kali, secara terpisah dari jadwal yang ditentukan untuk DAG.

Untuk memicu DAG Airflow yang dipilih secara manual, ikuti langkah-langkah berikut:

  1. Di Google Cloud konsol, buka halaman Scheduling.

    Buka halaman Scheduling

  2. Lakukan salah satu hal berikut:

    • Klik nama DAG yang dipilih, lalu di halaman DAG details, klik Trigger DAG.

    • Di baris yang berisi DAG yang dipilih, klik View actions di kolom Actions, lalu klik Trigger DAG.

Melihat log dan detail operasi DAG Airflow

Untuk melihat detail DAG Airflow yang dipilih, ikuti langkah-langkah berikut:

  1. Di Google Cloud konsol, buka halaman Scheduling.

    Buka halaman Scheduling

  2. Klik nama DAG yang dipilih.

  3. Di halaman DAG details, pilih tab Details.

  4. Untuk melihat operasi DAG sebelumnya, pilih tab Runs.

    1. Opsional: Tab Runs menampilkan operasi DAG dari 10 hari terakhir secara default. Untuk memfilter operasi DAG berdasarkan rentang waktu yang berbeda, di menu drop-down 10 days, pilih rentang waktu, lalu klik OK.

    2. Opsional: Untuk menampilkan kolom tambahan dengan detail operasi DAG dalam daftar semua operasi DAG, klik Column display options, lalu pilih kolom dan klik OK.

    3. Untuk melihat detail dan log operasi DAG yang dipilih, pilih operasi DAG.

  5. Untuk melihat visualisasi DAG dengan dependensi tugas, pilih tab Diagram.

    1. Untuk melihat detail tugas, pilih tugas pada diagram.

  6. Untuk melihat kode sumber DAG, pilih tab Code.

  7. Opsional: Untuk memuat ulang data yang ditampilkan, klik Refresh.

Melihat semua DAG Airflow

Untuk melihat DAG Airflow dari semua lingkungan Managed Airflow 3 di Google Cloud project Anda, ikuti langkah-langkah berikut:

  1. Di Google Cloud konsol, buka halaman Scheduling.

    Buka halaman Scheduling

  2. Opsional: Untuk menampilkan kolom tambahan dengan detail DAG, klik Column display options, lalu pilih kolom dan klik OK.

Menjeda DAG Airflow

Untuk menjeda DAG Airflow yang dipilih, ikuti langkah-langkah berikut:

  1. Di Google Cloud konsol, buka halaman Scheduling.

    Buka halaman Scheduling

  2. Lakukan salah satu hal berikut:

    • Klik nama DAG yang dipilih, lalu di halaman DAG details, klik Pause DAG.

    • Di baris yang berisi DAG yang dipilih, klik View actions di kolom Actions, lalu klik Pause DAG.

Pemecahan masalah

Untuk mengetahui petunjuk pemecahan masalah DAG Airflow, lihat Memecahkan masalah DAG Airflow di dokumentasi Managed Airflow.

Langkah berikutnya