Melihat DAG, operasi DAG, dan tugas

Managed Airflow (Gen 3) | Managed Airflow (Gen 2) | Managed Airflow (Gen 1 Lama)

Halaman ini menjelaskan cara mendapatkan informasi tentang DAG di lingkungan Anda.

Cara melihat informasi tentang DAG

Managed Airflow menyediakan beberapa cara untuk mendapatkan informasi mendetail tentang DAG di lingkungan Anda:

  • UI DAG adalah bagian dari Google Cloud antarmuka konsol untuk Managed Airflow yang khusus digunakan untuk melihat dan memantau DAG, operasi DAG, dan tugas individual.
  • UI Airflow adalah antarmuka web bawaan Airflow.
  • CLI Airflow adalah antarmuka command line Airflow. Anda bisa mendapatkan informasi tentang DAG dengan menjalankan perintah CLI Airflow menggunakan gcloud.

Tentang UI DAG Managed Airflow

UI DAG adalah bagian dari Google Cloud antarmuka konsol untuk Managed Airflow yang khusus digunakan untuk melihat dan memantau DAG, operasi DAG, dan tugas individual.

Di UI DAG, Anda dapat:

  • Melihat daftar DAG di lingkungan Anda, termasuk interval jadwal, status DAG, dan deskripsi.

  • Menjeda, melanjutkan, dan memicu DAG.

  • Melihat detail operasi DAG, termasuk operasi yang berhasil, aktif, dan gagal, serta waktu sejak operasi terakhir selesai. Untuk setiap DAG, Anda dapat melihat histori operasi DAG dan instance tugas yang terkait dengan DAG tertentu ini, termasuk log untuk tugas yang dijalankan.

  • Memfilter detail operasi DAG. Misalnya, Anda dapat memilih interval waktu dan membuat kueri untuk memilih informasi yang Anda butuhkan.

  • Melihat informasi mendetail tentang DAG dan tugas individual. Informasi ini mencakup diagram DAG yang divisualisasikan, informasi tentang tugas dalam DAG, kode sumber DAG, dan informasi tambahan tentang DAG.

Sebelum memulai

  • Pastikan akun Anda memiliki peran yang dapat mengakses UI DAG dan melihat detail DAG. Untuk mengetahui informasi selengkapnya, lihat Kontrol akses.

  • UI DAG memerlukan serialisasi DAG yang diaktifkan.

  • UI DAG didukung di Managed Airflow 1.17.8 dan versi yang lebih baru.

Melihat daftar DAG untuk lingkungan Anda

Konsol

Tab DAGs di lingkungan Anda menampilkan daftar DAG beserta detail operasi DAG untuk setiap DAG.

Untuk melihat daftar DAG:

  1. Di Google Cloud konsol, buka halaman Environments.

    Buka Environments

  2. Di kolom DAG list, ikuti link DAGs untuk lingkungan Anda.

Anda dapat menggunakan filter untuk melihat detail hanya untuk DAG tertentu atau untuk kondisi tertentu. Contoh:

  1. Pilih kolom Filters.
  2. Dari menu drop-down, pilih properti DAG id.
  3. Tentukan ID DAG. Hasilnya hanya akan menampilkan detail untuk DAG yang dipilih.
  4. (Opsional) Untuk menyertakan lebih banyak DAG, tambahkan operator OR yang diikuti dengan ID DAG.
  5. (Opsional) Untuk memfilter berdasarkan kondisi lain, tambahkan properti lain di kolom Filters. Misalnya, Anda dapat memfilter DAG dengan operasi yang gagal dengan menentukan Failed runs:>0.

UI Airflow

Untuk melihat daftar DAG di UI Airflow:

  1. Di Google Cloud konsol, buka halaman Environments.

    Buka Environments

  2. Di kolom Airflow webserver, ikuti link Airflow untuk lingkungan Anda.

  3. Login dengan Akun Google yang memiliki izin yang sesuai.

  4. Di UI Airflow, di halaman DAGs, daftar DAG untuk lingkungan Anda akan ditampilkan.

gcloud

Jalankan perintah CLI Airflow dags list:

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list -- -o plain

Ganti:

  • ENVIRONMENT_NAME dengan nama lingkungan.
  • LOCATION dengan region tempat lingkungan berada.

Melihat histori operasi dan tugas DAG

Konsol

Tab Runs di halaman DAG details menampilkan histori operasi DAG untuk DAG individual.

Untuk melihat histori operasi DAG:

  1. Di Google Cloud konsol, buka halaman Environments.

    Buka Environments

  2. Di kolom DAG list, ikuti link DAGs untuk lingkungan Anda.

  3. Pilih DAG.

  4. Di halaman DAG details, buka tab Runs.

  5. Pilih operasi DAG dari daftar untuk melihat detail operasi DAG, seperti status instance tugas untuk operasi DAG ini, jumlah percobaan, dan durasi eksekusi. Anda dapat memilih tugas individual untuk melihat log instance tugas.

UI Airflow

Untuk melihat daftar DAG di UI Airflow:

  1. Di Google Cloud konsol, buka halaman Environments.

    Buka Environments

  2. Di kolom Airflow webserver, ikuti link Airflow untuk lingkungan Anda.

  3. Login dengan Akun Google yang memiliki izin yang sesuai.

  4. Lihat operasi DAG:

    • (Airflow 3) Di UI Airflow, pilih Dags > Runs. Tab Runs menampilkan operasi DAG untuk lingkungan Anda. Anda dapat mengikuti link di kolom Run after untuk mendapatkan informasi tambahan tentang tugas.

    • (Airflow 2) Di UI Airflow, pilih Browse > DAG Runs. Halaman DAG Runs menampilkan operasi DAG untuk lingkungan Anda. Anda dapat mengikuti link di kolom Run ID untuk mendapatkan informasi tambahan tentang tugas.

gcloud

Jalankan perintah CLI Airflow dags list-runs:

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list-runs -- -d DAG_ID

Ganti:

  • ENVIRONMENT_NAME dengan nama lingkungan.
  • LOCATION dengan region tempat lingkungan berada.
  • DAG_ID dengan nama DAG.

Anda bisa mendapatkan informasi tambahan tentang instance tugas dengan menjalankan perintah CLI Airflow tasks state dan tasks states-for-dag-run.

Untuk mengetahui informasi selengkapnya, lihat Mengakses CLI Airflow dan Referensi CLI Airflow.

Melihat diagram DAG

Konsol

Tab Diagram di halaman DAG details menampilkan visualisasi DAG dengan dependensi tugas.

Untuk melihat diagram DAG:

  1. Di Google Cloud konsol, buka halaman Environments.

    Buka Environments

  2. Di kolom DAG list, ikuti link DAGs untuk lingkungan Anda.

  3. Pilih DAG.

  4. Di halaman DAG details, buka tab Diagram.

  5. (Opsional) Untuk melihat informasi tambahan tentang tugas, pilih tugas individual pada diagram.

UI Airflow

Untuk melihat diagram DAG di antarmuka web Airflow:

  1. Di Google Cloud konsol, buka halaman Environments.

    Buka Environments

  2. Di kolom Airflow webserver, ikuti link Airflow untuk lingkungan Anda.

  3. Login dengan Akun Google yang memiliki izin yang sesuai.

  4. Di UI Airflow, di halaman DAGs, daftar DAG untuk lingkungan Anda akan ditampilkan.

  5. (Airflow 3) Klik DAG Anda untuk membuka halaman Dags, lalu klik Show graph untuk beralih ke tampilan Grafik.

  6. (Airflow 2) Untuk DAG Anda, di kolom Links, ikuti link Graph.

Melihat kode sumber DAG dan informasi tambahan tentang DAG

Konsol

Anda dapat melihat kode sumber DAG dan informasi tambahan seperti ID DAG dan link ke file definisi DAG di bucket lingkungan.

  1. Di Google Cloud konsol, buka halaman Environments.

    Buka Environments

  2. Di kolom DAG list, ikuti link DAGs untuk lingkungan Anda.

  3. Pilih DAG.

  4. Untuk melihat kode sumber DAG, buka tab Diagram.

  5. Untuk melihat informasi tambahan tentang DAG, buka tab Source.

UI Airflow

Untuk melihat diagram DAG di antarmuka web Airflow:

  1. Di Google Cloud konsol, buka halaman Environments.

    Buka Environments

  2. Di kolom Airflow webserver, ikuti link Airflow untuk lingkungan Anda.

  3. Login dengan Akun Google yang memiliki izin yang sesuai.

  4. Di antarmuka web Airflow, di halaman DAGs, klik nama DAG Anda.

  5. Di halaman dengan detail DAG, buka tab yang tersedia untuk melihat informasi tambahan tentang DAG.

Langkah berikutnya