Melihat DAG, operasi DAG, dan tugas

Managed Airflow (Gen 3) | Managed Airflow (Gen 2) | Managed Airflow (Legacy Gen 1)

Halaman ini menjelaskan cara mendapatkan informasi tentang DAG di lingkungan Anda.

Cara melihat informasi tentang DAG

Managed Airflow menyediakan beberapa cara untuk mendapatkan informasi mendetail tentang DAG di lingkungan Anda:

  • UI DAG adalah bagian dari antarmuka konsol Google Cloud untuk Managed Airflow yang dikhususkan untuk melihat dan memantau DAG, operasi DAG, dan tugas individual.
  • UI Airflow adalah antarmuka web bawaan Airflow.
  • Airflow CLI adalah antarmuka command line Airflow. Anda dapat memperoleh informasi tentang DAG dengan menjalankan perintah Airflow CLI dengan gcloud.

Tentang UI DAG Managed Airflow

UI DAG adalah bagian dari antarmuka konsol Google Cloud untuk Managed Airflow yang dikhususkan untuk melihat dan memantau DAG, operasi DAG, dan tugas individual.

Di UI DAG, Anda dapat:

  • Melihat daftar DAG di lingkungan Anda, termasuk interval jadwal, status DAG, dan deskripsi.

  • Menjeda, melanjutkan, dan memicu DAG.

  • Melihat detail eksekusi DAG, termasuk eksekusi yang berhasil, aktif, dan gagal, waktu sejak eksekusi terakhir selesai. Untuk setiap DAG, Anda dapat melihat histori eksekusi DAG dan instance tugas yang terkait dengan DAG tertentu ini, termasuk log untuk tugas yang dieksekusi.

  • Memfilter detail operasi DAG. Misalnya, Anda dapat memilih interval waktu dan membuat kueri untuk memilih informasi yang Anda butuhkan.

  • Lihat informasi mendetail tentang setiap DAG dan tugas. Hal ini mencakup diagram DAG yang divisualisasikan, informasi tentang tugas dalam DAG, kode sumber DAG, dan informasi tambahan tentang DAG.

Sebelum memulai

  • Pastikan akun Anda memiliki peran yang dapat mengakses UI DAG dan melihat detail DAG. Untuk mengetahui informasi selengkapnya, lihat Kontrol akses.

  • UI DAG didukung di Managed Airflow 2.0.1 dan versi yang lebih baru.

    Melihat daftar DAG untuk lingkungan Anda

    Konsol

    Tab DAGs di lingkungan Anda menampilkan daftar DAG beserta detail eksekusi DAG untuk setiap DAG.

    Untuk melihat daftar DAG:

    1. Di konsol Google Cloud , buka halaman Environments.

      Buka Environments

    2. Di kolom DAG list, ikuti link DAGs untuk lingkungan Anda.

    Anda dapat menggunakan filter untuk melihat detail hanya untuk DAG tertentu atau untuk kondisi tertentu. Contoh:

    1. Pilih kolom Filter.
    2. Dari menu drop-down, pilih properti DAG id.
    3. Tentukan ID DAG. Hasil hanya menampilkan detail untuk DAG yang dipilih.
    4. (Opsional) Untuk menyertakan lebih banyak DAG, tambahkan operator OR yang diikuti dengan ID DAG.
    5. (Opsional) Untuk memfilter berdasarkan kondisi lain, tambahkan properti lain di kolom Filter. Misalnya, Anda dapat memfilter DAG dengan eksekusi yang gagal dengan menentukan Failed runs:>0.

    UI Airflow

    Untuk melihat daftar DAG di UI Airflow:

    1. Di konsol Google Cloud , buka halaman Environments.

      Buka Environments

    2. Di kolom Airflow webserver, ikuti link Airflow untuk lingkungan Anda.

    3. Login dengan Akun Google yang memiliki izin yang sesuai.

    4. Di UI Airflow, pada halaman DAGs, daftar DAG untuk lingkungan Anda ditampilkan.

    gcloud

    Jalankan perintah dags list Airflow CLI:

      gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list -- -o plain

    Ganti:

    • ENVIRONMENT_NAME dengan nama lingkungan.
    • LOCATION dengan region tempat lingkungan berada.

    Melihat histori tugas dan eksekusi DAG

    Konsol

    Tab Operasi di halaman Detail DAG menampilkan histori operasi DAG untuk setiap DAG.

    Untuk melihat histori operasi DAG:

    1. Di konsol Google Cloud , buka halaman Environments.

      Buka Environments

    2. Di kolom DAG list, ikuti link DAGs untuk lingkungan Anda.

    3. Pilih DAG.

    4. Di halaman DAG details, buka tab Runs.

    5. Pilih operasi DAG dari daftar untuk melihat detail operasi DAG, seperti status instance tugas untuk operasi DAG ini, jumlah percobaan, dan durasi eksekusi. Anda dapat memilih setiap tugas untuk melihat log instance tugas.

    UI Airflow

    Untuk melihat daftar DAG di UI Airflow:

    1. Di konsol Google Cloud , buka halaman Environments.

      Buka Environments

    2. Di kolom Airflow webserver, ikuti link Airflow untuk lingkungan Anda.

    3. Login dengan Akun Google yang memiliki izin yang sesuai.

    4. Di UI Airflow, di menu, pilih Browse > DAG Runs. Halaman DAG Runs menampilkan operasi DAG untuk lingkungan Anda. Anda dapat mengikuti link di kolom ID Run untuk mendapatkan informasi tambahan tentang tugas.

    gcloud

    Jalankan perintah dags list-runs Airflow CLI:

      gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list-runs -- -d DAG_ID

    Ganti:

    • ENVIRONMENT_NAME dengan nama lingkungan.
    • LOCATION dengan region tempat lingkungan berada.
    • DAG_ID dengan nama DAG.

    Anda bisa mendapatkan informasi tambahan tentang instance tugas dengan menjalankan perintah CLI Airflow tasks state dan tasks states-for-dag-run.

    Untuk mengetahui informasi selengkapnya, lihat Mengakses Airflow CLI dan referensi Airflow CLI.

    Melihat diagram DAG

    Konsol

    Tab Diagram di halaman Detail DAG menampilkan visualisasi DAG dengan dependensi tugas.

    Untuk melihat diagram DAG:

    1. Di konsol Google Cloud , buka halaman Environments.

      Buka Environments

    2. Di kolom DAG list, ikuti link DAGs untuk lingkungan Anda.

    3. Pilih DAG.

    4. Di halaman DAG details, buka tab Diagram.

    5. (Opsional) Untuk melihat informasi tambahan tentang tugas, pilih setiap tugas pada diagram.

    UI Airflow

    Untuk melihat diagram DAG di antarmuka web Airflow:

    1. Di konsol Google Cloud , buka halaman Environments.

      Buka Environments

    2. Di kolom Airflow webserver, ikuti link Airflow untuk lingkungan Anda.

    3. Login dengan Akun Google yang memiliki izin yang sesuai.

    4. Di UI Airflow, pada halaman DAGs, daftar DAG untuk lingkungan Anda ditampilkan.

    5. Untuk DAG Anda, di kolom Link, ikuti link Grafik.

    Melihat kode sumber DAG dan informasi tambahan tentang DAG

    Konsol

    Anda dapat melihat kode sumber DAG dan informasi tambahan seperti ID DAG dan link ke file definisi DAG di bucket lingkungan.

    1. Di konsol Google Cloud , buka halaman Environments.

      Buka Environments

    2. Di kolom DAG list, ikuti link DAGs untuk lingkungan Anda.

    3. Pilih DAG.

    4. Untuk melihat kode sumber DAG, buka tab Diagram.

    5. Untuk melihat informasi tambahan tentang DAG, buka tab Sumber.

    UI Airflow

    Untuk melihat diagram DAG di antarmuka web Airflow:

    1. Di konsol Google Cloud , buka halaman Environments.

      Buka Environments

    2. Di kolom Airflow webserver, ikuti link Airflow untuk lingkungan Anda.

    3. Login dengan Akun Google yang memiliki izin yang sesuai.

    4. Di antarmuka web Airflow, di halaman DAGs, klik nama DAG Anda.

    5. Di halaman dengan detail DAG, buka tab yang tersedia untuk melihat informasi tambahan tentang DAG.

    Langkah berikutnya