DAGs, DAG-Ausführungen und Aufgaben ansehen

Managed Airflow (Gen 3) | Managed Airflow (Gen 2) | Managed Airflow (Legacy Gen 1)

Auf dieser Seite wird erläutert, wie Sie Informationen zu DAGs in Ihrer Umgebung abrufen.

Möglichkeiten zum Aufrufen von Informationen zu DAGs

Managed Airflow bietet mehrere Möglichkeiten, detaillierte Informationen zu DAGs in Ihrer Umgebung zu erhalten:

  • Die DAG-UI ist ein Bereich der Google Cloud console-Oberfläche für Managed Airflow, in dem Sie DAGs, DAG-Ausführungen und einzelne Aufgaben ansehen und überwachen können.
  • Die Airflow-UI ist die integrierte Weboberfläche von Airflow.
  • Die Airflow-Befehlszeile ist die Befehlszeile von Airflow. Sie können Informationen zu DAGs abrufen, indem Sie Airflow-Befehlszeilenbefehle mit gcloud ausführen.

DAG-UI von Managed Airflow

Die DAG-UI ist ein Bereich der Google Cloud console-Oberfläche für Managed Airflow, in dem Sie DAGs, DAG-Ausführungen und einzelne Aufgaben ansehen und überwachen können.

In der DAG-UI haben Sie folgende Möglichkeiten:

  • Sie können eine Liste der DAGs in Ihrer Umgebung aufrufen, einschließlich Zeitplanintervallen, DAG-Status und Beschreibungen.

  • Sie können DAGs pausieren, die Pausierung aufheben und DAGs auslösen.

  • Sie können Details zu DAG-Ausführungen aufrufen, einschließlich erfolgreicher, aktiver und fehlgeschlagener Ausführungen sowie der Zeit seit der letzten abgeschlossenen Ausführung. Für jeden DAG können Sie den Verlauf der DAG-Ausführungen und Aufgabeninstanzen aufrufen, die mit diesem DAG verknüpft sind, einschließlich der Logs für ausgeführte Aufgaben.

  • Sie können Details zu DAG-Ausführungen filtern. Sie können beispielsweise ein Zeitintervall auswählen und Abfragen erstellen, um die benötigten Informationen auszuwählen.

  • Sie können detaillierte Informationen zu einzelnen DAGs und Aufgaben aufrufen. Dazu gehören visualisierte DAG-Diagramme, Informationen zu den Aufgaben in einem DAG, DAG-Quellcode und zusätzliche Informationen zu DAGs.

Hinweis

  • Ihr Konto muss eine Rolle haben, mit der Sie auf die DAG-UI zugreifen und DAG-Details aufrufen können. Weitere Informationen finden Sie unter Zugriffssteuerung.

  • Die DAG-UI wird in Managed Airflow 2.0.1 und höheren Versionen unterstützt.

    Liste der DAGs für Ihre Umgebung aufrufen

    Console

    Auf dem Tab DAGs Ihrer Umgebung wird die Liste der DAGs zusammen mit den Details zu den DAG-Ausführungen für jeden DAG angezeigt.

    So rufen Sie die Liste der DAGs auf:

    1. Rufen Sie in der Google Cloud console die Umgebungen Seite auf.

      Zur Seite Umgebungen

    2. Klicken Sie in der Spalte DAG-Liste auf den Link DAGs für Ihre Umgebung.

    Sie können Filter verwenden, um die Details nur für bestimmte DAGs oder für bestimmte Bedingungen aufzurufen. Beispiel:

    1. Wählen Sie das Feld Filter aus.
    2. Wählen Sie in der Drop-down-Liste die Eigenschaft DAG-ID aus.
    3. Geben Sie die ID des DAG an. In den Ergebnissen werden nur Details für den ausgewählten DAG angezeigt.
    4. Optional: Wenn Sie weitere DAGs einbeziehen möchten, fügen Sie OR-Operatoren gefolgt von DAG-IDs hinzu.
    5. Optional: Wenn Sie nach anderen Bedingungen filtern möchten, fügen Sie im Feld Filter weitere Eigenschaften hinzu. Sie können beispielsweise nach DAGs mit fehlgeschlagenen Ausführungen filtern, indem Sie Failed runs:>0 angeben.

    Airflow-UI

    So rufen Sie die Liste der DAGs in der Airflow-UI auf:

    1. Rufen Sie in der Google Cloud console die Umgebungen Seite auf.

      Zur Seite Umgebungen

    2. Klicken Sie in der Spalte Airflow-Webserver auf den Link Airflow für Ihre Umgebung.

    3. Melden Sie sich mit einem Google-Konto an, das über die entsprechenden Berechtigungen verfügt.

    4. In der Airflow-UI wird auf der Seite DAGs eine Liste der DAGs für Ihre Umgebung angezeigt.

    gcloud

    Führen Sie den Airflow-Befehlszeilenbefehl dags list aus:

      gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list -- -o plain

    Ersetzen Sie:

    • ENVIRONMENT_NAME durch den Namen der Umgebung.
    • LOCATION durch die Region, in der sich die Umgebung befindet.

    Verlauf von DAG-Ausführungen und -Aufgaben aufrufen

    Console

    Auf dem Tab Ausführungen auf der Seite DAG-Details wird der Verlauf der DAG-Ausführungen für einen einzelnen DAG angezeigt.

    So rufen Sie den Verlauf der DAG-Ausführungen auf:

    1. Rufen Sie in der Google Cloud console die Umgebungen Seite auf.

      Zur Seite Umgebungen

    2. Klicken Sie in der Spalte DAG-Liste auf den Link DAGs für Ihre Umgebung.

    3. Wählen Sie einen DAG aus.

    4. Rufen Sie auf der Seite DAG-Details den Tab Ausführungen auf.

    5. Wählen Sie in der Liste eine DAG-Ausführung aus, um die Details der DAG-Ausführung aufzurufen, z. B. den Status der Aufgabeninstanzen für diese DAG-Ausführung, die Anzahl der Versuche und die Ausführungsdauer. Sie können einzelne Aufgaben auswählen, um die Logs der Aufgabeninstanzen aufzurufen.

    Airflow-UI

    So rufen Sie die Liste der DAGs in der Airflow-UI auf:

    1. Rufen Sie in der Google Cloud console die Umgebungen Seite auf.

      Zur Seite Umgebungen

    2. Klicken Sie in der Spalte Airflow-Webserver auf den Link Airflow für Ihre Umgebung.

    3. Melden Sie sich mit einem Google-Konto an, das über die entsprechenden Berechtigungen verfügt.

    4. Wählen Sie in der Airflow-UI im Menü Browse > DAG Runs aus. Auf der Seite DAG Runs werden die DAG-Ausführungen für Ihre Umgebung angezeigt. Über den Link in der Spalte Run ID (Ausführungs-ID) können Sie zusätzliche Informationen zu Aufgaben aufrufen.

    gcloud

    Führen Sie den Airflow-Befehlszeilenbefehl dags list-runs aus:

      gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list-runs -- -d DAG_ID

    Ersetzen Sie:

    • ENVIRONMENT_NAME durch den Namen der Umgebung.
    • LOCATION durch die Region, in der sich die Umgebung befindet.
    • DAG_ID durch den Namen des DAG.

    Mit den Airflow-Befehlszeilenbefehlen tasks state und tasks states-for-dag-run können Sie zusätzliche Informationen zu Aufgabeninstanzen abrufen.

    Weitere Informationen finden Sie unter Auf die Airflow-Befehlszeile zugreifen und Airflow-Befehlszeile.

    DAG-Diagramme aufrufen

    Console

    Auf dem Tab Diagram (Diagramm) auf der Seite DAG-Details wird die Visualisierung eines DAG mit Aufgabenabhängigkeiten angezeigt.

    So rufen Sie das Diagramm eines DAG auf:

    1. Rufen Sie in der Google Cloud console die Umgebungen Seite auf.

      Zur Seite Umgebungen

    2. Klicken Sie in der Spalte DAG-Liste auf den Link DAGs für Ihre Umgebung.

    3. Wählen Sie einen DAG aus.

    4. Rufen Sie auf der Seite DAG-Details den Tab Diagram (Diagramm) auf.

    5. Optional: Wenn Sie zusätzliche Informationen zu Aufgaben aufrufen möchten, wählen Sie im Diagramm einzelne Aufgaben aus.

    Airflow-UI

    So rufen Sie das Diagramm eines DAG in der Airflow-Weboberfläche auf:

    1. Rufen Sie in der Google Cloud console die Umgebungen Seite auf.

      Zur Seite Umgebungen

    2. Klicken Sie in der Spalte Airflow-Webserver auf den Link Airflow für Ihre Umgebung.

    3. Melden Sie sich mit einem Google-Konto an, das über die entsprechenden Berechtigungen verfügt.

    4. In der Airflow-UI wird auf der Seite DAGs eine Liste der DAGs für Ihre Umgebung angezeigt.

    5. Klicken Sie für Ihren DAG in der Spalte Links auf den Link Graph (Diagramm).

    DAG-Quellcode und zusätzliche Informationen zu DAGs aufrufen

    Console

    Sie können den Quellcode Ihrer DAGs und zusätzliche Informationen wie DAG-IDs und Links zu DAG-Definitionsdateien im Bucket der Umgebung aufrufen.

    1. Rufen Sie in der Google Cloud console die Umgebungen Seite auf.

      Zur Seite Umgebungen

    2. Klicken Sie in der Spalte DAG-Liste auf den Link DAGs für Ihre Umgebung.

    3. Wählen Sie einen DAG aus.

    4. Rufen Sie den Tab Diagram (Diagramm) auf, um den DAG-Quellcode aufzurufen.

    5. Rufen Sie den Tab Source (Quelle) auf, um zusätzliche Informationen zum DAG aufzurufen.

    Airflow-UI

    So rufen Sie das Diagramm eines DAG in der Airflow-Weboberfläche auf:

    1. Rufen Sie in der Google Cloud console die Umgebungen Seite auf.

      Zur Seite Umgebungen

    2. Klicken Sie in der Spalte Airflow-Webserver auf den Link Airflow für Ihre Umgebung.

    3. Melden Sie sich mit einem Google-Konto an, das über die entsprechenden Berechtigungen verfügt.

    4. Klicken Sie in der Airflow-Weboberfläche auf der Seite DAGs auf den Namen Ihres DAG.

    5. Rufen Sie auf der Seite mit den DAG-Details die verfügbaren Tabs auf, um zusätzliche Informationen zum DAG aufzurufen.

    Nächste Schritte