Managed Airflow (Gen 3) | Managed Airflow (Gen 2) | Managed Airflow (Legacy Gen 1)
Auf dieser Seite wird erläutert, wie Sie Informationen zu DAGs in Ihrer Umgebung abrufen.
Informationen zu DAGs ansehen
Managed Airflow bietet mehrere Möglichkeiten, detaillierte Informationen zu DAGs in Ihrer Umgebung zu erhalten:
- Die DAG-UI ist ein Bereich der Google Cloud console-Oberfläche für Managed Airflow, in dem Sie DAGs, DAG-Ausführungen und einzelne Aufgaben ansehen und überwachen können.
- Die Airflow-UI ist die integrierte Weboberfläche von Airflow.
- Die Airflow-Befehlszeile ist die Befehlszeile von Airflow. Sie können Informationen zu DAGs abrufen, indem Sie Airflow-Befehlszeilenbefehle mit
gcloudausführen.
DAG-UI von Managed Airflow
Die DAG-UI ist ein Bereich der Google Cloud console-Oberfläche für Managed Airflow, in dem Sie DAGs, DAG-Ausführungen und einzelne Aufgaben ansehen und überwachen können.
In der DAG-UI haben Sie folgende Möglichkeiten:
Eine Liste der DAGs in Ihrer Umgebung ansehen, einschließlich Zeitplanintervallen, DAG-Status und Beschreibungen.
DAGs pausieren, die Pausierung aufheben und DAGs auslösen.
Details zu DAG-Ausführungen ansehen, einschließlich erfolgreicher, aktiver und fehlgeschlagener Ausführungen sowie der Zeit seit der letzten abgeschlossenen Ausführung. Für jeden DAG können Sie den Verlauf der DAG-Ausführungen und Aufgabeninstanzen ansehen, die mit diesem DAG verknüpft sind, einschließlich der Logs für ausgeführte Aufgaben.
Details zu DAG-Ausführungen filtern. Sie können beispielsweise ein Zeitintervall auswählen und Abfragen erstellen, um die benötigten Informationen auszuwählen.
Detaillierte Informationen zu einzelnen DAGs und Aufgaben ansehen. Dazu gehören visualisierte DAG-Diagramme, Informationen zu den Aufgaben in einem DAG, DAG-Quellcode und zusätzliche Informationen zu DAGs.
Hinweis
Ihr Konto muss eine Rolle haben, mit der Sie auf die DAG-UI zugreifen und DAG-Details ansehen können. Weitere Informationen finden Sie unter Zugriffssteuerung.
Für die DAG-UI muss die DAG-Serialisierung aktiviert sein.
Die DAG-UI wird in Managed Airflow 1.17.8 und höher unterstützt.
Liste der DAGs für Ihre Umgebung ansehen
Console
Auf dem Tab DAGs Ihrer Umgebung wird die Liste der DAGs zusammen mit den Details zu den DAG-Ausführungen für jeden DAG angezeigt.
So rufen Sie die Liste der DAGs auf:
Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.
Klicken Sie in der Spalte DAG-Liste auf den Link DAGs für Ihre Umgebung.
Sie können Filter verwenden, um die Details nur für bestimmte DAGs oder für bestimmte Bedingungen anzusehen. Beispiel:
- Wählen Sie das Feld Filter aus.
- Wählen Sie in der Drop-down-Liste die Eigenschaft DAG-ID aus.
- Geben Sie die ID des DAG an. In den Ergebnissen werden nur Details für den ausgewählten DAG angezeigt.
- Optional: Wenn Sie weitere DAGs einbeziehen möchten, fügen Sie
OR-Operatoren gefolgt von DAG-IDs hinzu. - Optional: Wenn Sie nach anderen Bedingungen filtern möchten, fügen Sie weitere Eigenschaften im Feld Filter hinzu. Sie können beispielsweise nach DAGs mit fehlgeschlagenen
Ausführungen filtern, indem Sie
Failed runs:>0angeben.
Airflow-UI
So rufen Sie die Liste der DAGs in der Airflow-UI auf:
Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.
Klicken Sie in der Spalte Airflow-Webserver auf den Link Airflow für Ihre Umgebung.
Melden Sie sich mit einem Google-Konto an, das über die entsprechenden Berechtigungen verfügt.
In der Airflow-UI wird auf der Seite DAGs eine Liste der DAGs für Ihre Umgebung angezeigt.
gcloud
Führen Sie den Airflow-Befehlszeilenbefehl dags list aus:
gcloud composer environments run ENVIRONMENT_NAME \
--location LOCATION \
dags list -- -o plain
Ersetzen Sie:
ENVIRONMENT_NAMEdurch den Namen der Umgebung.LOCATIONdurch die Region, in der sich die Umgebung befindet.
Verlauf von DAG-Ausführungen und Aufgaben ansehen
Console
Auf dem Tab Ausführungen auf der Seite DAG-Details wird der Verlauf der DAG-Ausführungen für einen einzelnen DAG angezeigt.
So rufen Sie den Verlauf der DAG-Ausführungen auf:
Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.
Klicken Sie in der Spalte DAG-Liste auf den Link DAGs für Ihre Umgebung.
Wählen Sie einen DAG aus.
Rufen Sie auf der Seite DAG-Details den Tab Ausführungen auf.
Wählen Sie in der Liste eine DAG-Ausführung aus, um die Details der DAG-Ausführung anzusehen, z. B. den Status der Aufgabeninstanzen für diese DAG-Ausführung, die Anzahl der Versuche und die Ausführungsdauer. Sie können einzelne Aufgaben auswählen, um die Logs der Aufgabeninstanzen anzusehen.
Airflow-UI
So rufen Sie die Liste der DAGs in der Airflow-UI auf:
Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.
Klicken Sie in der Spalte Airflow-Webserver auf den Link Airflow für Ihre Umgebung.
Melden Sie sich mit einem Google-Konto an, das über die entsprechenden Berechtigungen verfügt.
DAG-Ausführungen ansehen:
(Airflow 3) Wählen Sie in der Airflow-UI DAGs > Ausführungen aus. Auf dem Tab Ausführungen werden DAG-Ausführungen für Ihre Umgebung angezeigt. Über den Link in der Spalte Ausführen nach erhalten Sie weitere Informationen zu Aufgaben.
(Airflow 2) Wählen Sie in der Airflow-UI Durchsuchen > DAG-Ausführungen aus. Auf der Seite DAG-Ausführungen werden DAG-Ausführungen für Ihre Umgebung angezeigt. Über den Link in der Spalte Ausführungs-ID erhalten Sie weitere Informationen zu Aufgaben.
gcloud
Führen Sie den Airflow-Befehlszeilenbefehl dags list-runs aus:
gcloud composer environments run ENVIRONMENT_NAME \
--location LOCATION \
dags list-runs -- -d DAG_ID
Ersetzen Sie:
ENVIRONMENT_NAMEdurch den Namen der Umgebung.LOCATIONdurch die Region, in der sich die Umgebung befindet.DAG_IDdurch den Namen des DAG.
Weitere Informationen zu Aufgabeninstanzen erhalten Sie, indem Sie die Airflow-Befehlszeilenbefehle tasks state und tasks states-for-dag-run ausführen.
Weitere Informationen finden Sie unter Auf die Airflow-Befehlszeile zugreifen und Airflow-Befehlszeile.
DAG-Diagramme ansehen
Console
Auf dem Tab Diagramm auf der Seite DAG-Details wird die Visualisierung eines DAG mit Aufgabenabhängigkeiten angezeigt.
So rufen Sie das Diagramm eines DAG auf:
Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.
Klicken Sie in der Spalte DAG-Liste auf den Link DAGs für Ihre Umgebung.
Wählen Sie einen DAG aus.
Rufen Sie auf der Seite DAG-Details den Tab Diagramm auf.
Optional: Wenn Sie zusätzliche Informationen zu Aufgaben sehen möchten, wählen Sie einzelne Aufgaben im Diagramm aus.
Airflow-UI
So rufen Sie das Diagramm eines DAG in der Airflow-Weboberfläche auf:
Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.
Klicken Sie in der Spalte Airflow-Webserver auf den Link Airflow für Ihre Umgebung.
Melden Sie sich mit einem Google-Konto an, das über die entsprechenden Berechtigungen verfügt.
In der Airflow-UI wird auf der Seite DAGs eine Liste der DAGs für Ihre Umgebung angezeigt.
(Airflow 3) Klicken Sie auf Ihren DAG, um zur Seite DAGs zu wechseln, und klicken Sie dann auf Diagramm anzeigen , um zur Diagrammansicht zu wechseln.
(Airflow 2) Klicken Sie für Ihren DAG in der Spalte Links auf den Link Diagramm.
DAG-Quellcode und zusätzliche Informationen zu DAGs ansehen
Console
Sie können den Quellcode Ihrer DAGs und zusätzliche Informationen wie DAG-IDs und Links zu DAG-Definitionsdateien im Bucket der Umgebung ansehen.
Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.
Klicken Sie in der Spalte DAG-Liste auf den Link DAGs für Ihre Umgebung.
Wählen Sie einen DAG aus.
Rufen Sie den Tab Diagramm auf, um den DAG-Quellcode anzusehen.
Rufen Sie den Tab Quelle auf, um zusätzliche Informationen zum DAG anzusehen.
Airflow-UI
So rufen Sie das Diagramm eines DAG in der Airflow-Weboberfläche auf:
Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.
Klicken Sie in der Spalte Airflow-Webserver auf den Link Airflow für Ihre Umgebung.
Melden Sie sich mit einem Google-Konto an, das über die entsprechenden Berechtigungen verfügt.
Klicken Sie in der Airflow-Weboberfläche auf der Seite DAGs auf den Namen Ihres DAG.
Navigieren Sie auf der Seite mit den DAG-Details zu den verfügbaren Tabs, um zusätzliche Informationen zum DAG anzusehen.