Airflow-DAGs planen

In diesem Dokument wird beschrieben, wie Sie Ihre Datenpipelines effizient orchestrieren, indem Sie gerichtete azyklische Graphen (DAGs) aus Managed Airflow 3 auf der Seite Planung in der Google Cloud -BigQuery planen. Mit dieser Funktion können Sie die Datenflüsse automatisieren und überwachen, die für Ihre BigQuery-Analysen erforderlich sind. Sie können DAGs manuell auslösen und zentral verwalten, einschließlich des Anzeigen des Ausführungsverlaufs und der Logs.

Airflow-DAGs in BigQuery verwalten

Auf der Seite Planung in BigQuery finden Sie Tools zum Planen von Airflow-DAGs, die in Ihren Managed Airflow 3-Umgebungen ausgeführt werden.

Airflow-DAGs, die Sie in BigQuery planen, werden in einer oder mehreren Managed Airflow-Umgebungen in Ihrem Projekt ausgeführt. Auf der Seite Planung in BigQuery werden Informationen für alle Airflow-DAGs in Ihrem Projekt zusammengefasst.

Während einer DAG-Ausführung plant und führt Airflow einzelne Aufgaben aus, aus denen ein DAG besteht, in einer vom DAG definierten Reihenfolge. Auf der Seite Planung in BigQuery können Sie den Status vergangener DAG-Ausführungen aufrufen, detaillierte Logs aller DAG-Ausführungen und aller Aufgaben aus diesen DAG-Ausführungen ansehen und Details zu DAGs aufrufen.

Weitere Informationen zu den Kernkonzepten von Airflow wie Airflow-DAGs, DAG-Ausführungen, Aufgaben oder Operatoren finden Sie in der Airflow-Dokumentation auf der Seite Core Concepts (Kernkonzepte).

Weitere Informationen zu Managed Airflow-Umgebungen finden Sie in der Managed Airflow-Dokumentation auf der Seite Managed Airflow 3 – Übersicht.

Hinweis

  1. die Cloud Composer API aktivieren

    Rollen, die zum Aktivieren von APIs erforderlich sind

    Zum Aktivieren von APIs benötigen Sie die Berechtigung serviceusage.services.enable. Wenn Sie das Projekt erstellt haben, haben Sie diese Berechtigung wahrscheinlich bereits über die Rolle „Inhaber“ (roles/owner). Andernfalls können Sie diese Berechtigung über die Rolle „Service Usage-Administrator“ (roles/serviceusage.serviceUsageAdmin) erhalten. Informationen zum Zuweisen von Rollen

    API aktivieren

  2. Ihr Google Cloud Projekt muss mindestens eine Managed Airflow 3-Umgebung mit mindestens einer bereits hochgeladenen DAG-Datei enthalten:

Erforderliche Berechtigungen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für das Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Planen von Airflow-DAGs benötigen:

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Planen von Airflow-DAGs erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen, um die notwendigen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind erforderlich, um Airflow-DAGs zu planen:

  • So rufen Sie Airflow-DAGs und ihre Details auf: composers.dags.list, composer.environments.list
  • So lösen Sie Airflow-DAGs aus und pausieren sie: composers.dags.list, composer.environments.list, composer.dags.execute

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Weitere Informationen zu Managed Airflow 3 IAM finden Sie in der Managed Airflow-Dokumentation unter Zugriffssteuerung mit IAM.

Airflow-DAG manuell auslösen

Wenn Sie einen Airflow-DAG manuell auslösen, führt Airflow den DAG einmal aus, unabhängig vom Zeitplan, der für den DAG angegeben wurde.

So lösen Sie einen ausgewählten Airflow-DAG manuell aus:

  1. Rufen Sie in der Google Cloud Console die Seite Scheduling auf.

    Zur Seite Planung

  2. Führen Sie eine der folgenden Aktionen aus:

    • Klicken Sie auf den Namen des ausgewählten DAG und dann auf der Seite DAG-Details auf DAG auslösen.

    • Klicken Sie in der Zeile mit der ausgewählten DAG in der Spalte Aktionen auf  Aktionen ansehen und dann auf DAG auslösen.

Logs und Details von Airflow-DAG-Ausführungen ansehen

So rufen Sie Details zu einem ausgewählten Airflow-DAG auf:

  1. Rufen Sie in der Google Cloud Console die Seite Scheduling auf.

    Zur Seite Planung

  2. Klicken Sie auf den Namen des ausgewählten DAG.

  3. Wählen Sie auf der Seite DAG-Details den Tab Details aus.

  4. Wenn Sie frühere DAG-Ausführungen aufrufen möchten, wählen Sie den Tab Ausführungen aus.

    1. Optional: Auf dem Tab Ausführungen werden standardmäßig DAG-Ausführungen der letzten 10 Tage angezeigt. Wenn Sie DAG-Ausführungen nach einem anderen Zeitraum filtern möchten, wählen Sie im Drop-down-Menü 10 Tage einen Zeitraum aus und klicken Sie dann auf OK.

    2. Optional: Wenn Sie zusätzliche Spalten mit Details zu DAG-Ausführungen in der Liste aller DAG-Ausführungen anzeigen möchten, klicken Sie auf  Spaltenanzeigeoptionen, wählen Sie die gewünschten Spalten aus und klicken Sie auf OK.

    3. Wenn Sie Details und Logs für eine ausgewählte DAG-Ausführung aufrufen möchten, wählen Sie eine DAG-Ausführung aus.

  5. Wenn Sie eine Visualisierung des DAG mit Aufgabenabhängigkeiten aufrufen möchten, wählen Sie den Tab Diagramm aus.

    1. Wenn Sie sich die Details einer Aufgabe ansehen möchten, wählen Sie im Diagramm eine Aufgabe aus.

  6. Wenn Sie den Quellcode des DAG ansehen möchten, wählen Sie den Tab Code aus.

  7. Optional: Wenn Sie die angezeigten Daten aktualisieren möchten, klicken Sie auf Aktualisieren.

Alle Airflow-DAGs ansehen

So rufen Sie Airflow-DAGs aus allen Managed Airflow 3-Umgebungen in IhremGoogle Cloud -Projekt auf:

  1. Rufen Sie in der Google Cloud Console die Seite Scheduling auf.

    Zur Seite Planung

  2. Optional: Wenn Sie zusätzliche Spalten mit DAG-Details anzeigen möchten, klicken Sie auf  Spaltenanzeigeoptionen, wählen Sie die gewünschten Spalten aus und klicken Sie auf OK.

Airflow-DAG pausieren

So pausieren Sie einen ausgewählten Airflow-DAG:

  1. Rufen Sie in der Google Cloud Console die Seite Scheduling auf.

    Zur Seite Planung

  2. Führen Sie eine der folgenden Aktionen aus:

    • Klicken Sie auf den Namen des ausgewählten DAG und dann auf der Seite DAG-Details auf DAG pausieren.

    • Klicken Sie in der Zeile mit dem ausgewählten DAG in der Spalte Aktionen auf  Aktionen ansehen und dann auf DAG pausieren.

Fehlerbehebung

Eine Anleitung zur Fehlerbehebung bei Airflow-DAGs finden Sie in der Managed Airflow-Dokumentation unter Fehlerbehebung bei Airflow-DAGs.

Nächste Schritte