Datenvorbereitungen planen

In diesem Dokument wird beschrieben, wie Sie Datenvorbereitungs-Pipelines planen und manuelle Ausführungen durchführen.

Datenvorbereitungen basieren auf Dataform. Jeder Zeitplan für die Datenvorbereitung wird mit den Nutzeranmeldedaten Ihres Google-Kontos oder einem benutzerdefinierten Dienstkonto ausgeführt, das Sie beim Konfigurieren des Zeitplans oder des Testlaufs auswählen.

Änderungen, die Sie an den Schritten zur Datenvorbereitung vornehmen, werden nicht automatisch gespeichert. Sie müssen die Änderungen speichern und bereitstellen, bevor sie mit einem Zeitplan ausgeführt werden können. Zeitpläne führen immer die zuletzt bereitgestellte Version Ihrer Datenvorbereitung aus und schließen alle nicht bereitgestellten Änderungen aus, die Sie möglicherweise entwickeln.

Hinweis

Erstellen Sie zuerst eine Datenvorbereitung.

Erforderliche Rollen

Wenn Sie eine Datenvorbereitung mit einem Dienstkonto autorisieren möchten, wenn Sie die Datenvorbereitung manuell in der Entwicklung ausführen oder die Datenvorbereitung planen, müssen Sie dem Dienstkonto Rollen zuweisen, das Sie für die Ausführung der Datenvorbereitungsläufe verwenden möchten. Weitere Informationen finden Sie unter Zugriff auf das Dataform-Dienstkonto gewähren.

So planen Sie Datenvorbereitungen:

• Bitten Sie Ihren Administrator, Ihnen die Rolle „Dienstkontonutzer“ (roles/iam.serviceAccountUser) für das benutzerdefinierte Dienstkonto zuzuweisen.
• Weisen Sie dem Standard-Dataform-Dienst-Agent für das benutzerdefinierte Dienstkonto die Rolle „Dienstkontonutzer“ (roles/iam.serviceAccountUser) und die Rolle „Ersteller von Dienstkonto-Tokens“ (roles/iam.serviceAccountTokenCreator) zu.

Informationen zum Erhöhen der Sicherheit bei der Planung finden Sie unter Erweiterte Berechtigungen für die Planung implementieren.

Datenvorbereitung entwickeln

Wenn Sie eine Datenvorbereitung entwickeln, können Sie die Schritte manuell ausführen und die Ausgabe prüfen, bevor Sie die Änderungen in der Produktion bereitstellen. Sie können die aktuelle Version, die Sie entwickeln, mit Ihren Daten testen, während BigQuery die zuletzt bereitgestellte Version gemäß einem Zeitplanausführt. Bevor Sie die Ausführung durchführen können, müssen Sie das Ziel konfigurieren, und alle Validierungsfehler beheben.

Datenvorbereitung manuell in der Entwicklung ausführen

Wenn Sie Ihre Datenvorbereitungsschritte testen und die Ergebnisse in Ihrer Zieltabelle validieren möchten, führen Sie die Datenvorbereitung manuell über den Datenvorbereitungs-Editor aus:

1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

   BigQuery aufrufen

2. Klicken Sie links auf Explorer:

   

   Wenn das linke Steuerfeld nicht angezeigt wird, klicken Sie auf Linkes Steuerfeld maximieren , um es zu öffnen.

3. Maximieren Sie im Bereich Explorer Ihr Projekt und klicken Sie auf Datenvorbereitungen.

4. Klicken Sie auf den Namen der Datenvorbereitung, die Sie ausführen möchten.

5. Klicken Sie in der Symbolleiste des Datenvorbereitungs-Editors auf Mehr > Ausführung jetzt konfigurieren.

6. Autorisieren Sie im Abschnitt Authentifizierung die Datenvorbereitung mit den Nutzeranmeldedaten Ihres Google-Kontos oder einem Dienstkonto.

   • Wenn Sie die Nutzeranmeldedaten Ihres Google-Kontos verwenden möchten (Vorschau), wählen Sie Mit meinen Nutzeranmeldedaten ausführen aus. Dies ist die Standardoption.
   • Wenn Sie ein Dienstkonto verwenden möchten, wählen Sie Mit ausgewähltem Dienstkonto ausführen aus und wählen Sie dann ein Dienst konto aus. Wenn das Dienstkonto zusätzliche Berechtigungen benötigt, weisen Sie ihm die erforderlichen Rollen zu, indem Sie auf Alle gewähren klicken.
   Hinweis: Wenn Ihre Datenvorbereitung Google Drive als Datenquelle verwendet, müssen Sie Mit ausgewähltem Dienstkonto ausführen auswählen. Anmeldedaten von Endnutzern werden für diesen Vorgang nicht unterstützt. Sie müssen die Google Drive-Datei auch für das Dienstkonto freigeben.

7. Klicken Sie auf Speichern.

8. Beheben Sie alle Validierungsfehler, die angezeigt werden.

9. Klicken Sie in der Symbolleiste des Datenvorbereitungs-Editors auf Ausführen.

10. Klicken Sie im Dialogfeld Jetzt ausführen auf Bestätigen , um zu bestätigen, dass bei dieser manuellen Ausführung Daten in eine Zieltabelle geschrieben werden, die Sie möglicherweise auch für geplante Ausführungen verwenden.

    Wenn Sie Mit meinen Nutzeranmeldedaten ausführen als Authentifizierungsmethode ausgewählt haben, müssen Sie Ihr Google-Konto autorisieren (Vorschau).

    Die Ausführung führt dann Ihre Schritte aus und lädt die Ausgabe in das Ziel.

11. Optional: Nach Abschluss der Ausführung können Sie die Details zur Ausführung im Bereich Ausführungen aufrufen.

Datenvorbereitung bereitstellen

Wenn Sie Ausführungen für eine Version Ihrer Datenvorbereitung planen möchten, müssen Sie sie zuerst bereitstellen. Zeitpläne führen die zuletzt bereitgestellte Version aus.

So stellen Sie eine Datenvorbereitung bereit:

1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

   BigQuery aufrufen

2. Klicken Sie links auf Explorer:

   

3. Maximieren Sie im Bereich Explorer Ihr Projekt und klicken Sie auf Datenvorbereitungen.

4. Klicken Sie auf den Namen der ausgewählten Datenvorbereitung.

   Der Datenvorbereitungs-Editor wird geöffnet.

5. Klicken Sie in der Symbolleiste des Datenvorbereitungs-Editors auf Bereitstellen.

Zeitplan erstellen

Tipp: Sie können auch auf der Seite Pipelines und Verbindungen eine Datenvorbereitung mit einem optimierten, BigQuery-spezifischen Workflow planen. Diese Funktion befindet sich im Vorschaumodus.

Wenn Sie einen Zeitplan erstellen möchten, der die bereitgestellten Schritte zur Datenvorbereitung ausführt und die vorbereiteten Daten in die Zieltabelle lädt, müssen Sie zuerst eine Ausführung der Datenvorbereitung planen. Dazu müssen Sie das Ziel konfigurieren, und alle Validierungsfehler beheben.

So erstellen Sie einen Zeitplan für die Datenvorbereitung:

Bereich Explorer

1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

   BigQuery aufrufen

2. Klicken Sie links auf Explorer:

   

3. Maximieren Sie im Bereich Explorer Ihr Projekt und klicken Sie auf Datenvorbereitungen.

4. Klicken Sie auf den Namen der Datenvorbereitung, die Sie planen möchten.

5. Klicken Sie in der Symbolleiste des Datenvorbereitungs-Editors auf Zeitplan.

6. Geben Sie einen Namen für den Zeitplan ein.

7. Autorisieren Sie im Abschnitt Authentifizierung die Datenvorbereitung mit den Nutzeranmeldedaten Ihres Google-Kontos oder einem Dienstkonto.

   • Wenn Sie die Nutzeranmeldedaten Ihres Google-Kontos verwenden möchten (Vorschau), wählen Sie Mit meinen Nutzeranmeldedaten ausführen aus.
   • Wenn Sie ein Dienstkonto verwenden möchten, wählen Sie Mit ausgewähltem Dienstkonto ausführen aus und wählen Sie dann ein Dienst konto aus.
   Hinweis: Wenn Ihre Datenvorbereitung Google Drive als Datenquelle verwendet, müssen Sie Mit ausgewähltem Dienstkonto ausführen auswählen. Anmeldedaten von Endnutzern werden für diesen Vorgang nicht unterstützt. Sie müssen die Google Drive-Datei auch für das Dienstkonto freigeben.

8. Planen Sie eine Häufigkeit.

9. Klicken Sie auf Zeitplan erstellen. Wenn Sie Mit meinen Nutzeranmeldedaten ausführen als Authentifizierungsmethode ausgewählt haben, müssen Sie Ihr Google-Konto autorisieren (Vorschau).

Seite Planung

1. Rufen Sie in der Google Cloud Console die Seite Planung auf.

   Zur Seite „Planung“

2. Klicken Sie auf Erstellen und wählen Sie dann im Menü Zeitplan für Datenvorbereitung aus.

3. Wählen Sie im Bereich Datenvorbereitung planen im Feld Datenvorbereitung die Datenvorbereitung aus, die Sie planen möchten.

4. Geben Sie im Feld Name des Zeitplans einen Namen für den Zeitplan ein.

5. Autorisieren Sie im Abschnitt Authentifizierung die Datenvorbereitung mit den Nutzeranmeldedaten Ihres Google-Kontos oder einem Dienstkonto.

   • Wenn Sie die Nutzeranmeldedaten Ihres Google-Kontos verwenden möchten (Vorschau), wählen Sie Mit meinen Nutzeranmeldedaten ausführen aus.
   • Wenn Sie ein Dienstkonto verwenden möchten, wählen Sie Mit ausgewähltem Dienstkonto ausführen aus und wählen Sie dann ein Dienst konto aus.
   Hinweis: Wenn Ihre Datenvorbereitung Google Drive als Datenquelle verwendet, müssen Sie Mit ausgewähltem Dienstkonto ausführen auswählen. Anmeldedaten von Endnutzern werden für diesen Vorgang nicht unterstützt. Sie müssen die Google Drive-Datei auch für das Dienstkonto freigeben.

6. Führen Sie im Abschnitt Häufigkeit des Zeitplans folgende Schritte aus:

   1. Wählen Sie im Menü Wiederholungen die Häufigkeit der Ausführungen der Datenvorbereitung aus.
   2. Geben Sie im Feld Um die Uhrzeit die Uhrzeit für die geplanten Ausführungen der Datenvorbereitung ein.
   3. Wählen Sie im Menü Zeitzone die Zeitzone für den Zeitplan aus.

7. Klicken Sie auf Zeitplan erstellen. Wenn Sie Mit meinen Nutzeranmeldedaten ausführen als Authentifizierungsmethode ausgewählt haben, müssen Sie Ihr Google-Konto autorisieren (Vorschau).

Google-Konto autorisieren

Vorschau

Dieses Produkt oder Feature unterliegt den "Nutzungsbedingungen für Pre-GA-Angebote" im Abschnitt "Allgemeine Dienstbedingungen" der Dienstspezifischen Nutzungsbedingungen. Pre-GA-Produkte und -Features sind "im Ist-Zustand" verfügbar und bieten möglicherweise nur eingeschränkten Support. Weitere Informationen finden Sie unter den Beschreibungen der Startphase.

Hinweis: Wenn Sie Support anfordern oder Feedback zu dieser Funktion geben möchten, wenden Sie sich an [e-mail].

Wenn Sie die Ressource mit den Nutzeranmeldedaten Ihres Google-Kontos authentifizieren möchten, müssen Sie manuell die Berechtigung erteilen, damit BigQuery -Pipelines das Zugriffstoken für Ihr Google-Konto abrufen und in Ihrem Namen auf die Quelldaten zugreifen können. Sie können die manuelle Genehmigung über die OAuth-Dialogoberfläche erteilen.

Sie müssen BigQuery-Pipelines nur einmal die Berechtigung erteilen.

So heben Sie die erteilte Berechtigung auf:

1. Rufen Sie die Seite Ihres Google-Kontos auf.
2. Klicken Sie auf BigQuery-Pipelines.
3. Klicken Sie auf Zugriff entfernen.

Warnung: Wenn Sie die Zugriffsberechtigungen aufheben, werden alle zukünftigen Pipelineausführungen verhindert, die diesem Google-Konto in allen Regionen gehören.

Wenn Sie den Inhaber des Zeitplans für die Datenvorbereitung durch Aktualisieren der Anmeldedaten ändern, ist auch eine manuelle Genehmigung erforderlich, falls der neue Inhaber des Google-Kontos noch nie einen Zeitplan erstellt hat.

Geplante Datenvorbereitung manuell ausführen

Wenn Sie eine Datenvorbereitung in einem ausgewählten Zeitplan manuell ausführen, führt BigQuery die Datenvorbereitung einmal aus, unabhängig vom Zeitplan.

So führen Sie eine geplante Datenvorbereitung manuell aus:

1. Rufen Sie in der Google Cloud Console die Seite Planung auf.

   Zur Seite „Planung“

2. Klicken Sie auf den Namen des ausgewählten Zeitplans für die Datenvorbereitung.

3. Klicken Sie auf der Seite Zeitplandetails auf Ausführen.

Terminübersichten ansehen

Sie können Zeitpläne für die Datenvorbereitung im Datenvorbereitungs-Editor oder auf der Seite Planung aufrufen.

Datenvorbereitungs-Editor

So rufen Sie den Zeitplan für eine Datenvorbereitung auf:

1. Klicken Sie in der Symbolleiste des Datenvorbereitungs-Editors auf „schedule“ Zeitplan ansehen.
2. Optional: Klicken Sie auf Letzte Ausführungen ansehen, um den Zeitplanverlauf aufzurufen.

Seite Planung

So rufen Sie alle Zeitpläne für die Datenvorbereitung in Ihrem Projekt auf:

1. Rufen Sie in der Google Cloud Console die Seite Planung auf.

   Zur Seite „Planung“

2. Optional: Wenn Sie den Ausführungsverlauf und die Details eines ausgewählten Zeitplans aufrufen möchten, klicken Sie auf den Namen des Zeitplans. Der Verlauf manueller Ausführungen wird nicht angezeigt.

Zeitplan bearbeiten

Sie können einen Zeitplan im Datenvorbereitungs-Editor oder auf der Seite Planung bearbeiten.

Datenvorbereitungs-Editor

So bearbeiten Sie einen Zeitplan:

1. Klicken Sie in der Symbolleiste des Datenvorbereitungs-Editors auf „schedule“ Zeitplan ansehen.
2. Klicken Sie im Dialogfeld Datenvorbereitung planen auf Bearbeiten und aktualisieren Sie dann den Zeitplan.
3. Klicken Sie auf Zeitplan aktualisieren.

Seite Planung

So bearbeiten Sie einen Zeitplan:

1. Rufen Sie in der Google Cloud Console die Seite Planung auf.

   Zur Seite „Planung“

2. Klicken Sie auf den Namen des ausgewählten Zeitplans für die Datenvorbereitung.

3. Klicken Sie auf der Seite Zeitplandetails auf Bearbeiten.

4. Klicken Sie auf Zeitplan ansehen.

5. Klicken Sie im Dialogfeld Datenvorbereitung planen auf Bearbeiten und aktualisieren Sie dann den Zeitplan.

6. Klicken Sie auf Zeitplan aktualisieren.

Zeitplan löschen

So löschen Sie einen Zeitplan für eine ausgewählte Datenvorbereitung endgültig:

1. Rufen Sie in der Google Cloud Console die Seite Planung auf.

   Zur Seite „Planung“

2. Klicken Sie in der Zeile mit dem Zeitplan auf more_vert Aktionen > Löschen.

Nächste Schritte

• Informationen zum Erstellen von Datenvorbereitungen.
• Weitere Informationen zum Verwalten von Datenvorbereitungen