Datenintegrationsworkflows über die Seite „Pipelines & Connections“ erstellen

Vorschau

Diese Funktion unterliegt den „Bedingungen für Pre-GA-Angebote“ im Abschnitt „Allgemeine Dienstbedingungen“ der dienstspezifischen Nutzungsbedingungen. Pre-GA‑Funktionen stehen in der vorliegenden Form zur Verfügung und bieten möglicherweise nur eingeschränkten Support. Weitere Informationen finden Sie unter den Beschreibungen der Startphase.

Hinweis: Wenn Sie Feedback geben, Fragen stellen oder die Deaktivierung dieser Vorschaufunktion beantragen möchten, wenden Sie sich an [e-mail].

Sie können Datenintegrationsaufgaben direkt in derGoogle Cloud -Konsole auf der Seite BigQuery-Pipelines & ‑Verbindungen verwalten und optimieren. Auf dieser Seite finden Sie geführte, BigQuery-spezifische Konfigurationsworkflows für Dienste wie BigQuery Data Transfer Service, Datastream und Pub/Sub.

Auf der Seite Pipelines & Verbindungen können Sie folgende Aufgaben ausführen:

• Daten laden Daten aus unterstützten Datenquellen mithilfe eines geführten Arbeitsablaufs finden und laden
• Datenaufgaben planen: Planen Sie die automatische Ausführung Ihrer Datenprozesse, einschließlich geplanter Abfragen, Notebooks, Datenaufbereitungen und Pipelines.
• Daten transformieren Erstellen Sie Pipelines und Datenvorbereitungen, mit denen Vorgänge wie das Bereinigen, Strukturieren und Vorbereiten Ihrer Daten für Analysen und Berichte ausgeführt werden.
• Verbindungen zu Datenquellen erstellen Stellen Sie Verbindungen zu externen Datenquellen, Compute-Laufzeiten und KI-Diensten für den Datenzugriff und die Remote-Ausführung her.

Nachdem Sie die Seite Pipelines & Connections eingerichtet haben, können Sie Ihre Datenintegrations-Assets zentral verwalten und überwachen. Dazu werden ihr Status und Betriebsstatistiken angezeigt.

Aktivieren oder deaktivieren

Während der Vorschauphase können Sie die Seite Pipelines & Verbindungen aktivieren oder deaktivieren.

Aktivieren

So aktivieren Sie die Seite Pipelines & Verbindungen:

1. Zur Google Cloud Console.

   Zur Console

2. Klicken Sie in der Symbolleiste der Google Cloud -Console auf das Navigationsmenü.

3. Klicken Sie auf Lösungen > Alle Produkte.

4. Klicken Sie im Abschnitt Analytics auf BigQuery.

   Die BigQuery-Seite Studio wird geöffnet.

5. Führen Sie einen der folgenden Schritte aus, um das BigQuery-Navigationsmenü zu steuern:

   • Wenn Sie das Navigationsmenü maximieren möchten, halten Sie den Mauszeiger auf das Symbol  und klicken Sie dann auf left_panel_open BigQuery-Navigationsmenü umschalten.

   • Wenn Sie das Navigationsmenü minimieren möchten, klicken Sie auf left_panel_close BigQuery-Navigationsmenü umschalten.

6. Klicken Sie im Navigationsmenü auf eine der folgenden Optionen:

   • Datenübertragungen
   • Geplante Abfragen
   • Planung

7. Rufen Sie das Banner für einheitliche Pipelines und Verbindungen auf.

   

8. Klicken Sie auf Aktivieren.

   Nachdem Sie die Funktion aktiviert haben, werden die Seiten Datenübertragungen, Zeitplanung und Geplante Abfragen durch die Seite Pipelines & Verbindungen ersetzt.

   Hinweis :An der Seite Dataform ändert sich nichts.

Deaktivieren

So deaktivieren Sie die einheitliche Seite Pipelines & Verbindungen:

1. Klicken Sie auf der Seite Pipelines und Verbindungen im Banner für einheitliche Pipelines und Verbindungen auf Deaktivieren.

2. Ein Feedback-Dialogfeld wird geöffnet. Geben Sie Feedback dazu, warum Sie die Funktion deaktivieren, z. B. weil Funktionen fehlen oder Fehler auftreten.

3. Klicken Sie auf Senden und dann auf Schließen.

   Nachdem Sie das Formular gesendet haben, wird im Navigationsmenü wieder auf die separaten Seiten Datenübertragungen, Planung und Geplante Abfragen zurückgegriffen.

Asset für die Datenintegration erstellen

So erstellen Sie Assets wie geplante Abfragen, Datenübertragungen und externe Verbindungen:

1. Rufen Sie die Seite Pipelines & Verbindungen auf.

   Zu „Pipelines und Verbindungen“

2. Klicken Sie auf Erstellen.

3. Klicken Sie auf der Karte auf die Option für das Asset, das Sie erstellen möchten:

   1. Wenn Sie Daten aus einer der unterstützten Datenquellen über einen geführten Workflow hinzufügen möchten, klicken Sie auf der Karte Daten laden auf Daten hinzufügen.

   2. Wenn Sie eine Abfrage, ein Notebook, eine Datenvorbereitung oder eine Pipeline planen möchten, klicken Sie auf der Karte Datenaufgaben planen auf Planen und wählen Sie dann die gewünschte Option aus.

   3. Wenn Sie eine Transformationspipeline oder Datenvorbereitung erstellen möchten, klicken Sie auf der Karte Daten transformieren auf Erstellen und wählen Sie dann die gewünschte Option aus.

   4. Klicken Sie auf der Karte Externe Verbindungen auf Verbindung erstellen, um eine Verbindung zu einer externen Datenquelle zu erstellen.

Assets überwachen

Nachdem Sie Ihre Assets erstellt haben, können Sie sie ansehen und im Blick behalten. Zu den Betriebsstatistiken, die auf der Seite Pipelines & Connections verfügbar sind, gehören BigQuery Data Transfer Service-Ausführungsverläufe, Durchsatz und Latenz für Pub/Sub-Abos sowie Datenaktualität und Ereigniszahlen für Datastream-Pipelines. Sie finden dort auch Informationen zur Fehlerbehebung, z. B. Logs für BigQuery Data Transfer Service-Ausführungen und den Status von Datastream-Objekten.

1. Rufen Sie die Seite Pipelines & Verbindungen auf.

   Zu „Pipelines und Verbindungen“

2. Klicken Sie auf den Tab Verbindungen, um Details zu Ihren Verbindungen aufzurufen.

3. Klicken Sie auf den Tab Pipelines, um Ihre Pipelines zu überwachen. Auf dieser Seite können Sie Details wie den Status, den Typ und den Ausführungsverlauf der Pipeline aufrufen.

4. Klicken Sie in der Spalte Anzeigename auf den Link, um die Details einer Pipeline aufzurufen.

Nächste Schritte

• Informationen zum Erstellen einer Dataform-Pipeline in BigQuery
• Informationen zum Planen einer Pipeline
• Informationen zum Planen von Abfragen
• Weitere Informationen zu BigQuery Data Transfer Service-Übertragungen