Datenintegrations-Workflows über die Seite „Pipelines & Connections“ erstellen

Vorschau

Diese Funktion unterliegt den Bedingungen für Pre‑GA-Angebote im Abschnitt „Allgemeine Dienstbedingungen“ der dienstspezifischen Nutzungsbedingungen. Pre-GA-Funktionen stehen in der vorliegenden Form zur Verfügung und bieten möglicherweise nur eingeschränkten Support. Weitere Informationen finden Sie in den Beschreibungen der Produkteinführungsphasen.

Hinweis: Wenn Sie Feedback geben, Fragen stellen oder diese Vorabversion deaktivieren möchten, wenden Sie sich an [e-mail].

Die Seite Pipelines & Connections in der BigQuery-Konsole vereinfacht Ihre Datenintegrationsaufgaben. Sie bietet geführte, BigQuery-spezifische Konfigurationsworkflows für Dienste wie BigQuery Data Transfer Service, Datastream und Pub/Sub.

Auf der Seite Pipelines & Verbindungen können Sie folgende Aufgaben ausführen:

• Daten werden geladen. Daten aus unterstützten Datenquellen mithilfe eines geführten Arbeitsablaufs finden und laden.
• Datenaufgaben planen Planen Sie die automatische Ausführung Ihrer Datenprozesse, einschließlich geplanter Abfragen, Notebooks, Datenaufbereitungen und Pipelines.
• Daten umwandeln. Erstellen Sie Pipelines und Datenaufbereitungen, mit denen Sie Vorgänge wie das Bereinigen, Strukturieren und Vorbereiten Ihrer Daten für Analysen und Berichte ausführen können.
• Verbindungen zu Datenquellen erstellen Stellen Sie Verbindungen zu externen Datenquellen, Compute-Laufzeiten und KI-Diensten für den Datenzugriff und die Remote-Ausführung her.

Nachdem Sie Ihre Aufgaben erstellt haben, können Sie Ihre Assets auf der Seite Pipelines & Verbindungen zentral verwalten und überwachen. In der Listenansicht können Sie den Status Ihrer Assets sehen. Auf den detaillierten Monitoring-Seiten finden Sie Betriebsstatistiken für jedes konfigurierte Asset, z. B. geplante Abfragen, Pipelines, Übertragungen, Verbindungen, Streams und Abos.

Zu den Betriebsstatistiken gehören Ausführungsverläufe des BigQuery Data Transfer Service, Durchsatz und Latenz für Pub/Sub-Abos sowie Datenaktualität und Anzahl der Ereignisse für Datastream-Pipelines.

Die Monitoring-Seiten enthalten auch Informationen zur Fehlerbehebung, z. B. Logs für BigQuery Data Transfer Service-Ausführungen und den Status von Datastream-Objekten.

Aktivieren oder deaktivieren

Während der Vorschau können Sie die Seite Pipelines & Verbindungen aktivieren oder deaktivieren.

Aktivieren

So aktivieren Sie die Seite Pipelines & Verbindungen:

1. Zur Google Cloud Console.

   Zur Console

2. Klicken Sie in der Symbolleiste der Google Cloud -Console auf das Navigationsmenü.

3. Klicken Sie auf Lösungen > Alle Produkte.

4. Klicken Sie im Abschnitt Analytics auf BigQuery.

   Die BigQuery-Seite Studio wird geöffnet.

5. Klicken Sie auf  BigQuery-Navigationsmenü ein-/ausblenden, um das Navigationsmenü zu maximieren.

   

6. Klicken Sie im Navigationsmenü auf eine der folgenden Optionen:

   • Datenübermittlung
   • Geplante Abfragen
   • Planung

7. Rufen Sie das Banner für einheitliche Pipelines und Verbindungen auf.

   

8. Klicken Sie auf Aktivieren.

   Nachdem Sie die Funktion aktiviert haben, werden die Seiten Datenübertragungen, Zeitplanung und Geplante Abfragen durch die Seite Pipelines & Verbindungen ersetzt.

   Hinweis :Die Seite Dataform bleibt unverändert.

Deaktivieren

So deaktivieren Sie die einheitliche Seite Pipelines & Verbindungen:

1. Klicken Sie auf der Seite Pipelines & Verbindungen im Banner für einheitliche Pipelines und Verbindungen auf Deaktivieren.

2. Ein Feedbackdialogfeld wird geöffnet. Geben Sie Feedback dazu, warum Sie die Funktion deaktivieren, z. B. weil Funktionen fehlen oder Fehler auftreten.

3. Klicken Sie auf Senden und dann auf Schließen.

   Nachdem Sie das Formular gesendet haben, wird im Navigationsmenü wieder auf die separaten Seiten Datenübertragungen, Planung und Geplante Abfragen zurückgesetzt.

Datenintegrations-Asset erstellen

So erstellen Sie Assets wie geplante Abfragen, Datenübertragungen und externe Verbindungen:

1. Rufen Sie die Seite Pipelines & Verbindungen auf.

   Zu „Pipelines und Verbindungen“

2. Klicken Sie auf Erstellen.

3. Klicken Sie für das Asset, das Sie erstellen möchten, auf die entsprechende Option auf der Karte:

   1. Wenn Sie Daten aus einer der unterstützten Datenquellen über einen geführten Workflow hinzufügen möchten, klicken Sie auf der Karte Daten laden auf Daten hinzufügen.

   2. Wenn Sie eine Abfrage, ein Notebook, eine Datenaufbereitung oder eine Pipeline planen möchten, klicken Sie auf der Karte Datenaufgaben planen auf Planen und wählen Sie dann die gewünschte Option aus.

   3. Wenn Sie eine Transformationspipeline oder Datenvorbereitung erstellen möchten, klicken Sie auf der Karte Daten transformieren auf Erstellen und wählen Sie dann die gewünschte Option aus.

   4. Klicken Sie auf der Karte Externe Verbindungen auf Verbindung erstellen, um eine Verbindung zu einer externen Datenquelle zu erstellen.

Assets überwachen

Nachdem Sie Ihre Assets erstellt haben, können Sie sie aufrufen und beobachten.

1. Rufen Sie die Seite Pipelines & Verbindungen auf.

   Zu „Pipelines und Verbindungen“

2. Wenn Sie Details zu Ihren Verbindungen aufrufen möchten, klicken Sie auf den Tab Verbindungen.

3. Klicken Sie zum Überwachen Ihrer Pipelines auf den Tab Pipelines. Auf dieser Seite können Sie Details wie den Status, den Typ und den Ausführungsverlauf der Pipeline aufrufen.

4. Klicken Sie in der Spalte Anzeigename auf den Link, um die Details einer Pipeline aufzurufen.

Nächste Schritte

• Informationen zum Erstellen einer Dataform-Pipeline in BigQuery
• Pipeline planen
• Informationen zum Planen von Abfragen
• Weitere Informationen zu BigQuery Data Transfer Service-Übertragungen