Datenintegrationsworkflows über die Seite „Pipelines und Verbindungen“ erstellen

Vorschau

Diese Funktion unterliegt den „Bedingungen für Pre-GA-Angebote“ im Abschnitt „Allgemeine Dienstbedingungen“ der dienstspezifischen Nutzungsbedingungen. Pre-GA‑Funktionen stehen in der vorliegenden Form zur Verfügung und bieten möglicherweise nur eingeschränkten Support. Weitere Informationen finden Sie unter den Beschreibungen der Startphase.

Hinweis: Wenn Sie Feedback geben, Fragen stellen oder die Verwendung dieser Vorabversion deaktivieren möchten, wenden Sie sich an [e-mail].

Die BigQuery-Seite Pipelines und Verbindungen in der Console optimiert Ihre Datenintegrationsaufgaben, indem sie geführte, BigQuery-spezifische Konfigurationsworkflows für Dienste wie BigQuery Data Transfer Service, Datastream und Pub/Sub bietet.

Auf der Seite Pipelines und Verbindungen können Sie folgende Aufgaben ausführen:

• Daten laden Daten aus unterstützten Datenquellen über einen geführten Workflow suchen und laden.
• Datenaufgaben planen Planen Sie die automatische Ausführung Ihrer Datenprozesse, einschließlich geplanter Abfragen, Notebooks, Datenaufbereitungen und Pipelines.
• Daten transformieren Erstellen Sie Pipelines und Datenaufbereitungen, mit denen Vorgänge wie das Bereinigen, Strukturieren und Vorbereiten Ihrer Daten für Analysen und Berichte ausgeführt werden.
• Verbindungen zu Datenquellen erstellen Stellen Sie Verbindungen zu externen Datenquellen, Compute-Laufzeiten und KI-Diensten für den Datenzugriff und die Remote-Ausführung her.

Nachdem Sie Ihre Aufgaben erstellt haben, können Sie Ihre Assets zentral auf der Seite Pipelines und Verbindungen verwalten und beobachten. In der Listenansicht sehen Sie den Status Ihrer Assets. Auf den detaillierten Überwachungsseiten finden Sie Betriebsstatistiken für jedes konfigurierte Asset, z. B. geplante Abfragen, Pipelines, Übertragungen, Verbindungen, Streams und Abos.

Zu den Betriebsstatistiken gehören der Ausführungsverlauf des BigQuery Data Transfer Service, der Durchsatz und die Latenz für Pub/Sub-Abos sowie die Datenaktualität und die Anzahl der Ereignisse für Datastream-Pipelines.

Die Überwachungsseiten enthalten auch Informationen zur Fehlerbehebung, z. B. Logs für BigQuery Data Transfer Service-Ausführungen und den Datastream-Objektstatus.

Aktivieren oder deaktivieren

Während der Vorschau können Sie die Verwendung der Seite Pipelines und Verbindungen aktivieren oder deaktivieren.

Aktivieren

So aktivieren Sie die Verwendung der Seite Pipelines und Verbindungen:

1. Zur Google Cloud Console.

   Zur Console

2. Klicken Sie in der Google Cloud Symbolleiste der Console auf Navigationsmenü.

3. Klicken Sie auf Solutions > All products.

4. Klicken Sie im Abschnitt Analytics auf BigQuery.

   Die Seite BigQuery Studio wird geöffnet.

5. Klicken Sie auf BigQuery-Navigationsmenü ein-/ausblenden, um das Navigationsmenü zu maximieren.

   

6. Klicken Sie im Navigationsmenü auf eine der folgenden Optionen:

   • Datenübermittlung
   • Geplante Abfragen
   • Planung

7. Rufen Sie das Banner für einheitliche Pipelines und Verbindungen auf.

   

8. Klicken Sie auf Aktivieren.

   Nachdem Sie die Funktion aktiviert haben, werden die vorhandenen Seiten Datenübermittlung, Planung und Geplante Abfragen durch die Seite Pipelines und Verbindungen ersetzt.

   Hinweis: Die Seite Dataform bleibt unverändert.

Deaktivieren

So deaktivieren Sie die Verwendung der einheitlichen Seite Pipelines und Verbindungen:

1. Klicken Sie auf der Seite Pipelines und Verbindungen im Banner für einheitliche Pipelines und Verbindungen auf Deaktivieren.

2. Ein Dialogfeld für Feedback wird geöffnet. Geben Sie Feedback dazu, warum Sie die Funktion deaktivieren, z. B. fehlende Funktionen oder Fehler.

3. Klicken Sie auf Senden und dann auf Schließen.

   Nachdem Sie das Formular gesendet haben, wird im Navigationsmenü wieder auf separate Datenübermittlung, Planung und Geplante Abfragen Seiten zurückgegriffen.

Asset für die Datenintegration erstellen

So erstellen Sie Assets wie geplante Abfragen, Datenübermittlungen und externe Verbindungen:

1. Rufen Sie die Seite Pipelines und Verbindungen auf.

   Zu „Pipelines und Verbindungen“

2. Klicken Sie auf Erstellen.

3. Klicken Sie auf die Option in der Karte für das Asset, das Sie erstellen möchten:

   1. Wenn Sie Daten aus einer der unterstützten Datenquellen über einen geführten Workflow hinzufügen möchten, klicken Sie auf der Karte Daten laden auf Daten hinzufügen.

   2. Wenn Sie eine Abfrage, ein Notebook, eine Datenaufbereitung oder eine Pipeline planen möchten, klicken Sie auf der Karte Datenaufgaben planen auf Planen und wählen Sie dann die entsprechende Option aus.

   3. Wenn Sie eine Transformationspipeline oder eine Datenaufbereitung erstellen möchten, klicken Sie auf der Karte Daten transformieren auf Erstellen und wählen Sie dann die entsprechende Option aus.

   4. Wenn Sie eine Verbindung zu einer externen Datenquelle erstellen möchten, klicken Sie auf der Karte Externe Verbindungen auf Verbindung erstellen.

Assets beobachten

Nachdem Sie Ihre Assets erstellt haben, können Sie sie aufrufen und beobachten.

1. Rufen Sie die Seite Pipelines und Verbindungen auf.

   Zu „Pipelines und Verbindungen“

2. Klicken Sie auf den Tab Verbindungen, um Details zu Ihren Verbindungen aufzurufen.

3. Klicken Sie auf den Tab Pipelines, um Ihre Pipelines zu beobachten. Auf dieser Seite können Sie Details wie den Status, den Typ und den Ausführungsverlauf der Pipeline aufrufen.

4. Klicken Sie in der Spalte Anzeigename auf den Link, um die Details einer Pipeline aufzurufen.

Nächste Schritte

• Informationen zum Erstellen einer Dataform-Pipeline in BigQuery
• Informationen zum Planen einer Pipeline.
• Informationen zum Planen einer Abfrage
• Informationen zu BigQuery Data Transfer Service-Übertragungen