Datastream-Ressourcen mit Knowledge Catalog verwalten

Vorschau

Diese Funktion unterliegt den „Bedingungen für Pre-GA-Angebote“ im Abschnitt „Allgemeine Dienstbedingungen“ der dienstspezifischen Nutzungsbedingungen. Pre-GA‑Funktionen stehen in der vorliegenden Form zur Verfügung und bieten möglicherweise nur eingeschränkten Support. Weitere Informationen finden Sie unter den Beschreibungen der Startphase.

Sie können mit Knowledge Catalog nach Ihren Datastream-Ressourcen suchen und sie verwalten. Knowledge Catalog ist eine Plattform zum Speichern, Verwalten und Zugreifen auf Ihre Metadaten. Knowledge Catalog kann Sie bei Folgendem unterstützen:

• Datastream-Metadaten finden, analysieren und verstehen
• Datastream-Ressourcen wie Streams, Verbindungsprofile und Konfigurationen für Verbindungen durchsuchen
• Betriebliche Transparenz für die Fehlerbehebung und Verwaltung von Datenpipelines verbessern
• Mechanismen für die konsistente Aufnahme von Metadaten in nahezu Echtzeit und in regelmäßigen Abständen mit Live- und Batch-Synchronisierung einrichten Weitere Informationen finden Sie unter Synchronisierungsmodi.

Knowledge Catalog-Modellierung

Datastream-Ressourcen werden in Knowledge Catalog unter einer reservierten, Knowledge Catalog-eigenen Eintragsgruppe und bestimmten Eintragstypen modelliert.

Knowledge Catalog-Entität	Ressourcenkennzeichnung
Eintragsgruppe	@datastream
Eintragstyp	datastream-stream
Eintragstyp	datastream-connection-profile
Eintragstyp	datastream-private-connection

Arten der Metadatenerkennung

Die Metadatenerkennung in Knowledge Catalog ist ein automatisierter Prozess, bei dem verbundene Datenquellen wie Datastream gescannt werden, um Daten-Assets zu identifizieren und ihre technischen Metadaten in Knowledge Catalog zu extrahieren.

Bei diesem Prozess werden sowohl die Echtzeit- als auch die regelmäßige Synchronisierung verwendet, um den Katalog mit dem Quellsystem konsistent zu halten. Für Datastream werden standardmäßig Metadaten für alle Streams, Verbindungsprofile und Konfigurationen für private Verbindungen erkannt:

Ressourcentyp	Abgerufene Metadaten
Streams	Name Standort Status (z. B. RUNNING, PAUSED, FAILED) Backfill-Strategie Namen der Quell- und Zielverbindungsprofile Quell- und Zielkonfigurationen
Verbindungsprofile	Name Standort Typ (z. B. MYSQL, ORACLE, BIGQUERY) Verbindungsoption Hostname, Port und Datenbankname
Konfigurationen für private Verbindungen	Name Status Verbindungsmethode (z. B. Private Service Connect oder VPC-Peering) Details zu VPC-Netzwerk und Subnetz

**Hinweis**: In Knowledge Catalog werden die Ressourcen in Datastream und in anderen Google Cloud Diensten als Assets bezeichnet.

Synchronisierungsmodi

Datastream verwendet die folgenden Synchronisierungsmodi, um Knowledge Catalog mit dem Quellsystem konsistent zu halten.

• Live-Synchronisierung: In diesem Modus veröffentlicht Datastream Ereignisse in Pub/Sub-Themen, wenn sich Metadaten ändern. Knowledge Catalog kann nahezu in Echtzeit Updates erhalten, indem es diese Themen abonniert.
• Batch-Synchronisierung: In diesem Modus veröffentlicht Datastream in regelmäßigen Abständen vollständige Metadatenexporte (Prüfpunkte) in bestimmten Cloud Storage-Buckets, aus denen Knowledge Catalog die Daten aufnimmt.

Keyword- und Suche in natürlicher Sprache

Knowledge Catalog unterstützt die Keyword- und die Suche in natürlicher Sprache.

• Mit der Keyword-Suche können Sie Ressourcen mithilfe bestimmter Keywords, Filter und einer definierten Syntax finden. Sie können beispielsweise system=Datastream AND type=Stream eingeben, um alle Datastream-Streams aufzurufen.
• Die Suche in natürlicher Sprache (Vorschau) verwendet KI, um semantische Abfragen zu verstehen. So können Sie Ressourcen in natürlicher Sprache finden, ohne dass eine komplexe Syntax erforderlich ist. Sie können beispielsweise Abfragen wie List all Datastream streams with BigQuery destination eingeben.

Weitere Informationen finden Sie unter Suchsyntax für Knowledge Catalog.

Hinweis

Melden Sie sich in Ihrem Google Cloud Konto an. Wenn Sie noch kein Google Cloud-Konto haben, erstellen Sie ein Konto, um die Leistung unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. Aktivieren Sie die Dataplex API für das Projekt.

   Dataplex API aktivieren

2. Prüfen Sie, ob Sie die erforderlichen Berechtigungen haben.

Erforderliche IAM-Rollen

In diesem Abschnitt werden die Rollen und Berechtigungen beschrieben, die zum Suchen nach Ressourcen und zum Zugreifen auf die Suchergebnisse erforderlich sind.

Erforderliche Rollen für den Zugriff auf Suchergebnisse

Wenn Prinzipale Datastream-Metadaten in Knowledge Catalog suchen und ansehen möchten, müssen sie Berechtigungen zum Aufrufen von Datastream-Ressourcen haben, einschließlich der Berechtigung dataplex.projects.search.

Weisen Sie diesen Prinzipalen (z. B. Nutzern, Gruppen oder Dienstkonten) diese Berechtigungen zu, indem Sie ihnen die Datastream-Betrachter (roles/datastream.viewer) IAM-Rolle für das Projekt zuweisen, das die Datastream-Ressourcen enthält.

Knowledge Catalog-Vorgang	Datastream-Ressource	Erforderliche Rollen oder Berechtigungen
Nach Datastream-Ressourcen suchen	Streams	datastream.streams.get
	Verbindungsprofile	datastream.connectionProfiles.get
	Konfigurationen für private Verbindungen	datastream.privateConnections.get

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten. Weitere Informationen zu Datastream-IAM-Rollen finden Sie unter IAM Rollen und Berechtigungen für Datastream.

Erforderliche Rollen für die Suche nach Einträgen

Wenn Sie nach Einträgen suchen möchten, benötigen Sie mindestens eine der folgenden IAM-Rollen für das Projekt, das für die Suche verwendet wird:

• Dataplex Catalog Admin (roles/dataplex.catalogAdmin)
• Dataplex Catalog Editor (roles/dataplex.catalogEditor)
• Dataplex Catalog Viewer (roles/dataplex.catalogViewer)

Die Berechtigungen für Suchergebnisse werden unabhängig vom ausgewählten Projekt geprüft. Weitere Informationen finden Sie unter Nach Daten-Assets mit Knowledge Catalog suchen.

Nach Datastream-Assets suchen

Verwenden Sie die Knowledge Catalog-Suchseite in der Google Cloud console um nach Datastream-Assets zu suchen.

1. Rufen Sie die Knowledge Catalog-Seite Suche auf.

   Zur Suche

2. Wählen Sie unter Suchplattform auswählen die Option Knowledge Catalog aus.

3. Klicken Sie im Bereich Filter auf Systeme und wählen Sie dann Datastream aus.

4. Optional. Unter Typ-Aliase können Sie die Suchergebnisse nach einem bestimmten Typ von Datastream-Assets filtern, indem Sie einen oder mehrere der folgenden Typ-Aliase auswählen:

   • Datenstream: Nach Datastream-Streams suchen.
   • Verbindungsprofil: Nach Datastream Verbindungsprofilen suchen.
   • Verbindung: Nach Konfigurationen für private Verbindungen in Datastream suchen.

Abfragen für die Keyword-Suche verwenden

Sie können das Suchfeld in Knowledge Catalog verwenden, um Keyword-Suchanfragen auszuführen. Sie können beispielsweise system=Datastream AND type=Stream eingeben, um alle Datastream-Streams aufzurufen.

Weitere Informationen finden Sie unter Suchsyntax für Knowledge Catalog.

Geben Sie system=Datastream ein, um alle Datastream-Assets aufzurufen.

Anschließend können Sie bestimmte Keywords eingeben. So rufen Sie beispielsweise alle Datastream-Streams auf:

system=Datastream AND type=Stream

Geben Sie die folgende Abfrage ein, um alle Verbindungsprofile aufzurufen:

system=Datastream AND type=ConnectionProfile

Sie können auch Klammern und die logischen Operatoren AND und OR für komplexe Ausdrücke verwenden. Weitere Informationen zu den Ausdrücken, die Sie im Suchfeld verwenden können, finden Sie unter Suchsyntax für Knowledge Catalog.

Sie können Suchanfragen für bestimmte Datastream-Assets direkt in das Suchfeld eingeben. Das Format des Abfragestrings ist wie folgt:

type="projects/dataplex-types/locations/global/entryTypes/QUERY_STRING"

Ersetzen Sie Folgendes:

• QUERY_STRING: Verwenden Sie die folgende Liste, um einen Abfragestring basierend auf dem Typ des Datastream-Assets zu identifizieren, das Sie abfragen möchten:

  • datastream-stream
  • datastream-connection-profile
  • datastream-private-connection

Eine Beispielabfrage könnte etwa so aussehen:

type="projects/dataplex-types/locations/global/entryTypes/datastream-stream"

Preise

Für das Speichern technischer Metadaten von Datastream in Knowledge Catalog fallen keine Gebühren an. Für API-Aufrufe und die zusätzliche Anreicherung von Geschäftsmetadaten gelten die Standardpreise für Knowledge Catalog. Weitere Informationen finden Sie auf der Knowledge Catalog-Preisseite.

Nächste Schritte

• Weitere Informationen zur Metadatenverwaltung in Knowledge Catalog
• Weitere Informationen zu Knowledge Catalog-Identity and Access Management-Rollen.