Suche in Knowledge Catalog

Mit der Suche in Knowledge Catalog (ehemals Dataplex Universal Catalog) können Sie Ressourcen in Ihrer Organisation mithilfe von Abfragen in natürlicher Sprache mit semantischem Abgleich, Suchbegriffen und strukturierten Prädikaten finden. Sie können nach bestimmten Daten-Assets suchen, relevante Metadaten systemübergreifend untersuchen oder eingeschränkte Ergebnisse für programmatische und agentische Workflows abrufen.

Anwendungsfälle

In der folgenden Liste werden gängige Suchanwendungsfälle mit Beschreibungen und Beispielabfragen beschrieben:

  • Gezielte Asset-Suche: Suchen Sie nach einem bestimmten Asset, indem Sie nach Keywords suchen, die sich auf den Asset-Namen, die Spalten oder die Beschreibung beziehen.

    Beispielabfragen

    • retail_transactions_2026
    • customer_id
    • column:customer_id

  • Umfassende Datenerkennung: Identifizieren Sie relevante Assets in Ihrer Organisation mithilfe von offenen Abfragen in natürlicher Sprache oder Keyword-Abfragen.

    Beispielabfragen

    • quarterly financial reports
    • ad campaign click through rates tables
    • server health metrics
    • audit logs system=bigquery

  • Bereichsbezogener Asset-Abruf für Workflows: Assets in einem bestimmten Container, z. B. einem Projekt, oder mit bestimmten Attributen, z. B. Typ oder System, auflisten. Dieser Ansatz wird häufig für programmatische und agentische Workflows verwendet.

    Beispielabfragen

    • type=table projectid:banking-prod aspect:classification.tier=PII
    • system=spanner projectid:inventory-service (parent=marketing_analytics OR parent=finance_analytics)

Funktionsweise

Die Suche indexiert automatisch den gesamten Kontext für Daten-Assets, die in Knowledge Catalog verwaltet werden. Der Support umfasst

  • Metadaten werden automatisch aus Google Cloud Datenquellen wie BigQuery und Cloud SQL aufgenommen
  • Kontext für Ressourcen, die Sie über Connectors und Integrationen aufnehmen
  • Zusätzlicher Kontext, den Sie für Ressourcen erstellen, z. B. zur Darstellung des geschäftlichen Kontexts oder zur Beschreibung der Datensemantik. Der Kontext kann auch in Form von Aspekten oder verknüpften Geschäftsbegriffen erfasst werden.

Bei der Verarbeitung Ihrer Abfrage wird eine Kombination aus semantischem und Keyword-Abgleich angewendet. In der folgenden Tabelle werden die Abfragetypen beschrieben, die Sie mit der Knowledge Catalog-Suche verwenden können, sowie Beschreibungen und Beispielabfragen:

Abfragetyp Nutzung Beispiele
Einzelnes Keyword Für genaue und Teilstring-Übereinstimmungen in Metadatenelementen wie Asset-Name, Beschreibung und Schema. prd_fin_invoices_fct_v02
Teilweise Keywords und tokenisierte Fragmente Gleicht Teilstrings in Metadaten ab und findet Ressourcen auch mit abgekürzten Begriffen, getrennten Wörtern oder Namensvarianten. fin transactions 2026 (entspricht prd_fin_transactions_fy2026_raw)
Abfragen in natürlicher Sprache Verwendet semantischen Abgleich, ohne dass genaue Namens- oder Spaltenübereinstimmungen erforderlich sind. customer churn prediction features
Strukturierte Prädikate Kombiniert Freitextabfragen mit expliziten Prädikatfiltern, um die Suchergebnisse einzugrenzen. audit logs system=bigquery
Erweiterte Syntax Für eine präzise Suche, die auf einen bestimmten Bereich eingegrenzt ist. Die erweiterte Syntax wird am häufigsten in agentischen und programmatischen Anwendungsfällen verwendet. Weitere Informationen finden Sie unter Suchsyntax. (system:bigquery OR system:spanner) AND column:credit_card_number aspect:classification.tier=PII -projectid:sandbox-project

Sie haben die folgenden Möglichkeiten, auf die Suche im Knowledge Catalog zuzugreifen:

Suchbereich

In den Suchergebnissen im Knowledge Catalog werden die Berechtigungen berücksichtigt, die Sie für die entsprechenden Ressourcen in Quellsystemen haben.

Wenn Sie beispielsweise BigQuery-Metadaten-Lesezugriff auf ein Objekt haben, wird dieses Objekt in den Knowledge Catalog-Suchergebnissen angezeigt. Wenn Sie Zugriff auf eine BigQuery-Tabelle, aber nicht auf das Dataset haben, das diese Tabelle enthält, wird die Tabelle trotzdem wie erwartet in der Knowledge Catalog-Suche angezeigt.

Standardmäßig ist die Suche auf Ihre Organisation beschränkt. Die Ergebnisse enthalten nur Ressourcen aus derselben Organisation wie das Projekt, in dem Sie suchen.

Die Suchergebnisse enthalten nur Ressourcen, die zum selben VPC Service Controls-Perimeter gehören wie das Projekt, in dem die Suche durchgeführt wird. Wenn Sie dieGoogle Cloud -Console verwenden, ist dies das Projekt, das in der Console ausgewählt ist.

Wenn Sie den Umfang Ihrer Suchergebnisse über die Ressourcen innerhalb des VPC Service Controls-Perimeters Ihres Projekts hinaus erweitern möchten, verwenden Sie Regeln für ein- und ausgehenden Traffic von VPC Service Controls. Diese Regeln ermöglichen einen privaten und effizienten Datenaustausch in Ihrer Organisation. Sie können Regeln für eingehenden und ausgehenden Traffic über dieGoogle Cloud Console oder über JSON- oder YAML-Dateien konfigurieren. Sehen Sie sich das folgende YAML-Beispiel an und lesen Sie die Dokumentation zu VPC Service Controls, um die Regel an Ihre spezifischen Anforderungen anzupassen.

egressPolicies:
  - egressFrom:
      identityType: ANY_USER_ACCOUNT
    egressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids under which the search is performed.
      resources:
      - projects/SEARCH_PROJECT_ID
ingressPolicies:
  - ingressFrom:
      identityType: ANY_USER_ACCOUNT
      sources:
      - accessLevel: '*'
    ingressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids to expose in search results.
      resources:
      - projects/INGRESS_PROJECT_ID

Weitere Informationen zu den IAM-Rollen (Identity and Access Management), die Sie für die Knowledge Catalog-Suche benötigen, finden Sie unter IAM-Rollen für Knowledge Catalog.

Suchergebnisse mithilfe von VPC Service Controls nach Umgebung isolieren

Wenn Sie Knowledge Catalog-Suchergebnisse zwischen Umgebungen wie Entwicklung, Test und Produktion isolieren möchten, konfigurieren Sie separate VPC Service Controls-Perimeter für jede Umgebung. Weisen Sie sowohl die Projekte, die die Daten-Assets enthalten, als auch die Projekte, die für die Suche verwendet werden, dem Perimeter der entsprechenden Umgebung zu. Bei Suchanfragen, die von einem Projekt innerhalb eines bestimmten Perimeters ausgeführt werden, werden nur Ergebnisse für Assets zurückgegeben, die sich innerhalb desselben Perimeters befinden.

Einschränkungen beim Abrufen von Suchergebnissen

Die Knowledge Catalog-Suche ist für die explorative Suche optimiert, nicht für den vollständigen Abruf des Inventars. Daher ist bei Suchanfragen kein vollständiger Abruf garantiert. Bei einer Abfrage werden möglicherweise übereinstimmende Ergebnisse weggelassen und die zurückgegebenen Ergebnisse können bei wiederholten Abfragen variieren.

Ursachen für Recall-Verlust

Wenn Sie eine Suche durchführen, prüft Knowledge Catalog Ihre Berechtigungen dynamisch anhand eines Limits für die Zugriffssteuerung von 600 Einschränkungen (Regeln zur Berechtigungsbewertung). Wenn die Zugriffsprüfung dieses Limit überschreitet, wird die Prüfung vorzeitig beendet, damit die Suche schnell bleibt. In diesem Fall werden übereinstimmende Assets möglicherweise nicht in der Suche berücksichtigt.

Dieses Limit wird am wahrscheinlichsten erreicht, wenn eine der folgenden Bedingungen zutrifft:

  • IAM-Rollen, die Hunderten von einzelnen Ressourcen direkt zugewiesen sind.
  • Mitgliedschaften in vielen Google Groups, die jeweils Zugriff auf einzelne Ressourcen gewähren.
  • Mitgliedschaften in Google Groups, denen der Zugriff direkt über Hunderte von einzelnen Ressourcen gewährt wurde.

Einschränkungen beim Abruf und fehlende Ergebnisse beheben

Wählen Sie den Ansatz, der Ihrem Ziel entspricht, um Probleme mit dem Recall zu beheben oder vollständige Metadaten abzurufen:

  • So beheben Sie fehlende oder inkonsistente Suchergebnisse: Reduzieren Sie die Gesamtzahl der Zugriffsprüfungen, um unter dem Limit von 600 Einschränkungen zu bleiben. Gewähren Sie nur Zugriff auf Ressourcen, die Sie benötigen, und entfernen Sie den Zugriff auf Ressourcen oder Google-Gruppen, für die Sie keine Berechtigungen benötigen. Sie können Rollen auch auf Projekt- oder Ordnerebene statt für einzelne Ressourcen zuweisen.
  • So rufen Sie ein vollständiges, garantiertes Metadateninventar ab: Verwenden Sie nicht die Suche. Exportieren Sie stattdessen Metadaten nach Cloud Storage und fragen Sie das vollständige Dataset mit BigQuery ab.

Nächste Schritte