In diesem Dokument wird erläutert, wie Sie mit Cloud Monitoring den Dienststatus von Knowledge Catalog (ehemals Dataplex Universal Catalog) verfolgen, die Leistung optimieren und Einblick in Ihre Datenplattform erhalten. Durch proaktives Monitoring können Sie die Zuverlässigkeit von Datenanwendungen gewährleisten und fundierte Entscheidungen zur Ressourcenverteilung und Kostenverwaltung treffen.
Informationen zu den Kosten finden Sie unter Monitoring-Preise.
Weitere Informationen zur Datenaufbewahrung von Messwerten finden Sie unter Kontingente und Limits für Cloud Monitoring.
Anwendungsfälle
Sie können Knowledge Catalog-Messwerte in Cloud Monitoring verwenden, um die folgenden Anwendungsfälle zu unterstützen:
- Zuverlässigkeit von Datenpipelines gewährleisten: Überwachen Sie die Erfolgs- und Fehlerraten von Knowledge Catalog-Aufgaben wie der Datenaufnahme oder Datenqualitätsjobs. Konfigurieren Sie Benachrichtigungen für Fehler oder ungewöhnliche Laufzeiten, um Ausfallzeiten für kritische Arbeitslasten zu minimieren.
- Leistung optimieren: Verfolgen Sie die Joblaufzeiten und Messwerte zur Ressourcennutzung, um Leistungsengpässe in Ihren Arbeitslasten für die Datenverarbeitung, Datenqualität und Datenerkennung zu identifizieren und zu beheben.
- Kosten verwalten: Überwachen Sie den Ressourcenverbrauch von Knowledge Catalog (z. B. Lakes, Zonen und Assets) in Monitoring und verwenden Sie den Cloud Billing-Export nach BigQuery , um die Kosten für serverlose Compute-Ressourcen (DCU) für Arbeitslasten für Datenqualität, Daten profilerstellung und Datenherkunft zuzuordnen.
- Data Governance aufrechterhalten: Verfolgen Sie Messwerte im Zusammenhang mit der Metadatenerkennung und der Kataloganreicherung, um sicherzustellen, dass Datenassets gemäß Ihren Governance-Richtlinien gescannt und getaggt werden.
Funktionsweise
Knowledge Catalog ist in Cloud Monitoring integriert, das Messwerte, Ereignisse und Metadaten aus Knowledge Catalog-Diensten erfasst. Diese Messwerte liefern Einblicke in Bereiche wie den Jobausführungsstatus, die API-Nutzung und den Ressourcenstatus. Sie können diese Messwerte mit Tools in Cloud Monitoring analysieren, z. B. mit dem Metrics Explorer, benutzerdefinierten Dashboards und Benachrichtigungen. Mit diesen Tools können Sie das Verhalten Ihres Dienstes visualisieren, Leistungstrends erkennen und Benachrichtigungsrichtlinien erstellen, die Sie benachrichtigen, wenn die Leistung von den festgelegten Schwellenwerten abweicht oder Fehler auftreten.
Dienstmesswerte in Monitoring aufrufen
Messwerte für Knowledge Catalog-Dienstressourcen werden automatisch für Knowledge Catalog-Dienste aktiviert. Verwenden Sie Monitoring, um diese Messwerte aufzurufen.
Sie können über die Google Cloud Console oder die Monitoring API auf Monitoring zugreifen.
Wenn Sie die Monitoring-Diagramme nicht sehen oder keine Benachrichtigungen erstellen können, benötigen Sie möglicherweise zusätzliche Monitoring-Berechtigungen.
Console
Wechseln Sie in der Google Cloud Console zur Seite Metrics Explorer.
Wählen Sie im Menü Messwert auswählen eine
Cloud Dataplex-Ressource aus.Wählen Sie eine Messwertkategorie und dann einen Messwert aus der Liste aus.
Wenn Sie Informationen zu einem Messwert anzeigen möchten, bewegen Sie den Mauszeiger auf den Messwertnamen.
Klicken Sie auf Übernehmen.
Optional: Wählen Sie Filter aus, gruppieren Sie nach Messwertlabels, führen Sie Aggregationen aus und wählen Sie Optionen für die Diagrammanzeige aus.
REST
Verwenden Sie die Methode timeSeries.list von Monitoring, um Messwerte zu erfassen und aufzulisten, die durch einen filter Ausdruck definiert werden.
Verwenden Sie auf der API-Seite die Vorlage API testen , um eine API-Anfrage zu senden und die Antwort anzuzeigen.
Knowledge Catalog-Dienstmesswerte in Monitoring
Mit den Knowledge Catalog-Dienstmesswerten lässt sich der Dienststatus leichter überwachen.
Den Strings vom Typ "metric type" in dieser Tabelle muss
mit dataplex.googleapis.com/ vorangestellt werden. Dieses Präfix wurde in den Einträgen der Tabelle weggelassen.
Verwenden Sie beim Abfragen eines Labels das Präfix metric.labels.. Beispiel: metric.labels.LABEL="VALUE".
| Messwerttyp Einführungsphase (Hierarchieebenen der Ressourcen) Anzeigename |
|
|---|---|
| Art, Typ, Einheit Überwachte Ressourcen |
Beschreibung Labels |
asset/active
BETA
(project)
Aktiv |
|
GAUGE, INT64, 1
dataplex.googleapis.com/Asset |
Ob das Asset aktiv ist.
resource_type:
Der Typ der referenzierten Ressource.
zone_type:
Der Typ der übergeordneten Zone.
|
asset/data_items
BETA
(project)
Datenelemente |
|
GAUGE, INT64, 1
dataplex.googleapis.com/Asset |
Die Anzahl der Elemente in der referenzierten Ressource.
resource_type:
Der Typ der referenzierten Ressource.
zone_type:
Der Typ der übergeordneten Zone.
|
asset/data_size
BETA
(project)
Datengröße |
|
GAUGE, INT64, By
dataplex.googleapis.com/Asset |
Die Anzahl der gespeicherten Byte in der referenzierten Ressource.
resource_type:
Der Typ der referenzierten Ressource.
zone_type:
Der Typ der übergeordneten Zone.
|
asset/entities_pending_bigquery_iampolicy_updates
BETA
(project)
Entitäten mit ausstehenden BigQuery-IAM-Richtlinienaktualisierungen |
|
GAUGE, INT64, 1
dataplex.googleapis.com/Asset |
Anzahl der Entitäten, die dem Asset zugeordnet sind und für die ausstehende BigQuery-IAM-Richtlinienaktualisierungen vorhanden sind.
resource_type:
Der Typ der referenzierten Ressource.
zone_type:
Der Typ der übergeordneten Zone.
|
asset/entities_pending_bigquery_metadata_updates
BETA
(project)
Entitäten mit ausstehenden BigQuery-Metadatenaktualisierungen |
|
GAUGE, INT64, 1
dataplex.googleapis.com/Asset |
Anzahl der Entitäten, die dem Asset zugeordnet sind und für die ausstehende BigQuery-Metadatenaktualisierungen vorhanden sind.
resource_type:
Der Typ der referenzierten Ressource.
zone_type:
Der Typ der übergeordneten Zone.
|
asset/filesets
BETA
(project)
Dateisätze |
|
GAUGE, INT64, 1
dataplex.googleapis.com/Asset |
Die Anzahl der Dateisatzentitäten in der referenzierten Ressource.
resource_type:
Der Typ der referenzierten Ressource.
zone_type:
Der Typ der übergeordneten Zone.
|
asset/requires_action
BETA
(project)
Aktion erforderlich |
|
GAUGE, INT64, 1
dataplex.googleapis.com/Asset |
Ob für das Asset nicht aufgelöste Administratoraktionen vorhanden sind.
resource_type:
Der Typ der referenzierten Ressource.
zone_type:
Der Typ der übergeordneten Zone.
|
asset/tables
BETA
(project)
Tabellen |
|
GAUGE, INT64, 1
dataplex.googleapis.com/Asset |
Die Anzahl der Tabellenentitäten in der referenzierten Ressource.
resource_type:
Der Typ der referenzierten Ressource.
zone_type:
Der Typ der übergeordneten Zone.
|
lake/requires_action
BETA
(project)
Aktion erforderlich |
|
GAUGE, INT64, 1
dataplex.googleapis.com/Lake |
Ob für den Lake nicht aufgelöste Administratoraktionen vorhanden sind. |
zone/requires_action
BETA
(project)
Aktion erforderlich |
|
GAUGE, INT64, 1
dataplex.googleapis.com/Zone |
Ob für die Zone nicht aufgelöste Administratoraktionen vorhanden sind.
type:
Der Typ der Zone.
|
Die Tabelle wurde am 14.10.2026 um 20:24:33 Uhr (UTC) erstellt.
Dataplex-DCU-Kosten mit Cloud Billing-Export überwachen und zuordnen
Da bei Knowledge Catalog-Datenscans (einschließlich automatischer Datenqualitäts- und Daten profilscans) und der Datenherkunft keine Zeitreihenmesswerte in Cloud Monitoring veröffentlicht werden, können Sie den Cloud Billing-Export nach BigQuery verwenden, um die Nutzung und die Kosten von Data Compute Units (DCUs) projekt-, scan- und datenressourcenübergreifend zu verfolgen, überwachen und zuzuordnen.
Dataplex-Abrechnungslabels
Knowledge Catalog fügt Abrechnungsdatensätzen, die für Datenscans und die Datenherkunft ausgegeben werden, automatisch Systemlabels hinzu. Sie können diese Labels im Array labels in Ihrer Cloud Billing-Exporttabelle abfragen:
| Labelschlüssel | Arbeitslast | Beschreibung |
|---|---|---|
goog-dataplex-datascan-id |
Datenqualität, Datenprofilerstellung | Die ID oder der Name des Datenscans. |
goog-dataplex-datascan-job-id |
Datenqualität, Datenprofilerstellung | Die spezifische Ausführungs-ID für den Datenscanjob. |
goog-dataplex-datascan-data-source-project |
Datenqualität, Datenprofilerstellung | Das Google Cloud Projekt, das die gescannte Datenquelle enthält. |
goog-dataplex-datascan-data-source-region |
Datenqualität, Datenprofilerstellung | Die Google Cloud Region der gescannten Datenquelle. |
goog-dataplex-datascan-data-source-bigquery-dataset |
Datenqualität, Datenprofilerstellung | Die BigQuery-Dataset-ID der gescannten Tabelle. |
goog-dataplex-datascan-data-source-bigquery-table |
Datenqualität, Datenprofilerstellung | Die gescannte BigQuery-Tabelle-ID. |
goog-dataplex-datascan-data-source-dataplex-lake |
Datenqualität, Datenprofilerstellung | Die Dataplex-Lake-ID (falls zutreffend). |
goog-dataplex-datascan-data-source-dataplex-zone |
Datenqualität, Datenprofilerstellung | Die Dataplex-Datenzonen-ID (falls zutreffend). |
goog-dataplex-datascan-data-source-dataplex-entity |
Datenqualität, Datenprofilerstellung | Die Dataplex-Entitäts-ID (falls zutreffend). |
goog-dataplex-datascan-data-source-biglake-catalog |
Datenqualität, Datenprofilerstellung | Die BigLake-Katalog-ID (falls zutreffend). |
goog-dataplex-datascan-data-source-biglake-namespace |
Datenqualität, Datenprofilerstellung | Der BigLake-Namespace (falls zutreffend). |
goog-dataplex-datascan-data-source-biglake-table |
Datenqualität, Datenprofilerstellung | Die BigLake-Tabellen-ID (falls zutreffend). |
goog-dataplex-workload-type |
Datenherkunft | Identifiziert die Arbeitslast. Für Gebühren für die Verarbeitung der Datenherkunft auf LINEAGE festgelegt. |
Beispielabfragen
Bevor Sie diese Abfragen ausführen, müssen Sie den Cloud Billing -Export nach BigQuery aktiviert haben. Ersetzen Sie in den Beispielabfragen die folgenden Platzhalter:
PROJECT_ID: Die Google Cloud Projekt-ID, die Ihr BigQuery-Abrechnungsexport-Dataset hostet.DATASET_NAME: Der Name des BigQuery-Datasets, das Ihre Abrechnungsexporttabelle enthält.BILLING_ACCOUNT_ID: Ihre Cloud-Rechnungskonto-ID (mit Unterstrichen formatiert, z. B.012345_567890_ABCDEF).
Abfrage 1: DCU-Kosten und -Nutzung nach DataScan und Zieltabelle zuordnen
Diese Abfrage aggregiert die Kosten für die Dataplex-Verarbeitung und die Premium-Verarbeitung nach DataScan-ID und BigQuery-Zieltabelle für die letzten 30 Tage:
SELECT project.id AS project_id, (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id') AS datascan_id, (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-data-source-project') AS data_source_project, (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-data-source-bigquery-dataset') AS data_source_dataset, (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-data-source-bigquery-table') AS data_source_table, sku.description AS sku_description, SUM(usage.amount) AS total_usage, usage.unit AS usage_unit, SUM(cost) AS total_cost, currency FROM `PROJECT_ID.DATASET_NAME.gcp_billing_export_v1_BILLING_ACCOUNT_ID` WHERE service.description = 'Dataplex' AND EXISTS (SELECT 1 FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id') AND _PARTITIONDATE >= DATE_SUB(CURRENT_DATE(), INTERVAL 30 DAY) GROUP BY project_id, datascan_id, data_source_project, data_source_dataset, data_source_table, sku_description, usage_unit, currency ORDER BY total_cost DESC;
Abfrage 2: Dataplex-Kosten nach Arbeitslasttyp zuordnen (Datenherkunft vs. DataScan)
Diese Abfrage schlüsselt die Kosten für Dataplex-SKUs nach Arbeitslastkategorie (z. B. Datenherkunft im Vergleich zu DataScan) für alle Projekte auf:
SELECT project.id AS project_id, sku.description AS sku_description, COALESCE( (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-workload-type'), IF(EXISTS(SELECT 1 FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id'), 'DATASCAN', 'OTHER') ) AS workload_type, SUM(usage.amount) AS total_usage, usage.unit AS usage_unit, SUM(cost) AS total_cost, currency FROM `PROJECT_ID.DATASET_NAME.gcp_billing_export_v1_BILLING_ACCOUNT_ID` WHERE service.description = 'Dataplex' AND _PARTITIONDATE >= DATE_SUB(CURRENT_DATE(), INTERVAL 30 DAY) GROUP BY project_id, sku_description, workload_type, usage_unit, currency ORDER BY total_cost DESC;
Abfrage 3: Täglicher DCU-Verbrauch und Kostentrend pro DataScan-Jobausführung
Diese Abfrage verfolgt den täglichen DCU-Verbrauch und die Kosten für einzelne DataScan-Jobausführungen in den letzten 7 Tagen:
SELECT DATE(usage_start_time) AS usage_date, project.id AS project_id, (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id') AS datascan_id, (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-job-id') AS job_id, SUM(usage.amount) AS total_usage, usage.unit AS usage_unit, SUM(cost) AS total_cost, currency FROM `PROJECT_ID.DATASET_NAME.gcp_billing_export_v1_BILLING_ACCOUNT_ID` WHERE service.description = 'Dataplex' AND EXISTS (SELECT 1 FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id') AND _PARTITIONDATE >= DATE_SUB(CURRENT_DATE(), INTERVAL 7 DAY) GROUP BY usage_date, project_id, datascan_id, job_id, usage_unit, currency ORDER BY usage_date DESC, total_cost DESC;
Benutzerdefiniertes Monitoring-Dashboard erstellen
Sie können ein benutzerdefiniertes Monitoring-Dashboard erstellen, auf dem Diagramme ausgewählter Knowledge Catalog-Dienstmesswerte angezeigt werden. Weitere Informationen
zum Erstellen eines Dashboards finden Sie unter
Benutzerdefinierte Dashboards erstellen und verwalten. Wenn Sie einen Messwert für ein Widget auf Ihrem Dashboard auswählen, wählen Sie eine Cloud Dataplex-Ressource und dann einen Knowledge Catalog-Messwert aus.
Monitoring-Benachrichtigungen verwenden
Sie können eine Monitoring-Benachrichtigung erstellen, die Sie benachrichtigt, wenn ein Messwert für einen Knowledge Catalog-Dienst oder -Job einen bestimmten Schwellenwert überschreitet.
Benachrichtigung erstellen
Folgen Sie der Anleitung unter
Benachrichtigungsrichtlinien mit Messwertschwellen erstellen, um eine Benachrichtigung zu erstellen.
Wenn Sie eine Zeitreihe auswählen, die überwacht werden soll, wählen Sie eine Cloud Dataplex-Ressource und dann einen Knowledge Catalog-Messwert aus.
Benachrichtigungen ansehen
Wenn eine Benachrichtigung durch eine Messwertschwellenbedingung ausgelöst wird, erstellt Monitoring einen Vorfall sowie ein entsprechendes Ereignis.
So rufen Sie einen Vorfall auf:
Rufen Sie in der Google Cloud Console die Seite Benachrichtigungen auf.
Wenn Sie in der Benachrichtigungsrichtlinie einen Benachrichtigungsmechanismus wie eine E-Mail- oder SMS-Benachrichtigung definiert haben, sendet Monitoring auch eine Benachrichtigung über den Vorfall.
Weitere Informationen zu Benachrichtigungen finden Sie unter Vorfälle für messwertbasierte Benachrichtigungen.
Nächste Schritte
- Weitere Informationen zu Cloud Monitoring.
- Informationen zum Cloud Billing-Export nach BigQuery
- Informationen zur Verwendung der automatischen Datenqualität .
- Informationen zur Verwendung der Datenprofilerstellung .
- Informationen zur Verwendung der Datenherkunft .