Monitorare le metriche di Knowledge Catalog

Questo documento spiega come utilizzare Cloud Monitoring per monitorare Service Health di Knowledge Catalog (in precedenza Dataplex Universal Catalog), ottimizzare le prestazioni e ottenere visibilità sulla tua piattaforma dati. Il monitoraggio proattivo ti aiuta a garantire l'affidabilità delle applicazioni dati e a prendere decisioni informate in merito all'allocazione delle risorse e alla gestione dei costi.

Per comprendere i costi, consulta la sezione relativa ai prezzi di Monitoring.

Per saperne di più sulla conservazione dei dati delle metriche, consulta Quote e limiti di Monitoring.

Casi d'uso

Puoi utilizzare le metriche di Knowledge Catalog in Cloud Monitoring per supportare i seguenti casi d'uso:

  • Garantire l'affidabilità della pipeline di dati: monitora le percentuali di successo e di errore delle attività di Knowledge Catalog, come l'importazione dati o i job di qualità dei dati. Configura gli avvisi per gli errori o le durate insolite per ridurre al minimo i tempi di inattività per i carichi di lavoro critici.
  • Ottimizzare le prestazioni: monitora le durate dei job e l'utilizzo delle risorse metriche per identificare e risolvere i colli di bottiglia delle prestazioni nei carichi di lavoro di elaborazione, qualità e rilevamento dei dati.
  • Gestire i costi: monitora il consumo di risorse di Knowledge Catalog (ad esempio lake, zone e asset) in Monitoring e utilizza l'esportazione di fatturazione Cloud in BigQuery per attribuire i costi di serverless computing (DCU) per i carichi di lavoro di qualità dei dati, profilazione dei dati e derivazione dei dati.
  • Mantenere la governance dei dati: monitora le metriche relative al rilevamento dei metadati e all'arricchimento del catalogo per assicurarti che gli asset di dati vengano analizzati e taggati in base alle tue policy di governance.

Come funziona

Knowledge Catalog è integrato con Cloud Monitoring, che raccoglie metriche, eventi e metadati dai servizi di Knowledge Catalog. Queste metriche forniscono insight su aree come lo stato di esecuzione dei job, l'utilizzo delle API e l'integrità delle risorse. Puoi analizzare queste metriche utilizzando gli strumenti di Cloud Monitoring, come Metrics Explorer, le dashboard personalizzate e gli avvisi. Questi strumenti ti consentono di visualizzare il comportamento del tuo servizio, identificare le tendenze delle prestazioni e creare policy di avviso che ti inviano una notifica quando le prestazioni si discostano dalle soglie definite o quando si verificano errori.

Accedere alle metriche dei servizi in Monitoring

Le metriche delle risorse dei servizi di Knowledge Catalog vengono abilitate automaticamente sui servizi di Knowledge Catalog. Per visualizzare queste metriche, utilizza Monitoring.

Puoi accedere a Monitoring dalla Google Cloud console o utilizzando la API Monitoring.

Se non riesci a visualizzare i grafici di monitoraggio o a creare avvisi, potresti aver bisogno di autorizzazioni di Monitoring aggiuntive.

Console

  1. Nella Google Cloud console, vai alla pagina Esplora metriche.

    Vai a Esplora metriche

  2. Nel menu Seleziona una metrica, seleziona una risorsa Cloud Dataplex.

  3. Seleziona una categoria di metriche, quindi seleziona una metrica dall'elenco.

    Per visualizzare le informazioni su una metrica, tieni il puntatore sul nome della metrica.

  4. Fai clic su Applica.

  5. (Facoltativo) Seleziona i filtri, raggruppa per etichette delle metriche, esegui aggregazioni e seleziona le opzioni di visualizzazione dei grafici.

REST

Per acquisire ed elencare le metriche definite da un'espressione filter, utilizza il metodo timeSeries.list di Monitoring.

Per inviare una richiesta API e visualizzare la risposta, nella pagina API utilizza il modello Prova questa API.

Metriche dei servizi di Knowledge Catalog in Monitoring

Le metriche dei servizi di Knowledge Catalog facilitano il monitoraggio di Service Health.

Le stringhe "tipo di metrica" in questa tabella devono essere precedute dal prefisso con dataplex.googleapis.com/. Questo prefisso è stato omesso dalle voci della tabella. Quando esegui una query su un'etichetta, utilizza il metric.labels. prefisso; per esempio, metric.labels.LABEL="VALUE".

Tipo di metrica Fase di lancio (livelli della gerarchia delle risorse)
Nome visualizzato
Tipo, Tipo, Unità
Risorse monitorate		 Descrizione
Etichette
asset/active BETA  (progetto)
Attivo
GAUGE, INT64, 1
dataplex.googleapis.com/Asset 		Indica se l'asset è attivo.
resource_type: il tipo di risorsa di riferimento.
zone_type: il tipo di zona principale.
asset/data_items BETA  (progetto)
Elementi di dati
GAUGE, INT64, 1
dataplex.googleapis.com/Asset 		Il conteggio degli elementi all'interno della risorsa di riferimento.
resource_type: il tipo di risorsa di riferimento.
zone_type: il tipo di zona principale.
asset/data_size BETA  (progetto)
Dimensione dei dati
GAUGE, INT64, By
dataplex.googleapis.com/Asset 		Il numero di byte archiviati all'interno della risorsa di riferimento.
resource_type: il tipo di risorsa di riferimento.
zone_type: il tipo di zona principale.
asset/entities_pending_bigquery_iampolicy_updates BETA  (progetto)
Entità con aggiornamenti dei criteri IAM di BigQuery in attesa
GAUGE, INT64, 1
dataplex.googleapis.com/Asset 		Numero di entità associate all'asset con aggiornamenti dei criteri IAM di BigQuery in attesa.
resource_type: il tipo di risorsa di riferimento.
zone_type: il tipo di zona principale.
asset/entities_pending_bigquery_metadata_updates BETA  (progetto)
Entità con aggiornamenti dei metadati di BigQuery in attesa
GAUGE, INT64, 1
dataplex.googleapis.com/Asset 		Numero di entità associate all'asset con aggiornamenti dei metadati di BigQuery in attesa.
resource_type: il tipo di risorsa di riferimento.
zone_type: il tipo di zona principale.
asset/filesets BETA  (progetto)
Set di file
GAUGE, INT64, 1
dataplex.googleapis.com/Asset 		Il conteggio delle entità del set di file all'interno della risorsa di riferimento.
resource_type: il tipo di risorsa di riferimento.
zone_type: il tipo di zona principale.
asset/requires_action BETA  (progetto)
Richiede un'azione
GAUGE, INT64, 1
dataplex.googleapis.com/Asset 		Indica se l'asset ha azioni amministrative non risolte.
resource_type: il tipo di risorsa di riferimento.
zone_type: il tipo di zona principale.
asset/tables BETA  (progetto)
Tabelle
GAUGE, INT64, 1
dataplex.googleapis.com/Asset 		Il conteggio delle entità della tabella all'interno della risorsa di riferimento.
resource_type: il tipo di risorsa di riferimento.
zone_type: il tipo di zona principale.
lake/requires_action BETA  (progetto)
Richiede un'azione
GAUGE, INT64, 1
dataplex.googleapis.com/Lake 		Indica se il lake ha azioni amministrative non risolte.
zone/requires_action BETA  (progetto)
Richiede un'azione
GAUGE, INT64, 1
dataplex.googleapis.com/Zone 		Indica se la zona ha azioni amministrative non risolte.
type: il tipo di zona.

Tabella generata il 14/10/2026 alle 20:24:33 UTC.

Monitorare e attribuire i costi DCU di Dataplex con l'esportazione di fatturazione Cloud

Poiché le scansioni dei dati di Knowledge Catalog (inclusi la qualità dei dati automatica e la profilazione dei dati) e la derivazione dei dati non pubblicano metriche delle serie temporali in Cloud Monitoring, puoi utilizzare l'esportazione di fatturazione Cloud in BigQuery per monitorare, monitorare e attribuire l'utilizzo e i costi delle unità di calcolo dati (DCU) tra progetti, scansioni e risorse dati.

Etichette di fatturazione Dataplex

Knowledge Catalog associa automaticamente le etichette di sistema ai record di fatturazione emessi per le scansioni dei dati e la derivazione dei dati. Puoi eseguire query su queste etichette nell'array labels nella tabella di esportazione di fatturazione Cloud:

Chiave di etichetta Workload Descrizione
goog-dataplex-datascan-id Qualità dei dati, profilazione dei dati L'ID o il nome della scansione dei dati.
goog-dataplex-datascan-job-id Qualità dei dati, profilazione dei dati L'ID di esecuzione specifico per il job di scansione dei dati.
goog-dataplex-datascan-data-source-project Qualità dei dati, profilazione dei dati Il Google Cloud progetto contenente l'origine dati analizzata.
goog-dataplex-datascan-data-source-region Qualità dei dati, profilazione dei dati Laregione dell'origine dati analizzata. Google Cloud
goog-dataplex-datascan-data-source-bigquery-dataset Qualità dei dati, profilazione dei dati L'ID del set di dati BigQuery della tabella analizzata.
goog-dataplex-datascan-data-source-bigquery-table Qualità dei dati, profilazione dei dati L'ID della tabella BigQuery analizzata.
goog-dataplex-datascan-data-source-dataplex-lake Qualità dei dati, profilazione dei dati L'ID del lake Dataplex (se applicabile).
goog-dataplex-datascan-data-source-dataplex-zone Qualità dei dati, profilazione dei dati L'ID della zona dati Dataplex (se applicabile).
goog-dataplex-datascan-data-source-dataplex-entity Qualità dei dati, profilazione dei dati L'ID dell'entità Dataplex (se applicabile).
goog-dataplex-datascan-data-source-biglake-catalog Qualità dei dati, profilazione dei dati L'ID del catalogo BigLake (se applicabile).
goog-dataplex-datascan-data-source-biglake-namespace Qualità dei dati, profilazione dei dati Lo spazio dei nomi BigLake (se applicabile).
goog-dataplex-datascan-data-source-biglake-table Qualità dei dati, profilazione dei dati L'ID della tabella BigLake (se applicabile).
goog-dataplex-workload-type Derivazione dei dati Identifica il carico di lavoro. Imposta su LINEAGE per gli addebiti di elaborazione della derivazione dei dati.

Esempi di query

Prima di eseguire queste query, assicurati di aver abilitato la fatturazione Cloud esportazione in BigQuery. Nelle query di esempio, sostituisci i seguenti segnaposto:

  • PROJECT_ID: l' Google Cloud ID progetto che ospita il set di dati di esportazione di fatturazione BigQuery.
  • DATASET_NAME: il nome del set di dati BigQuery contenente la tabella di esportazione di fatturazione.
  • BILLING_ACCOUNT_ID: l'ID account di fatturazione Cloud (formattato con trattini bassi, ad esempio 012345_567890_ABCDEF).

Query 1: attribuire i costi e l'utilizzo delle DCU per DataScan e tabella di destinazione

Questa query aggrega i costi di elaborazione Dataplex e di elaborazione Premium per ID DataScan e tabella BigQuery di destinazione negli ultimi 30 giorni:

SELECT
  project.id AS project_id,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id') AS datascan_id,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-data-source-project') AS data_source_project,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-data-source-bigquery-dataset') AS data_source_dataset,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-data-source-bigquery-table') AS data_source_table,
  sku.description AS sku_description,
  SUM(usage.amount) AS total_usage,
  usage.unit AS usage_unit,
  SUM(cost) AS total_cost,
  currency
FROM
  `PROJECT_ID.DATASET_NAME.gcp_billing_export_v1_BILLING_ACCOUNT_ID`
WHERE
  service.description = 'Dataplex'
  AND EXISTS (SELECT 1 FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id')
  AND _PARTITIONDATE >= DATE_SUB(CURRENT_DATE(), INTERVAL 30 DAY)
GROUP BY
  project_id,
  datascan_id,
  data_source_project,
  data_source_dataset,
  data_source_table,
  sku_description,
  usage_unit,
  currency
ORDER BY
  total_cost DESC;

Query 2: attribuire i costi di Dataplex per tipo di carico di lavoro (derivazione dei dati e DataScan)

Questa query suddivide i costi degli SKU Dataplex per categoria di carico di lavoro (ad esempio derivazione dei dati e DataScan) in tutti i progetti:

SELECT
  project.id AS project_id,
  sku.description AS sku_description,
  COALESCE(
    (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-workload-type'),
    IF(EXISTS(SELECT 1 FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id'), 'DATASCAN', 'OTHER')
  ) AS workload_type,
  SUM(usage.amount) AS total_usage,
  usage.unit AS usage_unit,
  SUM(cost) AS total_cost,
  currency
FROM
  `PROJECT_ID.DATASET_NAME.gcp_billing_export_v1_BILLING_ACCOUNT_ID`
WHERE
  service.description = 'Dataplex'
  AND _PARTITIONDATE >= DATE_SUB(CURRENT_DATE(), INTERVAL 30 DAY)
GROUP BY
  project_id,
  sku_description,
  workload_type,
  usage_unit,
  currency
ORDER BY
  total_cost DESC;

Query 3: tendenza giornaliera di utilizzo e costo delle DCU per esecuzione del job DataScan

Questa query monitora il consumo e i costi giornalieri delle DCU per le singole esecuzioni dei job DataScan negli ultimi 7 giorni:

SELECT
  DATE(usage_start_time) AS usage_date,
  project.id AS project_id,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id') AS datascan_id,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-job-id') AS job_id,
  SUM(usage.amount) AS total_usage,
  usage.unit AS usage_unit,
  SUM(cost) AS total_cost,
  currency
FROM
  `PROJECT_ID.DATASET_NAME.gcp_billing_export_v1_BILLING_ACCOUNT_ID`
WHERE
  service.description = 'Dataplex'
  AND EXISTS (SELECT 1 FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id')
  AND _PARTITIONDATE >= DATE_SUB(CURRENT_DATE(), INTERVAL 7 DAY)
GROUP BY
  usage_date,
  project_id,
  datascan_id,
  job_id,
  usage_unit,
  currency
ORDER BY
  usage_date DESC,
  total_cost DESC;

Creare una dashboard Monitoring personalizzata

Puoi creare una dashboard Monitoring personalizzata che visualizza i grafici delle metriche dei servizi di Knowledge Catalog selezionate. Per saperne di più su come creare una dashboard, consulta Crea e gestisci dashboard personalizzate. Quando selezioni una metrica per un widget nella dashboard, seleziona una risorsa Cloud Dataplex e poi scegli una metrica di Knowledge Catalog.

Utilizzare gli avvisi di Monitoring

Puoi creare un avviso di Monitoring che ti invia una notifica quando una metrica di un servizio o di un job di Knowledge Catalog supera una soglia specificata.

Creare un avviso

Per creare un avviso, segui le istruzioni riportate in Crea policy di avviso basate su soglie metriche. Quando selezioni una serie temporale da monitorare, seleziona una risorsa Cloud Dataplex e poi scegli una metrica di Knowledge Catalog.

Visualizzare avvisi

Quando una condizione di soglia metrica attiva un avviso, Monitoring crea un incidente e un evento corrispondente.

Per visualizzare un incidente:

  • Nella Google Cloud console, vai alla pagina Avvisi.

    Vai ad Avvisi

Se hai definito un meccanismo di notifica nella policy di avviso, ad esempio una notifica via email o SMS, Monitoring invia anche una notifica dell'incidente.

Per saperne di più sugli avvisi, consulta Incidenti per gli avvisi basati su metriche.

Passaggi successivi