Monitorare le metriche di Knowledge Catalog

Questo documento spiega come utilizzare Cloud Monitoring per monitorare l'integrità del servizio Knowledge Catalog (in precedenza Dataplex Universal Catalog), ottimizzare le prestazioni e ottenere visibilità sulla tua piattaforma di dati. Il monitoraggio proattivo ti aiuta a garantire l'affidabilità delle applicazioni di dati e a prendere decisioni informate in merito all'allocazione delle risorse e alla gestione dei costi.

Per comprendere i costi, consulta la pagina Prezzi di Monitoring.

Per saperne di più sulla conservazione dei dati delle metriche, consulta Quote e limiti di Monitoring.

Casi d'uso

Puoi utilizzare le metriche di Knowledge Catalog in Cloud Monitoring per supportare i seguenti casi d'uso:

  • Garantire l'affidabilità della pipeline di dati: monitora i tassi di successo e di errore delle attività di Knowledge Catalog, come i job di importazione dati o di qualità dei dati. Configura avvisi per errori o durate insolite per ridurre al minimo i tempi di inattività per i carichi di lavoro critici.
  • Ottimizza le prestazioni: monitora la durata dei job e le metriche di utilizzo delle risorse per identificare e risolvere i colli di bottiglia delle prestazioni nei carichi di lavoro di elaborazione dati, qualità dei dati e scoperta dei dati.
  • Gestisci i costi: monitora il consumo di risorse di Knowledge Catalog (ad esempio lake, zone e asset) in Monitoring e utilizza l'esportazione della fatturazione Cloud in BigQuery per attribuire i costi di calcolo serverless (DCU) per i carichi di lavoro di qualità dei dati, profilazione dei dati e lineage dei dati.
  • Mantieni la governance dei dati: monitora le metriche relative all'individuazione dei metadati e all'arricchimento del catalogo per assicurarti che gli asset di dati vengano scansionati e taggati in base alle tue norme di governance.

Come funziona

Knowledge Catalog è integrato con Cloud Monitoring, che raccoglie metriche, eventi e metadati dai servizi Knowledge Catalog. Queste metriche forniscono informazioni dettagliate su aree quali lo stato di esecuzione dei job, l'utilizzo delle API e lo stato delle risorse. Puoi analizzare queste metriche utilizzando gli strumenti di Cloud Monitoring, come Metrics Explorer, dashboard personalizzate e avvisi. Questi strumenti ti consentono di visualizzare il comportamento del servizio, identificare le tendenze delle prestazioni e creare criteri di avviso che ti inviano una notifica quando le prestazioni si discostano dalle soglie definite o quando si verificano errori.

Accedere alle metriche del servizio in Monitoring

Le metriche delle risorse di servizio di Knowledge Catalog vengono abilitate automaticamente sui servizi Knowledge Catalog. Per visualizzare queste metriche, utilizza Monitoring.

Puoi accedere a Monitoring dalla Google Cloud console o utilizzando l'API Monitoring.

Se non riesci a visualizzare i grafici di monitoraggio o a creare avvisi, potresti aver bisogno di autorizzazioni di monitoraggio aggiuntive.

Console

  1. Nella console Google Cloud , vai alla pagina Esplora metriche.

    Vai a Esplora metriche

  2. Nel menu Seleziona una metrica, seleziona una risorsa Cloud Dataplex.

  3. Seleziona una categoria di metrica, quindi seleziona una metrica dall'elenco.

    Per visualizzare informazioni su una metrica, tieni premuto il puntatore sopra il nome della metrica.

  4. Fai clic su Applica.

  5. (Facoltativo) Seleziona filtri, raggruppa per etichette delle metriche, esegui aggregazioni e seleziona le opzioni di visualizzazione del grafico.

REST

Per acquisire ed elencare le metriche definite da un'espressione filter, utilizza il metodo timeSeries.list di Monitoring.

Per inviare una richiesta API e visualizzare la risposta, utilizza il modello Prova questa API nella pagina API.

Metriche del servizio Knowledge Catalog in Monitoring

Le metriche del servizio Knowledge Catalog facilitano il monitoraggio dell'integrità del servizio.

Le stringhe "tipo di metrica" in questa tabella devono essere precedute dal prefisso dataplex.googleapis.com/. Questo prefisso è stato omesso dalle voci della tabella. Quando esegui una query su un'etichetta, utilizza il prefisso metric.labels.; ad esempio, metric.labels.LABEL="VALUE".

Tipo di metrica Fase di lancio (livelli della gerarchia delle risorse)
Nome visualizzato
Tipo, Tipo, Unità
Risorse monitorate		 Descrizione
Etichette
asset/active BETA  (progetto)
Attivo
GAUGE, INT64, 1
dataplex.googleapis.com/Asset 		Indica se l'asset è attivo.
resource_type: Il tipo di risorsa a cui viene fatto riferimento.
zone_type: Il tipo di zona principale.
asset/data_items BETA  (progetto)
Elementi di dati
GAUGE, INT64, 1
dataplex.googleapis.com/Asset 		Il conteggio degli elementi all'interno della risorsa a cui viene fatto riferimento.
resource_type: Il tipo di risorsa a cui viene fatto riferimento.
zone_type: Il tipo di zona principale.
asset/data_size BETA  (progetto)
Dimensioni dei dati
GAUGE, INT64, By
dataplex.googleapis.com/Asset 		Il numero di byte archiviati all'interno della risorsa a cui viene fatto riferimento.
resource_type: Il tipo di risorsa a cui viene fatto riferimento.
zone_type: Il tipo di zona principale.
asset/entities_pending_bigquery_iampolicy_updates BETA  (progetto)
Entità con aggiornamenti delle norme IAM di BigQuery in attesa
GAUGE, INT64, 1
dataplex.googleapis.com/Asset 		Numero di entità associate all'asset con aggiornamenti delle policy IAM di BigQuery in attesa.
resource_type: Il tipo di risorsa a cui viene fatto riferimento.
zone_type: Il tipo di zona principale.
asset/entities_pending_bigquery_metadata_updates BETA  (progetto)
Entità con aggiornamenti dei metadati BigQuery in attesa
GAUGE, INT64, 1
dataplex.googleapis.com/Asset 		Numero di entità associate all'asset con aggiornamenti dei metadati BigQuery in attesa.
resource_type: Il tipo di risorsa a cui viene fatto riferimento.
zone_type: Il tipo di zona principale.
asset/filesets BETA  (progetto)
File set
GAUGE, INT64, 1
dataplex.googleapis.com/Asset 		Il conteggio delle entità fileset all'interno della risorsa a cui viene fatto riferimento.
resource_type: Il tipo di risorsa a cui viene fatto riferimento.
zone_type: Il tipo di zona principale.
asset/requires_action BETA  (progetto)
Azione richiesta
GAUGE, INT64, 1
dataplex.googleapis.com/Asset 		Indica se la risorsa presenta azioni amministrative irrisolte.
resource_type: Il tipo di risorsa a cui viene fatto riferimento.
zone_type: Il tipo di zona principale.
asset/tables BETA  (progetto)
Tabelle
GAUGE, INT64, 1
dataplex.googleapis.com/Asset 		Il conteggio delle entità tabella all'interno della risorsa a cui viene fatto riferimento.
resource_type: Il tipo di risorsa a cui viene fatto riferimento.
zone_type: Il tipo di zona principale.
lake/requires_action BETA  (progetto)
Azione richiesta
GAUGE, INT64, 1
dataplex.googleapis.com/Lake 		Se il lake presenta azioni amministrative irrisolte.
zone/requires_action BETA  (progetto)
Azione richiesta
GAUGE, INT64, 1
dataplex.googleapis.com/Zone 		Se la zona presenta azioni amministrative irrisolte.
type: Il tipo di zona.

Tabella generata il giorno 09/09/2026 alle 21:16:05 UTC.

Monitorare e attribuire i costi delle DCU di Dataplex con l'esportazione della fatturazione Cloud

Poiché le scansioni dei dati di Knowledge Catalog (inclusi il profilo di dati e la qualità dei dati automatica) e la tracciabilità dei dati non pubblicano metriche delle serie temporali in Cloud Monitoring, puoi utilizzare l'esportazione della fatturazione Cloud in BigQuery per monitorare, tenere traccia e attribuire l'utilizzo e i costi delle unità di calcolo dei dati (DCU) in progetti, scansioni e risorse di dati.

Etichette di fatturazione Dataplex

Knowledge Catalog associa automaticamente le etichette di sistema ai record di fatturazione emessi per le scansioni dei dati e la relativa tracciabilità. Puoi eseguire query su queste etichette nell'array labels nella tabella di esportazione della fatturazione Cloud:

Chiave di etichetta Workload Descrizione
goog-dataplex-datascan-id Qualità dei dati, profilazione dei dati L'ID o il nome della scansione dei dati.
goog-dataplex-datascan-job-id Qualità dei dati, profilazione dei dati L'ID esecuzione specifico per il job di scansione dei dati.
goog-dataplex-datascan-data-source-project Qualità dei dati, profilazione dei dati Il progetto Google Cloud contenente l'origine dati scansionata.
goog-dataplex-datascan-data-source-region Qualità dei dati, profilazione dei dati La regione Google Cloud dell'origine dati analizzata.
goog-dataplex-datascan-data-source-bigquery-dataset Qualità dei dati, profilazione dei dati L'ID set di dati BigQuery della tabella scansionata.
goog-dataplex-datascan-data-source-bigquery-table Qualità dei dati, profilazione dei dati L'ID tabella BigQuery scansionato.
goog-dataplex-datascan-data-source-dataplex-lake Qualità dei dati, profilazione dei dati L'ID lake Dataplex (se applicabile).
goog-dataplex-datascan-data-source-dataplex-zone Qualità dei dati, profilazione dei dati L'ID zona dati Dataplex (se applicabile).
goog-dataplex-datascan-data-source-dataplex-entity Qualità dei dati, profilazione dei dati L'ID entità Dataplex (se applicabile).
goog-dataplex-datascan-data-source-biglake-catalog Qualità dei dati, profilazione dei dati L'ID catalogo BigLake (se applicabile).
goog-dataplex-datascan-data-source-biglake-namespace Qualità dei dati, profilazione dei dati Lo spazio dei nomi BigLake (se applicabile).
goog-dataplex-datascan-data-source-biglake-table Qualità dei dati, profilazione dei dati L'ID tabella BigLake (se applicabile).
goog-dataplex-workload-type Data Lineage Identifica il workload. Imposta su LINEAGE per gli addebiti per l'elaborazione della derivazione dei dati.

Esempi di query

Prima di eseguire queste query, assicurati di aver abilitato l'esportazione della fatturazione Cloud in BigQuery. Nelle query di esempio, sostituisci i seguenti segnaposto:

  • PROJECT_ID: l'ID progetto Google Cloud che ospita il set di dati di esportazione della fatturazione BigQuery.
  • DATASET_NAME: il nome del set di dati BigQuery contenente la tabella di esportazione della fatturazione.
  • BILLING_ACCOUNT_ID: l'ID del tuo account di fatturazione Cloud (formattato con trattini bassi, ad esempio 012345_567890_ABCDEF).

Query 1: costi e utilizzo dell'attributo DCU per DataScan e tabella di destinazione

Questa query aggrega i costi di elaborazione Dataplex e di elaborazione premium per ID DataScan e tabella BigQuery di destinazione negli ultimi 30 giorni:

SELECT
  project.id AS project_id,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id') AS datascan_id,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-data-source-project') AS data_source_project,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-data-source-bigquery-dataset') AS data_source_dataset,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-data-source-bigquery-table') AS data_source_table,
  sku.description AS sku_description,
  SUM(usage.amount) AS total_usage,
  usage.unit AS usage_unit,
  SUM(cost) AS total_cost,
  currency
FROM
  `PROJECT_ID.DATASET_NAME.gcp_billing_export_v1_BILLING_ACCOUNT_ID`
WHERE
  service.description = 'Dataplex'
  AND EXISTS (SELECT 1 FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id')
  AND _PARTITIONDATE >= DATE_SUB(CURRENT_DATE(), INTERVAL 30 DAY)
GROUP BY
  project_id,
  datascan_id,
  data_source_project,
  data_source_dataset,
  data_source_table,
  sku_description,
  usage_unit,
  currency
ORDER BY
  total_cost DESC;

Query 2: Attribuisci i costi di Dataplex per tipo di carico di lavoro (tracciabilità rispetto a DataScan)

Questa query suddivide i costi degli SKU Dataplex per categoria di workload (ad esempio tracciabilità dei dati e DataScan) in tutti i progetti:

SELECT
  project.id AS project_id,
  sku.description AS sku_description,
  COALESCE(
    (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-workload-type'),
    IF(EXISTS(SELECT 1 FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id'), 'DATASCAN', 'OTHER')
  ) AS workload_type,
  SUM(usage.amount) AS total_usage,
  usage.unit AS usage_unit,
  SUM(cost) AS total_cost,
  currency
FROM
  `PROJECT_ID.DATASET_NAME.gcp_billing_export_v1_BILLING_ACCOUNT_ID`
WHERE
  service.description = 'Dataplex'
  AND _PARTITIONDATE >= DATE_SUB(CURRENT_DATE(), INTERVAL 30 DAY)
GROUP BY
  project_id,
  sku_description,
  workload_type,
  usage_unit,
  currency
ORDER BY
  total_cost DESC;

Query 3: Tendenza di utilizzo e costo giornalieri delle DCU per esecuzione del job DataScan

Questa query monitora il consumo e i costi giornalieri di DCU per le singole esecuzioni dei job DataScan negli ultimi 7 giorni:

SELECT
  DATE(usage_start_time) AS usage_date,
  project.id AS project_id,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id') AS datascan_id,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-job-id') AS job_id,
  SUM(usage.amount) AS total_usage,
  usage.unit AS usage_unit,
  SUM(cost) AS total_cost,
  currency
FROM
  `PROJECT_ID.DATASET_NAME.gcp_billing_export_v1_BILLING_ACCOUNT_ID`
WHERE
  service.description = 'Dataplex'
  AND EXISTS (SELECT 1 FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id')
  AND _PARTITIONDATE >= DATE_SUB(CURRENT_DATE(), INTERVAL 7 DAY)
GROUP BY
  usage_date,
  project_id,
  datascan_id,
  job_id,
  usage_unit,
  currency
ORDER BY
  usage_date DESC,
  total_cost DESC;

Crea una dashboard Monitoring personalizzata

Puoi creare una dashboard di monitoraggio personalizzata che mostri grafici delle metriche di servizio di Knowledge Catalog selezionate. Per saperne di più su come creare una dashboard, vedi Crea e gestisci dashboard personalizzate. Quando selezioni una metrica per un widget nella dashboard, seleziona una risorsa Cloud Dataplex e poi scegli una metrica di Knowledge Catalog.

Utilizzare gli avvisi di monitoraggio

Puoi creare un avviso di Monitoring che ti avvisa quando una metrica di un servizio o di un job di Knowledge Catalog supera una soglia specificata.

Crea un avviso

Per creare un avviso, segui le istruzioni riportate in Creare criteri di avviso basati su soglie metriche. Quando selezioni una serie temporale da monitorare, seleziona una risorsa Cloud Dataplex e poi scegli una metrica di Knowledge Catalog.

Visualizza avvisi

Quando una condizione di soglia metrica attiva un avviso, Monitoring crea un incidente e un evento corrispondente.

Per visualizzare un incidente:

  • Nella Google Cloud console, vai alla pagina Avvisi.

    Vai ad Avvisi

Se hai definito un meccanismo di notifica nella policy di avviso, ad esempio un'email o una notifica SMS, Monitoring invia anche una notifica dell'incidente.

Per saperne di più sugli avvisi, consulta Incident per avvisi basati su metriche.

Passaggi successivi