Informazioni sui connettori di metadati

I connettori di Knowledge Catalog (in precedenza Dataplex Universal Catalog) consentono di importare metadati tecnici, operativi, aziendali e semantici da origini dati di terze parti nel catalogo. Puoi pianificare esecuzioni ricorrenti per mantenere il catalogo sincronizzato con i sistemi di origine, in modo da poter scoprire, cercare e gestire gli asset esterni in un unico posto.

Origini dati supportate

Puoi importare i metadati dalle seguenti origini utilizzando i connettori di Knowledge Catalog:

  • dbt Core
  • Oracle
  • MySQL
  • PostgreSQL
  • SQL Server

Integrazioni con i partner di governance dei dati

Puoi integrare Knowledge Catalog con altre piattaforme di catalogazione e governance dei dati aziendali. Queste integrazioni contribuiscono a garantire che i metadati siano rilevabili e coerenti nel panorama dei dati della tua organizzazione, consentendoti di arricchire i metadati in Knowledge Catalog o di visualizzare i metadati di Knowledge Catalog all'interno di strumenti di terze parti.

I seguenti partner forniscono integrazioni per Knowledge Catalog:

Come funziona

I connettori di Knowledge Catalog utilizzano integrazioni predefinite e configurazioni di trasferimento gestite da BigQuery Data Transfer Service per connettersi all'origine dati, estrarre automaticamente i metadati e mapparli alle voci all'interno di un gruppo di voci di Knowledge Catalog specificato.

I connettori estraggono i seguenti tipi di metadati:

  • Metadati tecnici: definizioni di schema, tipo di dati e nome della colonna.
  • Metadati operativi: timestamp di creazione e modifica, derivazione, statistiche di utilizzo e risultati della qualità dei dati.
  • Metadati aziendali: tag, proprietari e annotazioni.
  • Metadati semantici: dimensioni, misure, metriche, query di riferimento e relazioni.

Dopo aver configurato un connettore, Knowledge Catalog pianifica le esecuzioni di importazione dei metadati in base alla pianificazione specificata, assicurandosi che il catalogo rimanga sincronizzato con il sistema di origine. Ogni volta che viene eseguita un'importazione di metadati, viene eseguita una sovrascrittura completa delle voci nel gruppo di voci di destinazione gestito da quella configurazione. Gli oggetti metadati non più presenti nell'origine vengono rimossi dal gruppo di voci e vengono aggiunti nuovi oggetti. Gli oggetti nel gruppo di voci che non vengono importati dalla configurazione del connettore non sono interessati.

Puoi configurare e gestire queste configurazioni dalla pagina Connettori nella sezione Knowledge Catalog della Google Cloud console.

Terminologia

In questa documentazione vengono utilizzati i seguenti termini:

  • Configurazione di importazione dei metadati: le impostazioni per un'attività pianificata o on demand che utilizza BigQuery Data Transfer Service per estrarre i metadati da un'origine e caricarli in Knowledge Catalog.
  • Esecuzione: una singola istanza di esecuzione di una configurazione di importazione dei metadati.
  • Gruppo di voci: una risorsa in Knowledge Catalog che contiene voci di metadati. Quando configuri un connettore, devi designare un gruppo di voci come destinazione per i metadati importati.
  • Voce: una risorsa in Knowledge Catalog che rappresenta un asset di dati, ad esempio una tabella o una visualizzazione.

Prezzi

Non sono previsti costi aggiuntivi da Knowledge Catalog o BigQuery Data Transfer Service per l'importazione di metadati tramite i connettori.

Vengono applicati costi standard per altri utilizzi di Knowledge Catalog (ad esempio l'archiviazione dei metadati). Per ulteriori informazioni, consulta i prezzi di Knowledge Catalog.

Limitazioni

  • Vengono importati solo i metadati, non i dati sottostanti delle tabelle o delle visualizzazioni di origine. Per trasferire i dati sottostanti, puoi utilizzare il BigQuery Data Transfer Service.
  • Ogni esecuzione esegue una sovrascrittura completa delle voci gestite dal connettore nel gruppo di voci di destinazione. Gli aggiornamenti incrementali dei metadati non sono supportati.
  • La cronologia delle esecuzioni viene conservata per 90 giorni.

Passaggi successivi