Informazioni sui connettori di metadati

I connettori di Knowledge Catalog (in precedenza Dataplex Universal Catalog) ti consentono di importare nel tuo catalogo metadati tecnici, operativi, aziendali e semantici da origini dati di terze parti. Puoi pianificare esecuzioni ricorrenti per mantenere il catalogo sincronizzato con i sistemi di origine, in modo da poter scoprire, cercare e gestire gli asset esterni in un unico posto.

Origini dati supportate

Puoi importare i metadati dalle seguenti origini utilizzando i connettori di Knowledge Catalog:

  • dbt Core
  • Oracle
  • MySQL
  • PostgreSQL
  • SQL Server

Integrazioni con i partner di governance dei dati

Puoi integrare Knowledge Catalog con altre piattaforme di catalogazione e governance dei dati aziendali. Queste integrazioni contribuiscono a garantire che i metadati siano rilevabili e coerenti nel panorama dei dati della tua organizzazione, consentendoti di arricchire i metadati in Knowledge Catalog o di visualizzare i metadati di Knowledge Catalog all'interno di strumenti di terze parti.

I seguenti partner forniscono integrazioni per Knowledge Catalog:

Come funziona

I connettori di Knowledge Catalog utilizzano integrazioni predefinite e configurazioni di trasferimento gestite da BigQuery Data Transfer Service per connettersi alla tua origine dati, estrarre automaticamente i metadati e mapparli alle voci all'interno di un gruppo di voci di Knowledge Catalog specificato da te.

I connettori estraggono i seguenti tipi di metadati:

  • Metadati tecnici: definizioni di schema, tipo di dati e nome della colonna.
  • Metadati operativi: timestamp di creazione e modifica, derivazione, statistiche sull'utilizzo e risultati della qualità dei dati.
  • Metadati aziendali: tag, proprietari e annotazioni.
  • Metadati semantici: dimensioni, misure, metriche, query di riferimento e relazioni.

Dopo aver configurato un connettore, Knowledge Catalog pianifica le esecuzioni di importazione dei metadati in base alla pianificazione specificata, assicurando che il catalogo rimanga sincronizzato con il sistema di origine. Ogni volta che viene eseguita un'importazione dei metadati, viene eseguita una sovrascrittura completa delle voci nel gruppo di voci di destinazione gestito da quella configurazione. Gli oggetti di metadati non più presenti nell'origine vengono rimossi dal gruppo di voci e vengono aggiunti nuovi oggetti. Gli oggetti nel gruppo di voci che non vengono importati dalla configurazione del connettore non sono interessati.

Puoi configurare e gestire queste configurazioni dalla pagina Connettori nella sezione Knowledge Catalog della console Google Cloud .

Terminologia

In questa documentazione vengono utilizzati i seguenti termini:

  • Configurazione dell'importazione dei metadati: le impostazioni per un'attività pianificata o on demand che utilizza BigQuery Data Transfer Service per estrarre i metadati da un'origine e caricarli in Knowledge Catalog.
  • Esecuzione: una singola istanza di esecuzione di una configurazione di importazione dei metadati.
  • Gruppo di voci: una risorsa in Knowledge Catalog che contiene voci di metadati. Quando configuri un connettore, designi un gruppo di voci come destinazione dei metadati importati.
  • Voce: una risorsa in Knowledge Catalog che rappresenta un asset di dati, ad esempio una tabella o una vista.

Prezzi

Non sono previsti costi aggiuntivi da Knowledge Catalog o BigQuery Data Transfer Service per l'importazione dei metadati utilizzando i connettori.

Per altri utilizzi di Knowledge Catalog (come l'archiviazione dei metadati) si applicano i costi standard. Per saperne di più, consulta i prezzi di Knowledge Catalog.

Limitazioni

  • Vengono importati solo i metadati, non i dati sottostanti delle tabelle o delle viste di origine. Per trasferire i dati sottostanti, puoi utilizzare BigQuery Data Transfer Service.
  • Ogni esecuzione sovrascrive completamente le voci gestite dal connettore nel gruppo di voci di destinazione. Gli aggiornamenti incrementali dei metadati non sono supportati.
  • La cronologia delle esecuzioni viene conservata per 90 giorni.

Passaggi successivi