Transizione da Data Catalog a Knowledge Catalog

Knowledge Catalog (in precedenza Dataplex Universal Catalog) sostituisce Data Catalog, fornendo una gestione dei metadati più complessa, funzionalità avanzate di governance dei dati, una ricerca dei dati più potente, un controllo dell'accesso meno complesso e un'API unificata per semplificare lo sviluppo. Questo documento mostra come eseguire la transizione dei contenuti e dell'utilizzo di Data Catalog a Knowledge Catalog.

Se non hai mai utilizzato un catalogo, inizia con Knowledge Catalog configurandolo come esperienza predefinita del catalogo.

Knowledge Catalog dispone di un'API e un'interfaccia web unificate. La transizione a Knowledge Catalog consente ai tuoi carichi di lavoro e utenti esistenti e futuri di usufruire delle sue funzionalità e capacità avanzate. Per saperne di più, consulta Informazioni sulla gestione dei metadati in Knowledge Catalog.

Per un confronto tra Knowledge Catalog e Data Catalog, consulta la sezione Knowledge Catalog e Data Catalog.

Prima di iniziare

Prima di iniziare la transizione, esamina le funzionalità di gestione dei metadati non supportate in Knowledge Catalog.

Panoramica della transizione

La pagina Gestisci la transizione a Knowledge Catalog nella console Google Cloud fornisce un unico punto di accesso per la gestione della transizione.

Questa sezione descrive i vari scenari di transizione e delinea il processo di transizione per ciascuno di essi.

Se non hai metadati personalizzati in Data Catalog o se non hai mai utilizzato Data Catalog

Se utilizzi Data Catalog e non disponi di metadati personalizzati, come tag, modelli di tag, voci personalizzate o gruppi di voci, o se non hai mai utilizzato Data Catalog, completa la transizione impostando l'esperienza predefinita di UI del catalogo su Knowledge Catalog.

Se hai metadati personalizzati o carichi di lavoro programmatici di Data Catalog

Se utilizzi Data Catalog con metadati personalizzati (ad esempio tag, modelli di tag, voci personalizzate o gruppi di voci), Knowledge Catalog può importare automaticamente questi metadati personalizzati come read-only. Per abilitare questa funzionalità, sono necessarie modifiche alla configurazione come descritto nella fase preparatoria.

La seconda fase è la fase di upgrade, in cui lo stato attivo (read-write) dei tuoi metadati personalizzati viene spostato in Knowledge Catalog. Durante questa fase, devi anche aggiornare tutti i carichi di lavoro programmatici (come API, librerie client, moduli Terraform e comandi Google Cloud CLI) per interagire con Knowledge Catalog.

Di seguito vengono forniti ulteriori dettagli su ogni fase del processo di transizione:

  1. Fase preparatoria: esegui le attività di configurazione necessarie per rendere i contenuti di Data Catalog disponibili contemporaneamente in Knowledge Catalog come read-only. Durante questa fase, Data Catalog rimane l'origine autorevole per i contenuti dei metadati.

    La fase preparatoria include le seguenti attività:

    1. Aggiorna i modelli di tag privati di Data Catalog in modo che siano pubblici.
    2. Configura le autorizzazioni IAM di Knowledge Catalog per i tuoi metadati personalizzati.

    Per ulteriori informazioni, consulta la fase preparatoria.

  2. Fase di upgrade: sposta l'utilizzo del catalogo e lo stato attivo (read-write) dei metadati personalizzati in Knowledge Catalog.

    La fase di upgrade include le seguenti attività:

    1. Imposta l'esperienza di UI del catalogo predefinita su Knowledge Catalog.
    2. Esegui l'upgrade dei metadati personalizzati di Data Catalog a Knowledge Catalog.
    3. Aggiorna i workload programmatici.

    Al termine della fase di upgrade, Knowledge Catalog diventa l'origine autorevole per tutti i tuoi metadati e non devi utilizzare Data Catalog.

    Per ulteriori informazioni, vedi Fase di upgrade.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per la transizione da Data Catalog a Knowledge Catalog, concedi i seguenti ruoli IAM sulla risorsa:

  • Aggiorna i modelli di tag privati in pubblici: Proprietario TagTemplate Data Catalog (roles/datacatalog.tagTemplateOwner)

    Questo ruolo predefinito contiene l'autorizzazione datacatalog.tagTemplates.update, necessaria per aggiornare i modelli di tag privati a pubblici.

  • Imposta l'esperienza di UI del catalogo predefinita su Knowledge Catalog: DataCatalog Migration Config Admin (roles/datacatalog.migrationConfigAdmin)

    Questo ruolo predefinito contiene l'autorizzazione datacatalog.migrationConfig.set, necessaria per impostare l'esperienza di UI del catalogo predefinita.

  • Esegui l'upgrade dei modelli di tag pubblici di Data Catalog a Knowledge Catalog: Data Catalog TagTemplate Owner (roles/datacatalog.tagTemplateOwner)

    Questo ruolo predefinito contiene l'autorizzazione datacatalog.tagTemplates.update, necessaria per eseguire l'upgrade dei modelli di tag pubblici.

  • Esegui l'upgrade dei gruppi di voci Data Catalog a Knowledge Catalog: Proprietario entryGroup DataCatalog (roles/datacatalog.entryGroupOwner)

    Questo ruolo predefinito contiene l'autorizzazione datacatalog.entryGroups.update, necessaria per eseguire l'upgrade dei gruppi di voci.

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste con ruoli personalizzati o altri ruoli predefiniti.

Fase preparatoria

Questa fase prevede attività per rendere i contenuti dei metadati di Data Catalog disponibili contemporaneamente in Knowledge Catalog, in modalità read-only.

Di seguito sono riportati i punti chiave da ricordare durante la fase preparatoria:

  • Data Catalog rimane l'origine autorevole per i metadati personalizzati.
  • La ricerca di Knowledge Catalog potrebbe non includere tutti i modelli di tag e i tag pubblici di Data Catalog finché non completi la fase preparatoria.

I gruppi di voci, le voci, i tag e i modelli di tag pubblici personalizzati di Data Catalog sono disponibili automaticamente in Knowledge Catalog come risorse read-only.

La seguente tabella mostra il mapping tra le risorse Data Catalog e Knowledge Catalog quando le risorse Data Catalog vengono rese disponibili contemporaneamente in Knowledge Catalog:

Mappatura tra Data Catalog e Knowledge Catalog
Risorsa Data Catalog Risorsa Knowledge Catalog corrispondente Descrizione
Modello di tag Tipo di aspetto (globale)

I modelli di tag in Data Catalog sono risorse regionali. I loro contenuti vengono resi disponibili contemporaneamente come tipi di aspetti globali in Knowledge Catalog. per preservare i riferimenti tra regioni tra tag e modelli di tag. Le definizioni dei tipi di aspetto globali vengono replicate in tutte le regioni Google Cloud .

I concetti standard come Schema sono rappresentati dai tipi di aspetto di sistema, forniti da Knowledge Catalog. Per saperne di più, consulta Categorie di tipi di aspetti.

Tag Aspetto facoltativo I tag vengono resi disponibili contemporaneamente come aspetti facoltativi in Knowledge Catalog. Per saperne di più, consulta Categorie di aspetti.
Gruppo di voci Gruppo di voci I gruppi di voci per le voci di sistema vengono stabiliti per progetto e per regione in Knowledge Catalog. I gruppi di voci creati in Data Catalog vengono resi disponibili contemporaneamente in Knowledge Catalog.
Voce personalizzata Voce personalizzata Tutte le voci personalizzate in Data Catalog vengono rese disponibili contemporaneamente come voci di GenericEntryType in Knowledge Catalog. Per saperne di più, consulta Categorie di tipi di voci.
Voce di sistema (Google Cloud) Aspetto obbligatorio della voce di sistema I metadati che descrivono le voci di sistema, ad esempio Schema per le tabelle BigQuery, vengono acquisiti negli aspetti obbligatori dei tipi di aspetto definiti dal sistema.

Aggiorna i modelli di tag privati di Data Catalog in modo che siano pubblici

Knowledge Catalog non supporta il concetto di aspetti privati (le controparti dei tag privati). Di conseguenza, i tag e i modelli di tag privati non vengono resi disponibili contemporaneamente in Knowledge Catalog. Per propagare tag e modelli di tag privati in Knowledge Catalog, devi aggiornarli in modo da renderli pubblici.

Prima di procedere, esamina la struttura dei modelli di tag privati per verificare che la struttura e i metadati siano coerenti con la visibilità dei tag pubblici.

Per aggiornare i tag e i modelli di tag privati in modo che diventino pubblici:

Console

  1. Nella console Google Cloud , vai alla pagina Modelli di tag.

    Vai a Modelli di tag

  2. Fai clic su Gestisci la transizione a Knowledge Catalog.

  3. Fai clic sulla scheda Modelli di tag privati.

  4. Fai clic su Gestisci modelli di tag.

  5. Nella pagina Modelli di tag, fai clic sul modello di tag privato che vuoi aggiornare.

  6. Nella pagina Dettagli modello, fai clic su Modifica.

  7. Nella sezione Visibilità, seleziona Pubblico.

  8. Fai clic su Aggiorna.

REST

Per aggiornare i modelli di tag privati in pubblici, utilizza il metodo tagTemplates.patch.

Configurare le autorizzazioni IAM di Knowledge Catalog per i metadati personalizzati

I tipi di aspetto e i gruppi di voci personalizzati di Knowledge Catalog che rappresentano i modelli di tag e i gruppi di voci di Data Catalog non ereditano le autorizzazioni IAM originali di Data Catalog. Anche le autorizzazioni IAM specifiche richieste variano tra Knowledge Catalog e Data Catalog.

Ad esempio, se vuoi creare aspetti utilizzando un tipo di aspetto propagato (che rappresenta un modello di tag Data Catalog), devi configurare le autorizzazioni IAM necessarie per quel tipo di aspetto. Analogamente, quando inserisci metadati personalizzati, per creare voci personalizzate all'interno di un gruppo di voci personalizzate propagate, devi configurare le autorizzazioni IAM necessarie per quel gruppo di voci.

Se utilizzi i ruoli IAM di Data Catalog per gestire l'accesso in Data Catalog a livello di progetto o superiore, le autorizzazioni Knowledge Catalog necessarie vengono incluse automaticamente. Tuttavia, se utilizzi ruoli personalizzati o assegni ruoli IAM direttamente a risorse specifiche, devi configurare manualmente le autorizzazioni Knowledge Catalog per questi aspetti specifici e per i gruppi di voci personalizzati.

Per saperne di più su come le autorizzazioni IAM in Data Catalog corrispondono a quelle in Knowledge Catalog, consulta Mappatura delle autorizzazioni IAM tra Data Catalog e Knowledge Catalog.

Per configurare le autorizzazioni IAM di Knowledge Catalog necessarie per i tipi di aspetto e i gruppi di voci personalizzati, segui questi passaggi:

Console

  1. Nella console Google Cloud , vai alla pagina Modelli di tag.

    Vai a Modelli di tag

  2. Fai clic su Gestisci la transizione a Knowledge Catalog.

  3. Fai clic sulla scheda Autorizzazioni IAM di Dataplex.

  4. Per configurare le autorizzazioni IAM di Knowledge Catalog per i tipi di aspetto, fai clic su Tipi di aspetto e modelli di tag.

    1. Per il modello di tag propagato da Data Catalog, fai clic su > Autorizzazioni.

    2. Fai clic su Aggiungi entità.

    3. Aggiungi una nuova entità e assegna i ruoli richiesti.

    4. Fai clic su Salva.

  5. Per configurare le autorizzazioni IAM di Knowledge Catalog per i gruppi di voci, fai clic su Gruppi di voci.

    1. Per il gruppo di voci propagato da Data Catalog, fai clic su > Autorizzazioni.

    2. Fai clic su Aggiungi entità.

    3. Aggiungi una nuova entità e assegna i ruoli richiesti.

    4. Fai clic su Salva.

REST

Per configurare le autorizzazioni IAM di Knowledge Catalog per i tipi di aspetto, utilizza il metodo aspectTypes.setIamPolicy.

Per configurare le autorizzazioni IAM di Knowledge Catalog per i gruppi di voci, utilizza il metodo entryGroups.setIamPolicy.

Fase di upgrade

Questa fase prevede attività per spostare lo stato attivo (read-write) dei metadati personalizzati di Data Catalog in Knowledge Catalog.

Di seguito sono riportati i punti chiave da ricordare durante la fase di upgrade:

  • Puoi scoprire e leggere i metadati di Data Catalog e Knowledge Catalog in Knowledge Catalog.
  • Per aggiornare i metadati nella console Google Cloud , verrà visualizzata la pagina della relativa origine. Ad esempio, se aggiorni i modelli di tag di Data Catalog, verrà eseguito il reindirizzamento alla pagina dei modelli di tag in Data Catalog.

Imposta l'esperienza di interfaccia utente del catalogo predefinita su Knowledge Catalog

Se imposti l'esperienza di UI del catalogo predefinita su Knowledge Catalog, si verificherà quanto segue:

  • L'interfaccia web ti incoraggia a creare nuove risorse in Knowledge Catalog. Ad esempio, per impostazione predefinita viene visualizzato Crea tipi di aspetto anziché Crea modelli di tag e Crea gruppo di voci (Knowledge Catalog) anziché Crea gruppo di voci (Data Catalog).

  • L'impostazione dell'esperienza di UI del catalogo predefinita su Knowledge Catalog è in genere un'operazione unidirezionale. Tuttavia, Knowledge Catalog ti consente di ripristinare le modifiche in casi eccezionali, ad esempio quando vuoi ripristinare l'esperienza predefinita di UI del catalogo su Data Catalog. Se ripristini le modifiche, non puoi accedere a nessun contenuto creato in Knowledge Catalog nell'interfaccia web di Data Catalog.

Per impostare l'esperienza di UI del catalogo predefinita su Knowledge Catalog, segui questi passaggi:

Console

  1. Nella console Google Cloud , vai alla pagina Modelli di tag.

    Vai a Modelli di tag

  2. Fai clic su Gestisci la transizione a Knowledge Catalog.

  3. Fai clic sulla scheda Esperienza predefinita di UI del catalogo.

  4. Fai clic su Imposta l'esperienza di UI del catalogo predefinita su Knowledge Catalog.

REST

Per impostare l'esperienza di UI del catalogo predefinita su Knowledge Catalog, utilizza il metodo setConfig.

Esegui l'upgrade dei metadati personalizzati di Data Catalog a Knowledge Catalog

Puoi eseguire l'upgrade dei modelli di tag pubblici e dei gruppi di voci personalizzati di Data Catalog a Knowledge Catalog. Assicurati di eseguire l'upgrade di ogni modello di tag e gruppo di voci personalizzate separatamente.

Di seguito è riassunto il processo di upgrade:

  • Effetto

    • Trasferisce lo stato attivo delle risorse da Data Catalog a Knowledge Catalog. Dopo l'upgrade, per modificare la risorsa o accedere al suo stato attuale, devi utilizzare Knowledge Catalog.

  • Modifiche al contenuto e al flusso dei dati

    • Contrassegna la risorsa come read-only in Data Catalog.
    • Contrassegna la risorsa come read-write in Knowledge Catalog.
    • Interrompe la disponibilità simultanea di questa risorsa.

  • Dipendenze

    • L'upgrade di un modello di tag comporta anche l'upgrade di tutti i tag che utilizzano quel modello.
    • L'upgrade dei gruppi di voci comporta anche l'upgrade di tutte le voci al loro interno.
    • L'upgrade delle voci non influisce sullo stato di upgrade dei relativi tag e dei rispettivi modelli di tag.

Prima dell'upgrade, per modificare il contesto aziendale di una voce (ad esempio, overview, contacts), puoi utilizzare sia l'API Data Catalog sia l'API Dataplex. Dopo l'upgrade, devi utilizzare solo l'API Dataplex.

Di seguito sono descritte le operazioni consentite per una voce di Data Catalog personalizzata con tag, a seconda dello stato di upgrade del gruppo di voci personalizzato e del modello di tag correlati:

  • Quando un modello di tag è attivo in Data Catalog, puoi utilizzarlo per creare tag. Dopo l'upgrade del modello di tag a Knowledge Catalog, non puoi utilizzarlo per creare tag in Data Catalog.
  • Puoi creare aspetti utilizzando i tipi di aspetto propagati dai modelli di tag di Data Catalog solo dopo aver eseguito l'upgrade dei modelli di tag.

Per eseguire l'upgrade dei modelli di tag e dei gruppi di voci personalizzati di Data Catalog a Knowledge Catalog, segui questi passaggi:

Console

  1. Nella console Google Cloud , vai alla pagina Modelli di tag.

    Vai a Modelli di tag

  2. Fai clic su Gestisci la transizione a Knowledge Catalog.

  3. Fai clic sulla scheda Esegui l'upgrade a Knowledge Catalog.

  4. Per eseguire l'upgrade dei modelli di tag di Data Catalog a Knowledge Catalog, fai clic su Visualizza tipi di aspetto e modelli di tag.

    1. Seleziona i modelli di tag che vuoi aggiornare.

    2. Fai clic su Esegui upgrade.

    3. Nella finestra di dialogo di conferma, fai clic su Conferma.

  5. Per eseguire l'upgrade dei gruppi di voci personalizzati di Data Catalog a Knowledge Catalog, fai clic su Visualizza gruppi di voci.

    1. Seleziona i gruppi di voci da eseguire l'upgrade.

    2. Fai clic su Esegui upgrade.

    3. Nella finestra di dialogo di conferma, fai clic su Conferma.

REST

Per eseguire l'upgrade dei modelli di tag e dei gruppi di voci personalizzati di Data Catalog a Knowledge Catalog, utilizza il metodo tagTemplates.patch.

Al termine della fase di upgrade, Knowledge Catalog diventa l'origine autorevole di tutti i tuoi metadati e non devi utilizzare Data Catalog.

Aggiorna i workload programmatici

Knowledge Catalog include una nuova API, librerie client, moduli Terraform e comandi Google Cloud CLI. Pertanto, devi aggiornare tutti i carichi di lavoro esistenti con l'utilizzo programmatico di Data Catalog a Knowledge Catalog. Consulta gli esempi di codice per Knowledge Catalog.

Assicurati di allineare l'aggiornamento dei workload programmatici all'upgrade delle risorse dipendenti, come i modelli di tag e i gruppi di voci personalizzati. Questo è necessario perché l'upgrade sposta lo stato attivo (read-write) di una risorsa da Data Catalog a Knowledge Catalog.

Di seguito è riportata una sequenza di esempio di aggiornamento dei carichi di lavoro programmatici per interagire con Knowledge Catalog, coordinata con l'upgrade delle risorse dipendenti:

  1. Se i tuoi workload possono tollerare la coerenza finale, sposta le operazioni read dei workload in Knowledge Catalog.

  2. Sposta i carichi di lavoro che eseguono operazioni di tagging write in Knowledge Catalog in coordinamento con l'upgrade dei modelli di tag corrispondenti.

  3. Sposta i carichi di lavoro che eseguono operazioni di importazione personalizzata write su Knowledge Catalog in coordinamento con l'upgrade dei rispettivi gruppi di voci personalizzati.

Se devi separare l'aggiornamento dei carichi di lavoro e l'upgrade delle risorse corrispondenti, valuta la possibilità di implementare la logica all'interno dei carichi di lavoro per indirizzare read-write a Data Catalog o Knowledge Catalog in base allo stato di upgrade delle risorse. Pertanto, i workload funzioneranno indipendentemente dallo stato di upgrade della risorsa correlata.

Passaggi successivi