Analizzare l'impatto delle modifiche ai dati sui workflow

La derivazione dei dati in Knowledge Catalog (in precedenza Dataplex Universal Catalog) ti consente di monitorare l'impatto delle trasformazioni dei dati sulle risorse downstream e sui workflow che dipendono da queste. Il tracciamento delle dipendenze a livello di colonna prima di modificare le tabelle ti aiuta a verificare l'integrità dei dati e a determinare se le pipeline esistenti richiedono aggiustamenti.

In questo tutorial, gestisci un database che archivia i record sull'utilizzo dei vari servizi offerti da un fornitore di servizi sanitari. Per semplificare l'utilizzo dei dati, sfogli le tabelle per identificare potenziali modifiche. Prima di implementare le modifiche, utilizzi Lineage Explorer di BigQuery per esaminare le colonne, controllare le modifiche ai tipi di dati e identificare se eventuali miglioramenti influiscono sui flussi di lavoro esistenti o richiedono ulteriori aggiustamenti.

Inizia

Per completare il caso d'uso, configura prima l'ambiente ed esegui le trasformazioni dei dati. Utilizza la pagina Prerequisiti e configurazione per connettere un repository remoto a Dataform. Questo repository contiene il codice necessario per configurare il set di dati e trasformare i dati.

Al termine della configurazione dell'ambiente, utilizza BigQuery ed esplora derivazione per monitorare le trasformazioni dei dati e l'effetto che hanno sui flussi di lavoro.

Analizza le trasformazioni dei dati con Lineage Explorer

Dopo aver preparato il set di dati, analizza l'impatto della trasformazione dei dati utilizzando la scheda Derivazione di BigQuery.

Verifica l'integrità dei dati delle colonne con i grafici di derivazione

In questo esempio, esamina la colonna medicare_participation_indicator che indica se un medico o un fornitore accetta di fornire servizi per Medicare. Il grafico di derivazione mostra in che modo le trasformazioni dei dati tra le tabelle derivate comportano modifiche ai tipi di dati delle colonne:

1. Nella console Google Cloud , vai alla pagina BigQuery.
2. Utilizza il campo di ricerca per trovare la tabella physicians_and_other_supplier_2012_original.
3. Fai clic sulla scheda Derivazione.
4. Nel riquadro Esplora derivazione, segui questi passaggi:
   1. Nella sezione Derivazione a livello di colonna, seleziona il nome della colonna medicare_participation_indicator dall'elenco.
   2. Nella sezione Direzione, seleziona la direzione Downstream.
   3. Fai clic su Applica.
5. Espandi il percorso di derivazione fino a raggiungere vertex_ai_model_final_features.

6. Analizza le modifiche ai percorsi tra la tabella supplier_stg3 e la tabella supplier_transform1:

   

   Visualizzazione del monitoraggio della derivazione per la colonna medicare_participation_indicator

   • Il contrassegno del percorso Copia esatta indica che la colonna viene trasferita senza modifiche.
   • La dicitura Altro indica una trasformazione. In questo percorso, il tipo di dati String viene trattato come Boolean.

Il percorso mostra che i tipi di dati delle colonne cambiano, il che potrebbe richiedere modifiche ai flussi di lavoro che utilizzano queste tabelle.

Identifica le colonne downstream ridondanti

Questo esempio esamina la colonna nppes_credentials che elenca gli identificatori nazionali dei fornitori (NPI) che i professionisti possiedono nel National Plan and Provider Enumeration System (NPPES):

1. Nella console Google Cloud , vai alla pagina BigQuery.
2. Utilizza il campo di ricerca per trovare la tabella physicians_and_other_supplier_2012_original.
3. Fai clic sulla scheda Derivazione.
4. Nel riquadro Esplora derivazione, segui questi passaggi:
   1. Nella sezione Derivazione a livello di colonna, seleziona il nome della colonna nppes_credentials dall'elenco.
   2. Nella sezione Direzione, seleziona la direzione Downstream.
   3. Fai clic su Applica.
5. Espandi il percorso per verificare se esiste una derivazione downstream che porta a vertex_ai_model_final_features.

L'assenza di derivazione indica che questa colonna potrebbe non essere pertinente in questo particolare workflow e può anche essere eliminata.

Per saperne di più sulla visualizzazione dei dati con il grafico di derivazione dei dati, consulta la visualizzazione del grafico di derivazione.