Utilizzare la derivazione dei dati per ottimizzare i costi

La derivazione dei dati in Knowledge Catalog ti consente di monitorare le dipendenze downstream per le tabelle e le viste nel tuo progetto BigQuery. Puoi quindi identificare gli asset che non vengono utilizzati attivamente come origini per job o workflow downstream e contrassegnarli come candidati per l'eliminazione per ridurre i costi di archiviazione.

In questo tutorial gestirai un progetto BigQuery con set di dati derivati dal Quarterly Census of Employment and Wages (QCEW). Il progetto contiene numerose tabelle e visualizzazioni per dashboard e analisi, ad esempio il monitoraggio delle tendenze occupazionali o i confronti salariali, il che aumenta i costi di archiviazione. Controllando ogni asset per verificare la presenza di link downstream, puoi contrassegnare sistematicamente le risorse inutilizzate per l'eliminazione.

Configura Lineage Explorer

Per completare il caso d'uso, configura prima l'ambiente ed esegui le trasformazioni dei dati collegando un repository remoto a Dataform. Questo repository contiene il codice necessario per configurare il set di dati e trasformare i dati. Per saperne di più, consulta Prerequisiti e configurazione.

Al termine della configurazione dell'ambiente, utilizza BigQuery ed Esplora derivazione per identificare visivamente gli asset senza dipendenze downstream.

Identifica gli asset inutilizzati e ottimizza i costi

Dopo aver preparato il set di dati, identifica gli asset che non hanno dipendenze downstream. Sebbene sia possibile farlo visivamente per le singole tabelle, puoi anche utilizzare un approccio programmatico per set di dati più grandi.

In questo esempio, confronta gli asset attivi con quelli autonomi per determinare quali possono essere rimossi in sicurezza:

  1. Nella console Google Cloud , vai alla pagina BigQuery.
  2. Utilizza il campo di ricerca per trovare una tabella autonoma (ad esempio, una vecchia tabella di analisi di un anno specifico).
  3. Fai clic sulla scheda Lineage.
  4. Nel riquadro Esplora derivazione, segui questi passaggi:
    1. Nella sezione Direzione, seleziona la direzione Downstream.
    2. Fai clic su Applica.

Osserva il grafico. Se non sono presenti nodi downstream, l'asset non viene utilizzato come origine per altri job BigQuery monitorati. Per ulteriori informazioni sulla visualizzazione dei dati con il grafico di derivazione dei dati, consulta Visualizzazione del grafico di derivazione.