Datenherkunft zur Optimierung der Kosten nutzen

Mit der Datenherkunft in Knowledge Catalog können Sie nachgelagerte Abhängigkeiten für Tabellen und Ansichten in Ihrem BigQuery-Projekt verfolgen. Anschließend können Sie Assets identifizieren, die nicht aktiv als Quellen für nachgelagerte Jobs oder Workflows verwendet werden, und sie als Kandidaten für das Löschen kennzeichnen, um die Speicherkosten zu senken.

In dieser Anleitung verwalten Sie ein BigQuery-Projekt mit Datasets, die aus der vierteljährlichen Erhebung von Beschäftigung und Löhnen (Quarterly Census of Employment and Wages, QCEW) abgeleitet wurden. Das Projekt enthält zahlreiche Tabellen und Ansichten für Dashboards und Analysen, z. B. zum Erfassen von Beschäftigungstrends oder Lohnvergleichen, was Ihre Speicherkosten erhöht. Wenn Sie jedes Asset auf nachgelagerte Links prüfen, können Sie nicht verwendete Ressourcen systematisch zum Löschen markieren.

Lineage Explorer einrichten

Richten Sie zuerst die Umgebung ein und führen Sie die Datentransformationen aus, indem Sie ein Remote-Repository mit Dataform verbinden. Dieses Repository enthält den Code, der zum Einrichten des Datasets und zum Transformieren der Daten erforderlich ist. Weitere Informationen finden Sie unter Voraussetzungen und Einrichtung.

Nachdem Sie die Umgebung eingerichtet haben, können Sie mit BigQuery und dem Lineage Explorer Assets ohne nachgelagerte Abhängigkeiten visuell identifizieren.

Nicht verwendete Assets identifizieren und Kosten optimieren

Nachdem das Dataset vorbereitet wurde, identifizieren Sie Assets, die keine Downstream-Abhängigkeiten haben. Sie können dies für einzelne Tabellen visuell tun, aber auch einen programmatischen Ansatz für größere Datasets verwenden.

In diesem Beispiel werden aktive Assets mit eigenständigen Assets verglichen, um festzustellen, welche sicher entfernt werden können:

  1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.
  2. Verwenden Sie das Suchfeld, um eine eigenständige Tabelle zu finden (z. B. eine alte Analysetabelle aus einem bestimmten Jahr).
  3. Klicken Sie auf den Tab Lineage.
  4. Führen Sie im Bereich Lineage Explorer die folgenden Schritte aus:
    1. Wählen Sie im Abschnitt Richtung die Option Downstream aus.
    2. Klicken Sie auf Übernehmen.

Sehen Sie sich das Diagramm an. Wenn keine Downstream-Knoten vorhanden sind, wird das Asset nicht als Quelle für andere verfolgte BigQuery-Jobs verwendet. Weitere Informationen zur Visualisierung von Daten mit dem Datenherkunftsdiagramm finden Sie unter Herkunftsdiagrammansicht.