Datenherkunft zur Optimierung der Kosten nutzen

In diesem Szenario verwalten Sie ein BigQuery-Projekt mit Datasets, die aus dem Quarterly Census of Employment and Wages (QCEW) stammen. Das Projekt enthält zahlreiche Tabellen und Ansichten für verschiedene Dashboards und Analysen, z. B. zum Nachverfolgen von Beschäftigungstrends oder für Lohnvergleiche. Dadurch steigen Ihre Speicherkosten. Um Kosten zu senken, identifizieren Sie Tabellen oder Ansichten, die nicht aktiv als Quellen für Jobs oder Assets in BigQuery verwendet werden. Diese können dann gelöscht werden.

Mit der Datenherkunft können Sie Assets identifizieren, die von keinen anderen BigQuery-Jobs als Quelle verwendet werden. Prüfen Sie jedes Asset auf Downstream-Links und kennzeichnen Sie nicht verwendete Ressourcen systematisch zum Löschen, um die Speicherkosten zu senken.

Achtung :Seien Sie vorsichtig beim Löschen von Ressourcen. Nur weil für eine Ressource keine Downstream-Workflows vorhanden sind, bedeutet das nicht, dass sie überhaupt nicht verwendet wird. Nutzer können beispielsweise weiterhin eine Tabelle direkt abfragen, um bestimmte Daten im Lesemodus abzurufen. Wenn Sie die Ressource löschen, kann das die Arbeit von Personen beeinträchtigen, die auf diesen direkten Zugriff angewiesen sind.

Jetzt starten

Um den Anwendungsfall abzuschließen, müssen Sie zuerst die Umgebung einrichten und die Datentransformationen ausführen. Auf der Seite Voraussetzungen und Einrichtung können Sie ein Remote-Repository mit Dataform verbinden. Dieses Repository enthält den Code, der zum Einrichten des Datasets und zum Transformieren der Daten erforderlich ist.

Nachdem Sie die Umgebung eingerichtet haben, können Sie mit BigQuery und Lineage Explorer Assets ohne Downstream-Abhängigkeiten visuell identifizieren.

Nicht verwendete Assets mit Lineage Explorer identifizieren

Nachdem das Dataset vorbereitet wurde, identifizieren Sie Assets ohne Downstream-Abhängigkeiten. Sie können dies zwar visuell für einzelne Tabellen tun, aber für größere Datasets ist ein programmatischer Ansatz besser geeignet.

Vergleichen Sie in diesem Beispiel aktive Assets mit eigenständigen Assets, um festzustellen, welche sicher entfernt werden können:

1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.
2. Über das Suchfeld können Sie nach einer eigenständigen Tabelle suchen, z. B. nach einer alten Analysetabelle aus einem bestimmten Jahr.
3. Klicken Sie auf den Tab Lineage.
4. Führen Sie im Bereich Lineage Explorer die folgenden Schritte aus:
   1. Wählen Sie im Abschnitt Richtung die Richtung Downstream aus.
   2. Klicken Sie auf Übernehmen.

Sehen Sie sich das Diagramm an. Wenn keine Downstream-Knoten vorhanden sind, wird das Asset nicht als Quelle für andere verfolgte BigQuery-Jobs verwendet. Weitere Informationen zum Visualisieren von Daten mit dem Datenherkunftsdiagramm finden Sie unter Ansicht „Herkunftsdiagramm“.