Menggunakan silsilah data untuk mengoptimalkan biaya

Silsilah data di Knowledge Catalog memungkinkan Anda melacak dependensi downstream untuk tabel dan tampilan di project BigQuery Anda. Kemudian, Anda dapat mengidentifikasi aset yang tidak digunakan secara aktif sebagai sumber untuk tugas atau alur kerja downstream dan menandainya sebagai kandidat untuk dihapus guna mengurangi biaya penyimpanan.

Dalam tutorial ini, Anda akan mengelola project BigQuery dengan set data yang berasal dari Quarterly Census of Employment and Wages (QCEW). Project ini berisi banyak tabel dan tampilan untuk dasbor dan analisis, seperti melacak tren pekerjaan atau perbandingan upah, yang meningkatkan biaya penyimpanan Anda. Dengan memeriksa setiap aset untuk link downstream, Anda dapat secara sistematis menandai resource yang tidak digunakan untuk dihapus.

Menyiapkan Lineage Explorer

Untuk menyelesaikan kasus penggunaan, siapkan lingkungan terlebih dahulu dan jalankan transformasi data dengan menghubungkan repositori jarak jauh ke Dataform. Repositori ini berisi kode yang diperlukan untuk menyiapkan set data dan mentransformasi data. Untuk mengetahui informasi selengkapnya, lihat Prasyarat dan penyiapan.

Setelah Anda menyelesaikan penyiapan lingkungan, gunakan BigQuery dan Lineage Explorer untuk mengidentifikasi aset secara visual tanpa dependensi downstream.

Mengidentifikasi aset yang tidak digunakan dan mengoptimalkan biaya

Setelah set data disiapkan, identifikasi aset yang tidak memiliki dependensi downstream. Meskipun Anda dapat melakukannya secara visual untuk setiap tabel, Anda juga dapat menggunakan pendekatan terprogram untuk set data yang lebih besar.

Dalam contoh ini, bandingkan aset aktif dengan aset mandiri untuk menentukan aset mana yang dapat dihapus dengan aman:

  1. Di konsol Google Cloud , buka halaman BigQuery.
  2. Gunakan kolom penelusuran untuk menemukan tabel mandiri (misalnya, tabel analisis lama dari tahun tertentu).
  3. Klik tab Silsilah.
  4. Di panel Lineage Explorer, lakukan hal berikut:
    1. Di bagian Direction, pilih arah Downstream.
    2. Klik Terapkan.

Amati grafiknya. Jika tidak ada node downstream, aset tidak digunakan sebagai sumber untuk tugas BigQuery terlacak lainnya. Untuk mengetahui informasi selengkapnya tentang cara memvisualisasikan data dengan grafik silsilah data, lihat Tampilan grafik silsilah.