Menggunakan silsilah data untuk mengoptimalkan biaya

Dalam skenario ini, Anda mengelola project BigQuery dengan set data yang berasal dari Quarterly Census of Employment and Wages (QCEW). Project ini berisi banyak tabel dan tampilan untuk berbagai dasbor dan analisis, seperti melacak tren pekerjaan atau perbandingan upah. Akibatnya, biaya penyimpanan Anda meningkat. Untuk mengurangi biaya, Anda mengidentifikasi tabel atau tampilan yang tidak aktif digunakan sebagai sumber untuk tugas atau aset dalam BigQuery, sehingga tabel atau tampilan tersebut dapat dihapus.

Gunakan silsilah data untuk mengidentifikasi aset yang tidak digunakan sebagai sumber oleh tugas BigQuery lainnya. Dengan memeriksa setiap aset untuk link hilir, tandai resource yang tidak digunakan secara sistematis untuk dihapus guna mengurangi biaya penyimpanan.

Perhatian: Berhati-hatilah saat menghapus resource. Hanya karena resource tidak memiliki alur kerja hilir, bukan berarti resource tersebut tidak digunakan sama sekali. Misalnya, pengguna mungkin masih membuat kueri tabel secara langsung untuk mengambil data tertentu dalam mode hanya baca. Menghapus resource dapat mengganggu pekerjaan siapa pun yang mengandalkan akses langsung tersebut.

Mulai

Untuk menyelesaikan kasus penggunaan, siapkan lingkungan terlebih dahulu dan jalankan transformasi data. Gunakan halaman prasyarat dan penyiapan untuk menghubungkan repositori jarak jauh ke Dataform. Repositori ini berisi kode yang diperlukan untuk menyiapkan set data dan mentransformasi data.

Setelah Anda menyelesaikan penyiapan lingkungan, gunakan BigQuery dan Lineage Explorer untuk mengidentifikasi aset secara visual tanpa dependensi hilir.

Mengidentifikasi aset yang tidak digunakan dengan Penjelajah Silsilah

Setelah set data disiapkan, identifikasi aset yang tidak memiliki dependensi hilir. Meskipun Anda dapat melakukannya secara visual untuk setiap tabel, Anda juga dapat menggunakan pendekatan terprogram untuk set data yang lebih besar.

Dalam contoh ini, bandingkan aset aktif dengan aset mandiri untuk menentukan aset mana yang dapat dihapus dengan aman:

1. Di konsol Google Cloud , buka halaman BigQuery.
2. Gunakan kolom penelusuran untuk menemukan tabel mandiri (misalnya, tabel analisis lama dari tahun tertentu).
3. Klik tab Silsilah.
4. Di panel Lineage Explorer, lakukan hal berikut:
   1. Di bagian Direction, pilih arah Downstream.
   2. Klik Terapkan.

Amati grafiknya. Jika tidak ada node hilir, aset tidak digunakan sebagai sumber untuk tugas BigQuery yang dilacak lainnya. Untuk mengetahui informasi selengkapnya tentang memvisualisasikan data dengan grafik silsilah data, lihat Tampilan grafik silsilah.