Menganalisis dampak perubahan data pada alur kerja

Silsilah data di Knowledge Catalog (sebelumnya Dataplex Universal Catalog) memungkinkan Anda melacak pengaruh transformasi data terhadap resource downstream dan alur kerja yang bergantung padanya. Melacak dependensi tingkat kolom sebelum Anda mengubah tabel akan membantu Anda memverifikasi integritas data dan menentukan apakah pipeline yang ada memerlukan penyesuaian.

Dalam tutorial ini, Anda akan mengelola database yang menyimpan data tentang cara penggunaan berbagai layanan yang disediakan oleh penyedia layanan kesehatan. Agar data lebih mudah digunakan, Anda menjelajahi tabel untuk mengidentifikasi potensi perubahan. Sebelum menerapkan perubahan, Anda menggunakan Lineage Explorer BigQuery untuk memeriksa kolom, memeriksa perubahan jenis data, dan mengidentifikasi apakah ada peningkatan yang memengaruhi alur kerja yang ada atau memerlukan penyesuaian tambahan.

Mulai

Untuk menyelesaikan kasus penggunaan, siapkan lingkungan terlebih dahulu dan jalankan transformasi data. Gunakan halaman prasyarat dan penyiapan untuk menghubungkan repositori jarak jauh ke Dataform. Repositori ini berisi kode yang diperlukan untuk menyiapkan set data dan mentransformasi data.

Setelah Anda menyelesaikan penyiapan lingkungan, gunakan BigQuery dan Lineage Explorer untuk melacak transformasi data dan pengaruhnya terhadap alur kerja.

Menganalisis transformasi data dengan Lineage Explorer

Setelah menyiapkan set data, analisis dampak transformasi data menggunakan tab Lineage BigQuery.

Memverifikasi integritas data kolom dengan grafik silsilah

Dalam contoh ini, periksa kolom medicare_participation_indicator yang menunjukkan apakah dokter atau pemasok setuju untuk memberikan layanan bagi Medicare. Grafik silsilah menunjukkan bagaimana transformasi data antara tabel turunan menghasilkan perubahan jenis data kolom:

1. Di konsol Google Cloud , buka halaman BigQuery.
2. Gunakan kolom penelusuran untuk menemukan tabel physicians_and_other_supplier_2012_original.
3. Klik tab Silsilah.
4. Di panel Lineage Explorer, lakukan hal berikut:
   1. Di bagian Column Level Lineage, pilih nama kolom medicare_participation_indicator dari daftar.
   2. Di bagian Direction, pilih arah Downstream.
   3. Klik Terapkan.
5. Luaskan jalur silsilah hingga Anda mencapai vertex_ai_model_final_features.

6. Analisis perubahan jalur antara tabel supplier_stg3 dan tabel supplier_transform1:

   

   Visualisasi pelacakan silsilah untuk kolom medicare_participation_indicator

   • Penandaan jalur Exact Copy menunjukkan bahwa kolom diteruskan tanpa perubahan.
   • Penanda jalur Lainnya menunjukkan transformasi. Dalam jalur ini, jenis data String diperlakukan seperti Boolean.

Jalur ini menunjukkan bahwa jenis data kolom berubah, yang mungkin memerlukan penyesuaian dalam alur kerja yang menggunakan tabel ini.

Mengidentifikasi kolom downstream yang redundan

Contoh ini memeriksa kolom nppes_credentials yang mencantumkan National Provider Identifier yang dimiliki praktisi di National Plan and Provider Enumeration System (NPPES):

1. Di konsol Google Cloud , buka halaman BigQuery.
2. Gunakan kolom penelusuran untuk menemukan tabel physicians_and_other_supplier_2012_original.
3. Klik tab Silsilah.
4. Di panel Lineage Explorer, lakukan hal berikut:
   1. Di bagian Column Level Lineage, pilih nama kolom nppes_credentials dari daftar.
   2. Di bagian Direction, pilih arah Downstream.
   3. Klik Terapkan.
5. Perluas jalur untuk memeriksa apakah ada silsilah downstream yang mengarah ke vertex_ai_model_final_features.

Tidak adanya silsilah berarti kolom ini mungkin tidak relevan dalam alur kerja tertentu, dan bahkan dapat dihapus.

Untuk mengetahui informasi selengkapnya tentang cara memvisualisasikan data dengan grafik silsilah data, lihat tampilan grafik silsilah.