Memecahkan masalah silsilah data

Silsilah data di Knowledge Catalog (sebelumnya Dataplex Universal Catalog) memungkinkan Anda melacak pergerakan data, memahami asal data, dan men-debug pipeline data. Jika grafik silsilah, metadata proses, detail tabel, atau link tingkat kolom tidak muncul seperti yang diharapkan, atau jika Anda melihat biaya Pemrosesan Knowledge Catalog Premium yang tidak terduga, Anda dapat memeriksa izin project, setelan API, dan jenis pekerjaan yang didukung.

Jika Anda memerlukan bantuan untuk menyelesaikan masalah yang tidak dibahas dalam dokumen ini, lihat Cloud Customer Care.

Jenis project

Aset data dapat berada di project yang berbeda. Berikut adalah ringkasan kemungkinan project dan nama asetnya.

Project penyimpanan BigQuery

Project ini menyimpan aset data BigQuery Anda. Anda dapat menemukannya di detail aset sebagai bagian dari Table ID, sebelum titik pertama.

Di UI BigQuery, nama project penyimpanan ditampilkan di kolom Table ID, sebelum titik pertama dalam nama tabel yang sepenuhnya memenuhi syarat.
Gambar 1. Nama project penyimpanan BigQuery.

Project komputasi

Project ini menyimpan metadata silsilah data. Untuk BigQuery, di sinilah Anda menjalankan tugas. Jika Anda menjalankan tugas menggunakan konsolGoogle Cloud , Anda dapat menemukan nama project komputasi di pemilih project:

UI BigQuery menampilkan project komputasi bernama docs-compute di halaman tempat Anda menjalankan kueri SQL.
Gambar 2. Nama project komputasi yang menjalankan tugas BigQuery.

Saat mengirim permintaan ke BigQuery API, tentukan project komputasi di URL, misalnya:

POST /bigquery/v2/projects/docs-compute/jobs HTTP/1.1
Host: bigquery.googleapis.com
User-Agent: Go-http-client/1.1
Authorization: <REDACTED 1031 BYTES>
Accept-Encoding: gzip
{
  "configuration": {
    "query": {
      "useLegacySql": false,
      "query": "CREATE OR REPLACE TABLE `docs-target.dataset.target-002` AS SELECT * FROM `docs-source.dataset.source-002`;"
    }
  },
  "jobReference": {
    "projectId": "docs-compute",
    "jobId": "docs-compute-job-id",
    "location": "us",
  }
}

Project aktif

Ini adalah project tempat Anda melihat silsilah data. KonsolGoogle Cloud menunjukkan project aktif di pemilih project. Jika Anda menggunakan API, project aktif adalah project tempat Anda melakukan panggilan API.

UI BigQuery menampilkan silsilah data untuk set data bernama source-001, yang berada dalam project bernama docs-source.
Gambar 3. Project aktif di konsol Google Cloud .

Silsilah data BigQuery tidak ditampilkan

Masalah berikut terjadi setelah menjalankan tugas BigQuery. Dalam hal ini, masalah dapat disebabkan oleh tiga skenario:

  • Data Lineage API dinonaktifkan di project aktif atau project komputasi.
  • Anda tidak memiliki peran Data Lineage Viewer (roles/datalineage.viewer) di project aktif atau komputasi.
  • Silsilah data belum tersedia. Bergantung pada volume dan kompleksitas data yang diproses, silsilah data dapat memerlukan waktu antara 30 menit hingga 24 jam untuk ditampilkan.

Jika Anda melihat pesan "Fetching lineage failed due to missing permissions.", berarti Anda tidak memiliki izin pada project aktif. Jika tidak, Anda tidak memiliki izin pada project komputasi.

Grafik silsilah kosong.
Gambar 4. Contoh silsilah yang tidak ditampilkan di UI BigQuery.

Untuk mengatasi masalah ini, periksa apakah Data Lineage API diaktifkan untuk project komputasi. Setelah mengaktifkan API, Anda perlu menjalankan tugas untuk melihat silsilah data. Bergantung pada volume dan kompleksitas data yang diproses, silsilah data dapat memerlukan waktu antara 30 menit hingga 24 jam untuk ditampilkan.

Selanjutnya, periksa apakah Data Lineage API diaktifkan untuk project aktif.

Saat Data Lineage API diaktifkan, berikan peran Data Lineage Viewer (roles/datalineage.viewer) di project aktif dan komputasi.

Metadata proses BigQuery tidak ditampilkan

Masalah berikut terjadi saat Anda membuka panel detail tabel, yang tidak menampilkan semua detail seperti pernyataan SQL atau properti Process type. Hal ini terjadi meskipun silsilah data ditampilkan dengan benar.

Hal ini dapat terjadi jika Anda tidak memiliki izin untuk melihat metadata di project komputasi.

Contoh:

  • Tabel sumber BigQuery: docs-source.dataset.source-001
  • Tabel target BigQuery: docs-target.dataset.target-001
  • Silsilah data antara docs-source.dataset.source-001 dan docs-target.dataset.target-001 di project komputasi docs-compute
  • Anda memiliki peran Viewer Silsilah Data untuk project aktif dan komputasi docs-compute.

Mengklik detail proses BigQuery akan menampilkan pesan berikut di konsol Google Cloud :

You don't have permission to view BigQuery process metadata in project X.
Di UI BigQuery, pada tab Lineage, panel Details menampilkan pesan error.
Gambar 5. Contoh detail proses BigQuery yang tidak ditampilkan di UI BigQuery.

Untuk mengatasi masalah ini, berikan izin bigquery.jobs.get kepada pengguna (misalnya, yang disertakan dalam peran BigQuery Resource Viewer) di project komputasi.

Detail tabel BigQuery tidak ditampilkan

Masalah berikut terjadi saat Anda membuka panel detail tabel, yang hanya menampilkan properti Fully qualified name. Hal ini terjadi meskipun silsilah data ditampilkan dengan benar. Hal ini dapat terjadi jika Anda tidak memiliki semua izin yang diperlukan dalam project penyimpanan tabel.

Contoh:

  • Tabel BigQuery docs-source.dataset.source-001
  • Tabel BigQuery docs-target.dataset.target-001
  • Silsilah data antara docs-source.dataset.source-001 dan docs-target.dataset.target-001 dengan project komputasi docs-compute
  • Anda memiliki peran Viewer Silsilah Data untuk project aktif dan komputasi docs-compute.

Dalam hal ini, saat mengklik detail node BigQuery, Anda akan melihat pesan Entry with this fully qualified name is not available in Knowledge Catalog or you do not have permissions to view it.

Detail tabel BigQuery tidak ditampilkan.
Gambar 6. Contoh detail tabel BigQuery yang tidak ditampilkan di UI BigQuery.

Untuk mengatasi masalah ini, berikan izin bigquery.tables.get (misalnya, yang disertakan dalam peran BigQuery Data Viewer) di project penyimpanan.

Silsilah tingkat kolom menampilkan "Tidak ada kolom yang dapat dipilih"

Masalah berikut terjadi saat Anda melihat aset di konsol Google Cloud , dan grafik silsilah tingkat tabel ditampilkan dengan benar, tetapi memilih silsilah tingkat kolom akan menampilkan pesan "Tidak ada kolom yang dapat dipilih" atau tidak ada link kolom ke kolom yang muncul.

Masalah ini dapat terjadi dalam skenario berikut:

  • Peristiwa OpenLineage kustom: Peristiwa yang diserap melalui endpoint ProcessOpenLineageRunEvent Data Lineage API hanya mendukung silsilah tingkat tabel. Facet tingkat kolom kustom tidak dirender di konsolGoogle Cloud .
  • Sumber data atau sistem yang tidak didukung: Grafik silsilah tingkat kolom hanya dibuat untuk transformasi SQL BigQuery dan tugas Managed Service untuk Apache Spark. Sistem terintegrasi lainnya (seperti Cloud Data Fusion dan Vertex AI) hanya mendukung silsilah tingkat tabel.
  • Jenis pekerjaan BigQuery yang tidak didukung: Silsilah tingkat kolom tidak dikumpulkan untuk tugas pemuatan, tugas penyalinan, atau rutinitas BigQuery.
  • Tabel eksternal: Silsilah upstream tingkat kolom tidak dikumpulkan untuk tabel eksternal.
  • Aset tidak terstruktur atau tingkat penyimpanan: Meskipun aset berbasis file (seperti file atau bucket Cloud Storage mentah) umumnya tidak terstruktur, silsilah data dapat menampilkan kolom untuk aset tersebut jika silsilah tingkat kolom dilaporkan ke sistem. Jika silsilah tingkat kolom tidak dilaporkan untuk aset file, Anda tidak dapat memilih kolom apa pun.
  • Jenis bertingkat yang kompleks: Silsilah tingkat kolom hanya melacak kolom tingkat atas. Anda tidak dapat memilih kolom satu per satu yang bertingkat dalam jenis data kompleks (seperti STRUCT atau JSON).
  • Kolom semu partisi: Kolom partisi sistem (seperti _PARTITIONDATE dan _PARTITIONTIME) tidak dikenali dalam grafik silsilah tingkat kolom.
  • Batas link terlampaui: Jika tugas transformasi menghasilkan lebih dari 1.500 link tingkat kolom, Knowledge Catalog akan melewati pengumpulan silsilah tingkat kolom dan hanya mempertahankan silsilah tingkat tabel.
  • Aset lintas organisasi: Jika jalur silsilah melintasi aset yang berada di organisasi lain, Anda tidak dapat mengakses detail skema dan kolom jika Anda bukan anggota organisasi yang sama dengan aset tersebut.

Tagihan Pemrosesan Premium Knowledge Catalog yang tidak terduga

Anda menonaktifkan Dataplex API (dataplex.googleapis.com) untuk menghentikan tagihan, tetapi Anda terus melihat tagihan harian untuk SKU "Knowledge Catalog Premium Processing".

Masalah ini dapat terjadi jika Data Lineage API (datalineage.googleapis.com) tetap diaktifkan. Data Lineage API ditagih berdasarkan SKU "Knowledge Catalog Premium Processing", tetapi dikelola sebagai API terpisah di konsol Google Cloud . Menonaktifkan Dataplex API tidak akan menonaktifkan Data Lineage API atau menghentikan tagihannya.

Untuk mengidentifikasi apakah silsilah data adalah sumber tagihan, periksa laporan Penagihan Cloud Anda untuk label goog-dataplex-workload-type dengan nilai LINEAGE.

Untuk menghentikan tagihan, nonaktifkan silsilah data dengan menonaktifkan Data Lineage API di project Anda.