Memecahkan masalah silsilah data

Dokumen ini membantu Anda memecahkan masalah dan menyelesaikan masalah paling umum terkait grafik silsilah data Knowledge Catalog (sebelumnya Dataplex Universal Catalog) yang tidak muncul. Dengan menyelesaikan masalah ini, Anda dapat berhasil melacak pergerakan data, memahami asal data, dan melakukan debug pipeline data.

Jenis project

Aset data dapat berada di project yang berbeda. Berikut adalah ringkasan kemungkinan project dan nama asetnya.

Project penyimpanan BigQuery

Project ini menyimpan aset data BigQuery Anda. Anda dapat menemukannya di detail aset sebagai bagian dari Table ID, sebelum titik pertama.

Gambar 1. Nama project penyimpanan BigQuery.

Project komputasi

Project ini menyimpan metadata silsilah data. Untuk BigQuery, di sinilah Anda menjalankan tugas. Jika menjalankan tugas menggunakan konsol Google Cloud , Anda dapat menemukan nama project komputasi di pemilih project:

Gambar 2. Nama project komputasi yang menjalankan tugas BigQuery.

Saat mengirim permintaan ke BigQuery API, tentukan project komputasi di URL, misalnya:

POST /bigquery/v2/projects/docs-compute/jobs HTTP/1.1
Host: bigquery.googleapis.com
User-Agent: Go-http-client/1.1
Authorization: <REDACTED 1031 BYTES>
Accept-Encoding: gzip
{
  "configuration": {
    "query": {
      "useLegacySql": false,
      "query": "CREATE OR REPLACE TABLE `docs-target.dataset.target-002` AS SELECT * FROM `docs-source.dataset.source-002`;"
    }
  },
  "jobReference": {
    "projectId": "docs-compute",
    "jobId": "docs-compute-job-id",
    "location": "us",
  }
}

Project aktif

Ini adalah project tempat Anda melihat silsilah data. Konsol Google Cloud menampilkan project aktif di pemilih project. Jika Anda menggunakan API, project aktif adalah project tempat Anda melakukan panggilan API.

Gambar 3. Project aktif di konsol Google Cloud .

Silsilah data BigQuery tidak ditampilkan

Masalah berikut terjadi setelah menjalankan tugas BigQuery. Dalam hal ini, masalah dapat disebabkan oleh tiga skenario:

• Data Lineage API dinonaktifkan di project aktif atau project komputasi.
• Anda tidak memiliki peran Pelihat Silsilah Data (roles/datalineage.viewer) di project aktif atau compute.
• Silsilah data belum tersedia. Bergantung pada volume dan kompleksitas data yang diproses, silsilah data dapat memerlukan waktu 30 menit hingga 24 jam untuk ditampilkan.

Jika Anda melihat pesan "Pengambilan silsilah gagal karena izin tidak ada", berarti Anda tidak memiliki izin di project aktif. Jika tidak, Anda tidak memiliki izin pada project compute.

Gambar 4. Contoh silsilah yang tidak ditampilkan di UI BigQuery.

Untuk mengatasi masalah ini, periksa apakah Data Lineage API diaktifkan untuk project komputasi. Setelah mengaktifkan API, Anda perlu menjalankan tugas untuk melihat silsilah data. Bergantung pada volume dan kompleksitas data yang diproses, silsilah data dapat ditampilkan dalam waktu 30 menit hingga 24 jam.

Selanjutnya, periksa apakah Data Lineage API diaktifkan untuk project aktif.

Saat Data Lineage API diaktifkan, berikan peran Pelihat Silsilah Data (roles/datalineage.viewer) di project aktif dan komputasi.

Metadata proses BigQuery tidak ditampilkan

Masalah berikut terjadi saat Anda membuka panel detail tabel, yang tidak menampilkan semua detail seperti pernyataan SQL atau properti Process type. Hal ini terjadi meskipun asal data ditampilkan dengan benar.

Hal ini dapat terjadi jika Anda tidak memiliki izin untuk melihat metadata di project compute.

Contoh:

• Tabel sumber BigQuery: docs-source.dataset.source-001
• Tabel target BigQuery: docs-target.dataset.target-001
• Silsilah data antara docs-source.dataset.source-001 dan docs-target.dataset.target-001 di project komputasi docs-compute
• Anda memiliki peran Pelihat Silsilah Data untuk project aktif dan compute docs-compute.

Mengklik detail proses BigQuery akan menampilkan pesan berikut di konsol Google Cloud :

You don't have permission to view BigQuery process metadata in project X.

Gambar 5. Contoh detail proses BigQuery tidak ditampilkan di UI BigQuery.

Untuk mengatasi masalah ini, beri pengguna izin bigquery.jobs.get (misalnya, termasuk dalam peran BigQuery Resource Viewer di project compute.

Detail tabel BigQuery tidak ditampilkan

Masalah berikut terjadi saat Anda membuka panel detail tabel, yang hanya menampilkan properti Fully qualified name. Hal ini terjadi meskipun silsilah data ditampilkan dengan benar. Hal ini dapat terjadi jika Anda tidak memiliki semua izin yang diperlukan di project penyimpanan tabel.

Contoh:

• Tabel BigQuery docs-source.dataset.source-001
• Tabel BigQuery docs-target.dataset.target-001
• Silsilah data antara docs-source.dataset.source-001 dan docs-target.dataset.target-001 dengan project komputasi docs-compute
• Anda memiliki peran Pelihat Silsilah Data untuk project aktif dan compute docs-compute.

Dalam hal ini, saat Anda mengklik detail node BigQuery, Anda akan melihat pesan Entry with this fully qualified name is not available in Knowledge Catalog or you do not have permissions to view it.

Gambar 6. Contoh detail tabel BigQuery tidak ditampilkan di UI BigQuery.

Untuk mengatasi masalah ini, berikan izin bigquery.tables.get (misalnya, termasuk dalam peran BigQuery Data Viewer) di project penyimpanan.

Tagihan Pemrosesan Premium Knowledge Catalog yang tidak terduga

Anda menonaktifkan Dataplex API (dataplex.googleapis.com) untuk menghentikan tagihan, tetapi Anda terus melihat tagihan harian untuk SKU "Knowledge Catalog Premium Processing".

Masalah ini dapat terjadi jika Data Lineage API (datalineage.googleapis.com) tetap diaktifkan. Data Lineage API ditagih berdasarkan SKU "Knowledge Catalog Premium Processing", tetapi dikelola sebagai API terpisah di konsol Google Cloud . Menonaktifkan Dataplex API tidak akan menonaktifkan Data Lineage API atau menghentikan biayanya.

Untuk mengidentifikasi apakah silsilah data adalah sumber biaya, periksa laporan Penagihan Cloud Anda untuk label goog-dataplex-workload-type dengan nilai LINEAGE.

Untuk menghentikan biaya, nonaktifkan silsilah data dengan menonaktifkan Data Lineage API di project Anda.