Memecahkan masalah akses data lintas cloud

Dokumen ini menunjukkan cara menyelesaikan masalah umum saat menggunakan kemampuan akses data lintas cloud dari Lakehouse tanpa batas.

Data dan resource sudah usang atau tidak diperbarui

Katalog gabungan lakehouse menyinkronkan metadata dari cloud jarak jauh berdasarkan interval refresh. Pembaruan metadata latar belakang katalog mungkin memerlukan waktu lebih lama jika ada lebih banyak resource (berbagi, skema, namespace, tabel). Jika muat ulang sebelumnya melampaui batas waktu, muat ulang saat ini akan dilewati, tetapi muat ulang berikutnya akan dijadwalkan ulang pada interval berikutnya.

Jika data yang dikueri tampak usang, refresh metadata latar belakang katalog mungkin melebihi batas atau gagal. Resource cloud jarak jauh juga tunduk pada perilaku yang sama. Jika Anda menghapus resource di cloud jarak jauh, resource tersebut hanya akan dihapus dari Lakehouse pada refresh metadata latar belakang berikutnya yang berhasil.

Periksa status pembaruan metadata di latar belakang pada katalog gabungan di halaman konsol Lakehouse Google Cloud , atau dengan menjalankan gcloud CLI:

Buka Lakehouse

gcloud alpha biglake iceberg catalogs describe FEDERATED_CATALOG_NAME \
    --project="PROJECT_ID"

gcloud alpha biglake delta-sharing catalogs describe FEDERATED_CATALOG_NAME \
    --project="PROJECT_ID"

Masalah konektivitas atau perutean

Jika Anda mengalami masalah konektivitas atau perutean saat menggunakan interkoneksi pribadi, pastikan hal berikut:

  • Verifikasi propagasi rute: Periksa Cloud Router di Google Cloud untuk memverifikasi bahwa Cloud Router telah mempelajari awalan VPC AWS. Periksa tabel rute AWS Anda untuk memverifikasi bahwa tabel tersebut memiliki rute kembali ke Google Cloud VPC Anda.
  • Periksa kondisi ILB: Di konsol Google Cloud , buka Network Services > Load balancing. Periksa apakah backend (NEG) untuk layanan backend ILB Anda responsif. Jika tidak, verifikasi konektivitas jaringan dan aturan Grup Keamanan AWS.
  • Uji konektivitas dari Google Cloud: Luncurkan instance VM pengujian diGoogle Cloud VPC dan subnet yang sama dengan endpoint ILB atau Service Directory, lalu coba hubungkan ke alamat IP ENI AWS di port 443 (misalnya, dengan menggunakan curl atau telnet).
  • Penyelesaian Service Directory: Pastikan akun layanan katalog memiliki izin untuk menyelesaikan endpoint Service Directory (roles/servicedirectory.viewer, roles/servicedirectory.pscAuthorizedService).
  • Grup Keamanan dan aturan firewall: Pastikan Google Cloud aturan firewall dan Grup Keamanan AWS mengizinkan traffic di port TCP 443 antara rentang IP yang relevan.

Pembaruan katalog Snowflake gagal dengan Kode 16 (Tidak diautentikasi)

Jika refresh metadata latar belakang untuk Katalog Snowflake Horizon gagal dengan status Code 16 (UNAUTHENTICATED), verifikasi hal berikut:

  • Pemformatan payload secret: Pastikan token secret di Secret Manager berisi struktur JSON yang diperlukan ({"client_secret": "<var>SNOWFLAKE_PAT_TOKEN</var>", "scope": "session:role:<var>SNOWFLAKE_ROLE</var>"}), bukan string Personal Access Token (PAT) mentah.
  • Masa berlaku token dan izin: Pastikan PAT Snowflake valid dan pengguna serta peran terkait memiliki hak istimewa yang memadai untuk mengakses target katalog dan database.
  • Kebijakan jaringan: Jika kebijakan jaringan Snowflake dikonfigurasi, pastikan rentang alamat IP keluar Google dari goog.json diizinkan.