Memecahkan masalah akses data lintas cloud

Dokumen ini menunjukkan cara menyelesaikan masalah umum saat menggunakan kemampuan akses data lintas cloud dari Lakehouse tanpa batas.

Data dan resource sudah tidak berlaku atau tidak diperbarui

Katalog gabungan lakehouse menyinkronkan metadata dari cloud jarak jauh berdasarkan interval pembaruan. Pemuatan ulang metadata latar belakang katalog mungkin memerlukan waktu lebih lama seiring bertambahnya jumlah resource (berbagi, skema, namespace, tabel). Jika pemuatan ulang sebelumnya melebihi batas, pemuatan ulang saat ini akan dilewati, tetapi pemuatan ulang berikutnya akan dijadwalkan ulang pada interval berikutnya.

Jika data yang dikueri tampak usang, refresh metadata latar belakang katalog mungkin berlebihan atau gagal. Resource cloud jarak jauh juga tunduk pada perilaku yang sama. Jika Anda menghapus resource di cloud jarak jauh, resource tersebut hanya akan dihapus dari Lakehouse pada pemuatan ulang metadata latar belakang berikutnya yang berhasil.

Periksa status pembaruan metadata latar belakang pada katalog gabungan di halaman konsol Lakehouse Google Cloud , atau dengan menjalankan gcloud CLI:

Buka Lakehouse

gcloud alpha biglake iceberg catalogs describe FEDERATED_CATALOG_NAME \
    --project="PROJECT_ID"

gcloud alpha biglake delta-sharing catalogs describe FEDERATED_CATALOG_NAME \
    --project="PROJECT_ID"

Masalah konektivitas atau pemilihan rute

Jika Anda mengalami masalah konektivitas atau pemilihan rute saat menggunakan interkoneksi pribadi, pastikan hal berikut:

  • Verifikasi penyebaran rute: Periksa Cloud Router di Google Cloud untuk memverifikasi bahwa Cloud Router telah mempelajari awalan VPC AWS. Periksa tabel rute AWS Anda untuk memastikan bahwa tabel tersebut memiliki rute kembali ke VPC Google Cloud Anda.
  • Periksa kondisi ILB: Di konsol Google Cloud , buka Network Services > Load balancing. Periksa apakah backend (NEG) untuk layanan backend ILB Anda responsif. Jika tidak, verifikasi konektivitas jaringan dan aturan Grup Keamanan AWS.
  • Uji konektivitas dari Google Cloud: Luncurkan instance VM pengujian di VPC dan subnetGoogle Cloud yang sama dengan endpoint ILB atau Direktori Layanan, lalu coba hubungkan ke alamat IP AWS ENI di port 443 (misalnya, menggunakan curl atau telnet).
  • Resolusi Direktori Layanan: Pastikan akun layanan katalog memiliki izin untuk me-resolve endpoint Direktori Layanan (roles/servicedirectory.viewer, roles/servicedirectory.pscAuthorizedService).
  • Grup Keamanan dan aturan firewall: Pastikan aturan firewall Google Cloud dan Grup Keamanan AWS mengizinkan traffic di port TCP 443 antara rentang IP yang relevan.