Mengonfigurasi Akses Jaringan untuk Dataproc Metastore

Halaman ini memberikan panduan mendetail tentang cara mengonfigurasi akses jaringan untuk instance Dataproc Metastore Anda. Konfigurasi jaringan yang benar sangat penting agar cluster Managed Service for Apache Spark dan workload Managed Service for Apache Spark dapat berkomunikasi dengan layanan Dataproc Metastore terkelola Anda secara aman dan pribadi.

Untuk mengetahui ringkasan konsep jaringan yang lebih umum, lihat Ringkasan Jaringan

Konsep Jaringan Utama

Instance Dataproc Metastore biasanya berada dalam jaringan produsen layanan yang dikelola Google dan berkomunikasi dengan jaringan Virtual Private Cloud (VPC) Anda menggunakan konektivitas pribadi. Memahami konsep berikut sangat penting untuk penyiapan yang berhasil:

  • Virtual Private Cloud Bersama: Jika cluster Managed Service for Apache Spark atau beban kerja Managed Service for Apache Spark Anda berada dalam project layanan yang menggunakan jaringan VPC Bersama dari project host, verifikasi konfigurasi jaringan yang sesuai telah dilakukan di project host. Untuk mengetahui informasi selengkapnya, lihat Ringkasan VPC Bersama.
  • Akses Google Pribadi: Instance Dataproc Metastore sering kali mengandalkan Akses Google Pribadi untuk komunikasi pribadi dengan jaringan VPC Anda. Hal ini memungkinkan instance Virtual Machine (VM) di VPC Anda terhubung ke API dan layanan Google menggunakan alamat IP internal. Untuk mengetahui informasi selengkapnya, lihat Akses Google Pribadi.
  • Peering Jaringan VPC: Mekanisme ini memungkinkan konektivitas IP pribadi antara dua jaringan VPC, sehingga resource dalam satu jaringan dapat berkomunikasi dengan resource di jaringan lain menggunakan alamat IP internal. Dataproc Metastore membuat koneksi Peering Jaringan VPC terkelola ke jaringan VPC Anda sebagai bagian dari penyiapannya. Untuk mengetahui informasi selengkapnya, lihat Peering Jaringan VPC.
  • Aturan Firewall: Aturan firewall yang tepat diperlukan untuk mengizinkan traffic antara beban kerja Managed Service for Apache Spark dan instance Dataproc Metastore.
  • Resolusi Cloud DNS: Pastikan resolusi DNS dikonfigurasi dengan benar dalam jaringan VPC Anda untuk menyelesaikan URI endpoint Dataproc Metastore ke alamat IP pribadinya.

Langkah-Langkah Konfigurasi

Untuk memverifikasi akses jaringan yang tepat untuk instance Dataproc Metastore Anda, ikuti langkah-langkah berikut:

1. Mengonfigurasi Akses Layanan Pribadi

Dataproc Metastore menggunakan Akses Layanan Pribadi untuk membuat koneksi pribadi antara jaringan VPC Anda dan jaringan produsen layanan yang dikelola Google tempat instance Dataproc Metastore Anda berada.

  • Verifikasi Koneksi Akses Layanan Pribadi:
    1. Di konsol Google Cloud , buka Virtual Private Cloud network > VPC Network Peering.
    2. Verifikasi bahwa koneksi peering bernama servicenetworking-googleapis-com ada dan statusnya adalah ACTIVE.
    3. Jika koneksi ini tidak ada atau tidak aktif, ikuti petunjuk di Mengonfigurasi Akses Layanan Pribadi. Hal ini mencakup mengalokasikan rentang alamat IP untuk jaringan produsen layanan.

2. Mengonfigurasi Aturan Firewall

Verifikasi bahwa aturan firewall di jaringan VPC Anda (atau project host VPC Bersama, jika berlaku) mengizinkan traffic yang diperlukan.

  • Aturan Egress dari Workload ke Metastore:
    • Pastikan aturan firewall keluar mengizinkan traffic TCP keluar dari cluster Managed Service for Apache Spark atau beban kerja Managed Service for Apache Spark ke rentang alamat IP instance Dataproc Metastore Anda di port 9083. Ini adalah port default untuk Hive Metastore.
    • Jika menggunakan Private Service Access, traffic ini akan dirutekan secara pribadi.
  • Aturan Ingress (kurang umum untuk klien ke Metastore):
    • Umumnya, Anda tidak perlu mengonfigurasi aturan ingress di VPC untuk traffic dari instance Dataproc Metastore ke workload Anda, karena komunikasi biasanya berasal dari workload. Namun, pastikan tidak ada aturan masuk yang terlalu ketat yang secara tidak sengaja memblokir respons yang diperlukan.

3. Memverifikasi Resolusi DNS

Workload Managed Service for Apache Spark Anda perlu menyelesaikan URI endpoint Dataproc Metastore ke alamat IP pribadinya.

  • Peering DNS atau Zona Pribadi: Jika Anda menggunakan server DNS kustom atau zona Cloud DNS pribadi, verifikasi bahwa kueri DNS untuk endpoint Dataproc Metastore (misalnya, your-metastore-endpoint.us-central1.dataproc.cloud.google.com) diteruskan atau diselesaikan dengan benar ke rentang IP pribadi yang digunakan oleh Akses Layanan Pribadi.
  • Menguji Resolusi DNS: Dari VM dalam subnet yang sama dengan workload Managed Service for Apache Spark, gunakan nslookup atau dig untuk memverifikasi bahwa endpoint Dataproc Metastore di-resolve ke alamat IP pribadi.

Memecahkan Masalah Konektivitas Jaringan

Jika Anda mengalami masalah konektivitas setelah mengonfigurasi akses jaringan, pertimbangkan langkah-langkah pemecahan masalah berikut:

Langkah berikutnya