Cara kerja Kerberos dengan Dataproc Metastore

Halaman ini menjelaskan cara Dataproc Metastore mendukung protokol Kerberos.

Kerberos adalah protokol autentikasi jaringan yang dirancang untuk memberikan autentikasi yang kuat bagi aplikasi klien dan server dengan menggunakan kriptografi kunci rahasia. Protokol ini biasanya digunakan di antara stack Hadoop untuk autentikasi di seluruh ekosistem software.

Anda dapat mengonfigurasi Kerberos di layanan Dataproc Metastore berikut:

  • Layanan Dataproc Metastore yang menggunakan protokol endpoint Thrift.
  • Layanan Dataproc Metastore yang menggunakan protokol endpoint gRPC .

Proses konfigurasi Kerberos berbeda untuk setiap jenis layanan.

Aset Kerberos yang diperlukan

Bagian berikut memberikan informasi umum tentang aset Kerberos yang Anda perlukan untuk mengonfigurasi Kerberos untuk layanan Dataproc Metastore.

KDC Kerberos

KDC Kerberos diperlukan. Anda dapat menggunakan KDC lokal cluster Managed Service untuk Apache Spark atau membuat dan menghosting KDC Anda sendiri.

Akun utama Kerberos

Saat mengonfigurasi Kerberos untuk layanan Dataproc Metastore, Anda akan membuat file akun utama menggunakan cluster Managed Service untuk Apache Spark.

File keytab

File keytab berisi pasangan akun utama Kerberos dan kunci terenkripsi, yang digunakan untuk mengautentikasi akun utama layanan dengan KDC Kerberos.

Saat mengonfigurasi Kerberos untuk layanan Dataproc Metastore, Anda akan membuat file keytab menggunakan cluster Managed Service untuk Apache Spark.

  • File keytab yang dibuat berisi nama dan lokasi akun utama layanan metastore Hive Anda.

  • File keytab yang dibuat akan otomatis disimpan di Google Cloud Secret Manager.

    Secret Secret Manager yang disediakan harus disematkan ke versi secret tertentu. Anda harus menentukan versi secret yang ingin digunakan. Dataproc Metastore tidak akan otomatis memilih versi terbaru.

File krb5.conf

File krb5.conf yang valid berisi informasi konfigurasi Kerberos, seperti IP KDC, port, dan nama realm.

Saat mengonfigurasi Kerberos untuk layanan Dataproc Metastore, Anda akan membuat file keytab menggunakan cluster Managed Service untuk Apache Spark.

  • Saat mengonfigurasi file krb5.conf, tentukan IP KDC yang dapat diakses dari jaringan yang di-peering. Jangan tentukan FQDN KDC.
  • Jika menggunakan endpoint Thrift, Anda harus menyimpan file di bucket Cloud Storage. Anda dapat menggunakan bucket yang ada atau membuat bucket baru.

Langkah berikutnya

  • Membuat layanan Dataproc Metastore yang menggunakan protokol endpoint Thrift.
  • Membuat layanan Dataproc Metastore yang menggunakan protokol endpoint gRPC.