Melampirkan cluster Managed Service for Apache Spark atau cluster yang dikelola sendiri

Setelah membuat layanan Dataproc Metastore, Anda dapat melampirkan salah satu layanan berikut:

Setelah Anda menghubungkan salah satu layanan ini, layanan tersebut akan menggunakan layanan Dataproc Metastore Anda sebagai metastore Hive selama eksekusi kueri.

Sebelum memulai

Peran yang Diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk membuat Dataproc Metastore dan cluster Managed Service untuk Apache Spark, minta administrator untuk memberi Anda peran IAM berikut:

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk membuat Dataproc Metastore dan cluster Managed Service untuk Apache Spark. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk membuat Dataproc Metastore dan cluster Managed Service untuk Apache Spark:

  • Untuk membuat Dataproc Metastore: metastore.services.create di akun pengguna atau akun layanan
  • Untuk membuat cluster Managed Service untuk Apache Spark: dataproc.clusters.create di akun pengguna atau akun layanan
  • Untuk mengakses direktori warehouse Hive: orgpolicy.policy.get1,resourcemanager.projects.get,resourcemanager.projects.list,storage.objects.*,storage.multipartUploads.* di akun layanan VM Managed Service untuk Apache Spark

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Untuk mengetahui informasi selengkapnya tentang peran dan izin Dataproc Metastore tertentu, lihat Mengelola akses dengan IAM.

Cluster Managed Service untuk Apache Spark

Managed Service untuk Apache Spark adalah layanan Apache Spark dan Apache Hadoop terkelola yang membantu Anda memanfaatkan alat data open source untuk batch processing, pembuatan kueri, streaming, dan machine learning.

Pertimbangan

Sebelum membuat dan melampirkan cluster Managed Service untuk Apache Spark, periksa protokol endpoint yang digunakan oleh layanan Dataproc Metastore Anda. Protokol ini menentukan cara klien Hive Metastore Anda mengakses metadata yang disimpan di Dataproc Metastore Anda. Pilihan ini juga dapat memengaruhi fitur yang dapat Anda integrasikan dan gunakan dengan layanan Anda.

Apache Thrift

Jika Anda menggunakan protokol endpoint Apache Thrift, pertimbangkan persyaratan jaringan berikut:

  • Secara default, Anda harus membuat cluster Managed Service untuk Apache Spark dan layanan Dataproc Metastore di jaringan yang sama. Cluster Managed Service untuk Apache Spark Anda juga dapat menggunakan subnet jaringan layanan Dataproc Metastore.

  • Jika cluster Managed Service untuk Apache Spark Anda berada di project yang berbeda dengan jaringan, Anda harus mengonfigurasi izin jaringan bersama.

  • Jika cluster Managed Service untuk Apache Spark Anda berada di project yang berbeda dengan layanan Dataproc Metastore Anda, Anda harus menyiapkan izin tambahan sebelum membuat cluster Managed Service untuk Apache Spark.

gRPC

Jika Anda menggunakan protokol endpoint gRPC, pertimbangkan persyaratan jaringan berikut:

  • Setelah membuat Dataproc Metastore menggunakan protokol endpoint gRPC, Anda harus memberikan peran IAM tambahan.

  • Jika Anda menggunakan Autentikasi Cluster Pribadi Dataproc, Dataproc Metastore Anda harus menggunakan protokol endpoint gRPC.

  • Jika cluster Managed Service untuk Apache Spark Anda berada di project yang berbeda dengan layanan Dataproc Metastore Anda, Anda harus menyiapkan izin tambahan sebelum membuat cluster Managed Service untuk Apache Spark.

Membuat cluster dan melampirkan Dataproc Metastore

Petunjuk berikut menunjukkan cara membuat cluster Managed Service untuk Apache Spark dan menghubungkannya dari layanan Dataproc Metastore. Petunjuk ini mengasumsikan bahwa Anda telah Membuat layanan Dataproc Metastore.

  • Sebelum membuat cluster Managed Service untuk Apache Spark, pastikan image Managed Service untuk Apache Spark yang Anda pilih kompatibel dengan versi metastore Hive yang Anda pilih saat membuat Dataproc Metastore. Untuk mengetahui informasi selengkapnya, lihat Daftar versi Image Managed Service untuk Apache Spark.

  • Untuk mengoptimalkan konektivitas jaringan, buat cluster Managed Service untuk Apache Spark di region yang sama dengan layanan Dataproc Metastore Anda.

Konsol

  1. Di Google Cloud konsol, buka halaman Managed Service untuk Apache Spark Create a cluster:

    Buka Create a cluster

  2. Di kolom Cluster Name, masukkan nama untuk cluster Anda.

  3. Untuk menu Region dan Zone, pilih region yang sama dengan tempat Anda membuat layanan Dataproc Metastore. Anda dapat memilih Zona apa pun.

  4. Klik tab Customize cluster.

  5. Di bagian Network configuration, pilih jaringan yang sama dengan tempat Anda membuat layanan Dataproc Metastore.

  6. Di bagian Dataproc Metastore, pilih layanan Dataproc Metastore yang ingin Anda lampirkan. Jika belum membuatnya, Anda dapat memilih Create New Service.

  7. Opsional: Jika layanan Dataproc Metastore Anda menggunakan protokol endpoint gRPC:

    1. Klik tab Manage Security.
    2. Di bagian Project Access, pilih Enable the cloud-platform scope for this cluster.

  8. Konfigurasi opsi layanan yang tersisa sesuai kebutuhan.

  9. Untuk membuat cluster, klik Create.

    Cluster baru Anda akan muncul dalam daftar Cluster. Status cluster tercantum sebagai Provisioning hingga cluster siap digunakan. Saat siap digunakan, status akan berubah menjadi Running.

gcloud CLI

Untuk membuat cluster dan melampirkan Dataproc Metastore, jalankan perintah gcloud dataproc clusters create berikut:

gcloud dataproc clusters create CLUSTER_NAME \
    --dataproc-metastore=projects/PROJECT_ID/locations/LOCATION/services/SERVICE \
    --region=LOCATION \
    --scopes=SCOPES

Ganti kode berikut:

  • CLUSTER_NAME: nama cluster Managed Service untuk Apache Spark baru Anda.
  • PROJECT_ID: project ID project tempat Anda membuat layanan Dataproc Metastore.
  • LOCATION: region yang sama dengan tempat Anda membuat layanan Dataproc Metastore.
  • SERVICE: nama layanan Dataproc Metastore yang Anda lampirkan ke cluster.
  • SCOPES: (Opsional) Jika layanan Dataproc Metastore Anda menggunakan protokol endpoint gRPC, gunakan cloud-platform.

REST

Ikuti petunjuk API untuk membuat cluster menggunakan API Explorer.

Melampirkan cluster menggunakan properti cluster Managed Service untuk Apache Spark

Anda juga dapat melampirkan cluster Managed Service untuk Apache Spark ke Dataproc Metastore menggunakan properti Managed Service untuk Apache Spark. Properti ini mencakup Dataproc Metastore ENDPOINT_URI dan WAREHOUSE_DIR.

Gunakan petunjuk ini jika layanan Dataproc Metastore Anda menggunakan Private Service Connect atau jika Anda ingin melampirkan cluster Managed Service untuk Apache Spark ke versi tambahan layanan Dataproc Metastore Anda.

Ada dua cara untuk melampirkan cluster Managed Service untuk Apache Spark menggunakan properti ENDPOINT_URI dan WAREHOUSE_DIR:

Opsi 1: Saat membuat cluster Managed Service untuk Apache Spark

Saat membuat cluster Managed Service untuk Apache Spark, gunakan flag properti dengan konfigurasi Hive berikut.

gcloud dataproc clusters create CLUSTER_NAME \
     --properties="hive:hive.metastore.uris=ENDPOINT_URI,hive:hive.metastore.warehouse.dir=WAREHOUSE_DIR/hive-warehouse"

Ganti kode berikut:

  • CLUSTER_NAME: nama cluster Managed Service untuk Apache Spark baru Anda.
  • ENDPOINT_URI: URI endpoint layanan Dataproc Metastore Anda.
  • WAREHOUSE_DIR: Lokasi direktori warehouse Hive Anda.

Opsi 2: Mengupdate file hive-site.xml

Anda juga dapat melampirkan cluster Managed Service untuk Apache Spark dengan langsung mengubah file hive-site.xml cluster.

  1. Hubungkan ke cluster .*-m menggunakan SSH.

  2. Buka file /etc/hive/conf/hive-site.xml dan ubah baris berikut:

    <property>
   <name>hive.metastore.uris</name>
   <!-- Update this value. -->
   <value>ENDPOINT_URI</value>
</property>
<!-- Add this property entry. -->
<property>
   <name>hive.metastore.warehouse.dir</name>
   <value>WAREHOUSE_DIR</value>
</property>

    Ganti kode berikut:

    • ENDPOINT_URI: URI endpoint layanan Dataproc Metastore Anda.
    • WAREHOUSE_DIR: Lokasi direktori warehouse Hive Anda .

  3. Mulai ulang HiveServer2:

    sudo systemctl restart hive-server2.service

Cluster yang dikelola sendiri

Cluster yang dikelola sendiri dapat berupa instance Apache Hive, instance Apache Spark, atau cluster Presto.

Melampirkan cluster yang dikelola sendiri

Tetapkan nilai berikut dalam file konfigurasi klien Anda:

hive.metastore.uris=ENDPOINT_URI
hive.metastore.warehouse.dir=WAREHOUSE_DIR

Ganti kode berikut:

  • ENDPOINT_URI: URI endpoint layanan Dataproc Metastore Anda.
  • WAREHOUSE_DIR: Lokasi direktori warehouse Hive Anda .

Langkah berikutnya