Men-deploy layanan Metastore Dataproc

Men-deploy layanan Metastore Dataproc

Halaman ini menunjukkan cara membuat layanan Dataproc Metastore dan terhubung ke layanan tersebut dari cluster Managed Service for Apache Spark. Setelah itu, Anda akan melakukan SSH ke cluster, meluncurkan instance Apache Hive, dan menjalankan beberapa kueri dasar.

Dataproc Metastore menyediakan Hive Metastore (HMS) yang sepenuhnya kompatibel, yang merupakan standar yang sudah mapan dalam ekosistem big data open source untuk mengelola metadata teknis. Layanan ini membantu Anda mengelola metadata data lake dan menyediakan interoperabilitas antara berbagai alat pemrosesan data yang Anda gunakan.

Catatan: Panduan ini menunjukkan cara mengonfigurasi Dataproc Metastore menggunakan opsi default yang disediakan. Untuk mempelajari cara mengonfigurasi Dataproc Metastore dengan setelan lanjutan, lihat Membuat metastore.

---

Untuk mengikuti panduan langkah demi langkah untuk tugas ini langsung di Google Cloud konsol, klik Pandu saya:

Pandu saya

---

Sebelum memulai

Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Dataproc Metastore, Dataproc APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Dataproc Metastore, Dataproc APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Peran yang Diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk membuat Dataproc Metastore dan cluster Managed Service for Apache Spark, minta administrator untuk memberi Anda peran IAM berikut:

• Untuk memberikan akses penuh ke semua resource Dataproc Metastore, termasuk menyetel izin IAM: (roles/metastore.admin) di akun pengguna atau akun layanan
• Untuk memberikan kontrol penuh atas resource Dataproc Metastore: Dataproc Metastore Editor (roles/metastore.editor) di akun pengguna atau akun layanan
• Untuk membuat cluster Managed Service for Apache Spark: (roles/dataproc.worker) di akun layanan

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk membuat Dataproc Metastore dan cluster Managed Service for Apache Spark. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk membuat Dataproc Metastore dan cluster Managed Service for Apache Spark:

• Untuk membuat layanan Dataproc Metastore: metastore.services.create di akun pengguna atau akun layanan
• Untuk membuat cluster Managed Service for Apache Spark: Managed Service for Apache Spark worker (roles/dataproc.worker) di akun layanan

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Untuk mengetahui informasi selengkapnya tentang peran dan izin Dataproc Metastore tertentu, lihat Ringkasan IAM Dataproc Metastore.

Membuat layanan Dataproc Metastore

Petunjuk berikut menunjukkan cara membuat layanan Dataproc Metastore dasar menggunakan setelan default yang disediakan.

Konsol

1. Di konsol Google Cloud , buka halaman Dataproc Metastore.

   Buka Dataproc Metastore

2. Di menu navigasi, klik +Buat.

   Dialog Create Metastore service akan terbuka.

3. Pilih Dataproc Metastore 2.

4. Di kolom Nama layanan, masukkan example-service.

5. Di kolom Lokasi data, pilih us-central1.

6. Untuk opsi konfigurasi layanan lainnya, gunakan default yang disediakan.

7. Untuk membuat dan memulai layanan, klik Submit.

Layanan metastore baru Anda akan muncul di halaman Dataproc Metastore. Status menampilkan Membuat hingga layanan siap digunakan. Setelah siap, status akan berubah menjadi Aktif. Penyediaan layanan mungkin memerlukan waktu beberapa menit.

Screenshot berikut menampilkan contoh halaman Buat layanan menggunakan beberapa default yang disediakan.

gcloud CLI

 gcloud metastore services create example-service \
     --location=us-central1 \
     --instance-size=MEDIUM

REST

Ikuti petunjuk API untuk membuat layanan menggunakan APIs Explorer.

Membuat cluster Managed Service for Apache Spark dan terhubung ke Dataproc Metastore

Selanjutnya, buat cluster Managed Service for Apache Spark dan hubungkan ke metastore dari cluster. Setelah itu, cluster Anda akan menggunakan layanan metastore sebagai HMS-nya. Cluster yang Anda buat di sini menggunakan setelan default yang disediakan.

Konsol

1. Di konsol Google Cloud , buka halaman Cluster Dataproc.

   Buka Managed Service for Apache Spark Clusters

2. Di panel navigasi, pilih +Create cluster.

   Dialog Buat cluster akan terbuka dan menyediakan beberapa pilihan infrastruktur yang dapat Anda pilih.

3. Di baris Cluster on Compute Engine, pilih Create.

   Halaman Create a Managed Service for Apache Spark cluster on Compute Engine akan terbuka.

4. Di kolom Cluster Name, masukkan example-cluster.

5. Di menu Region dan Zone, pilih us-central1.

6. Untuk opsi Siapkan cluster yang tersisa, gunakan default yang disediakan.

7. Di menu navigasi, klik tab Sesuaikan cluster (opsional).

8. Di bagian Dataproc Metastore, pilih layanan metastore yang Anda buat sebelumnya.

   Jika Anda mengikuti tutorial ini apa adanya, namanya adalah example-service.

9. Untuk opsi konfigurasi layanan lainnya, gunakan default yang disediakan.

10. Untuk membuat cluster, klik Buat.

    Cluster baru Anda akan muncul dalam daftar Clusters. Status cluster menampilkan Provisioning hingga cluster siap digunakan. Setelah siap, status akan berubah menjadi Aktif. Penyediaan cluster mungkin memerlukan waktu beberapa menit.

    Catatan: Proses pembuatan cluster Managed Service for Apache Spark dapat gagal jika akun layanan Anda tidak memiliki peran yang sesuai. Untuk mengetahui informasi selengkapnya, lihat Pembuatan cluster gagal karena peran tidak memadai.

gcloud CLI

Untuk membuat cluster menggunakan setelan default yang diberikan, jalankan perintah gcloud dataproc clusters create berikut:

 gcloud dataproc clusters create example-cluster \
    --dataproc-metastore=projects/PROJECT_ID/locations/us-central1/services/example-service \
    --region=us-central1

Ganti PROJECT_ID dengan project ID project tempat Anda membuat layanan Dataproc Metastore.

Catatan: Proses pembuatan cluster Managed Service for Apache Spark dapat gagal jika akun layanan Anda tidak memiliki peran yang sesuai. Untuk mengetahui informasi selengkapnya, lihat Pembuatan cluster gagal karena peran tidak memadai.

REST

Ikuti petunjuk API untuk membuat cluster menggunakan APIs Explorer.

Menghubungkan ke Apache Hive dengan cluster Managed Service for Apache Spark

Langkah-langkah selanjutnya ini menunjukkan cara menjalankan beberapa contoh perintah di Apache Hive untuk membuat database dan tabel.

Selanjutnya, buka sesi SSH di cluster Managed Service for Apache Spark dan luncurkan sesi Hive.

1. Di konsol Google Cloud , buka halaman VM Instances.
2. Di daftar instance virtual machine, klik SSH di samping example-cluster.

Jendela browser terbuka di direktori beranda Anda di node dengan output yang mirip dengan berikut ini:

Connected, host fingerprint: ssh-rsa ...
Linux cluster-1-m 3.16.0-0.bpo.4-amd64 ...
...
example-cluster@cluster-1-m:~$

Untuk memulai Hive serta membuat database dan tabel, jalankan perintah berikut dalam sesi SSH:

1. Mulai Hive.

   hive
   

2. Buat database dengan nama myDatabase.

   create database myDatabase;
   

3. Tampilkan database yang Anda buat.

   show databases;
   

4. Gunakan database yang Anda buat.

   use myDatabase;
   

5. Buat tabel bernama myTable.

   create table myTable(id int,name string);
   

6. Mencantumkan tabel di bagian myDatabase.

   show tables;
   

7. Jelaskan skema tabel yang Anda buat.

   desc MyTable;
   

Menjalankan perintah ini akan menampilkan output yang mirip dengan berikut ini:

$hive

hive> show databases;
OK
default
hive> create database myDatabase;
OK
hive> use myDatabase;
OK
hive> create table myTable(id int,name string);
OK
hive> show tables;
OK
myTable
hive> desc myTable;
OK
id                      int
name                    string

Pembersihan

Agar akun Google Cloud Anda tidak dikenai biaya untuk resource yang digunakan pada halaman ini, ikuti langkah-langkah berikut.

Perhatian: Penghapusan project memiliki efek berikut:

• Semua hal dalam project akan dihapus. Jika Anda menggunakan project yang ada untuk mengerjakan tugas di dokumen ini, saat Anda menghapusnya, pekerjaan lain dalam project tersebut juga akan dihapus.
• Project ID kustom akan hilang. Saat membuat project ini, Anda mungkin juga membuat project ID kustom yang masih ingin digunakan pada masa mendatang. Agar tidak kehilangan URL yang menggunakan project ID tersebut, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.

Jika Anda berencana mempelajari beberapa arsitektur, tutorial atau panduan memulai, dengan menggunakan kembali project dapat membantu Anda agar tidak melampaui batas kuota project.

1. Di Konsol Google Cloud , buka halaman Manage resources.

   Buka Kelola resource

2. Jika project yang ingin Anda hapus tertaut ke organisasi, buka daftar Organization di kolom Name.
3. Pada daftar project, pilih project yang ingin Anda hapus, lalu klik Delete.
4. Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.

Atau, Anda dapat menghapus resource yang digunakan dalam tutorial ini:

1. Hapus layanan Dataproc Metastore.

   Konsol

   1. Di konsol Google Cloud , buka halaman Dataproc Metastore:

      Buka Dataproc Metastore

   2. Dalam daftar layanan, pilih example-service.

   3. Di menu navigasi, klik Hapus.

      Dialog Hapus layanan akan terbuka.

   4. Pada dialog, klik Hapus.

      Layanan Anda tidak akan muncul lagi di daftar Layanan.

   gcloud CLI

   Untuk menghapus layanan Anda, jalankan perintah gcloud metastore services delete berikut.

    gcloud metastore services delete example-service \
        --location=us-central1

   REST

   Ikuti petunjuk API untuk menghapus layanan menggunakan APIs Explorer.

   Semua penghapusan akan langsung berhasil.

2. Hapus bucket Cloud Storage untuk layanan Dataproc Metastore.

   Catatan: Menghapus layanan Dataproc Metastore tidak akan menghapus bucket-nya secara otomatis.

3. Hapus cluster Managed Service for Apache Spark yang menggunakan layanan Dataproc Metastore.

Langkah berikutnya

• Memberikan peran IAM Dataproc Metastore dasar kepada pengguna
• Mengimpor metadata ke layanan
• Ringkasan Dataproc Metastore