Memigrasikan metastore MySQL yang dikelola sendiri ke Dataproc Metastore

Memigrasikan metastore MySQL yang dikelola sendiri ke Dataproc Metastore

Halaman ini menunjukkan cara memigrasikan metastore MySQL yang dikelola sendiri secara eksternal ke Dataproc Metastore dengan membuat file dump MySQL dan mengimpor metadata ke layanan Dataproc Metastore yang ada.

Sebelum memulai

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. Enable the Dataproc Metastore API.

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   Enable the API

Peran yang Diperlukan

Untuk mendapatkan izin yang Anda perlukan guna membuat Dataproc Metastore dan mengimpor metastore MySQL, minta administrator untuk memberi Anda peran IAM berikut:

• Untuk membuat layanan dan mengimpor metadata:
  • Dataproc Metastore Editor (roles/metastore.editor) di project
  • Dataproc Metastore Admin (roles/metastore.admin) di project.
• Untuk menggunakan objek Cloud Storage (file dump SQL) untuk impor:
  • Storage Object Viewer (roles/storage.objectViewer) pada agen layanan Dataproc Metastore. Misalnya, [e-mail].
  • Storage Object Viewer (roles/storage.objectViewer) di akun pengguna.

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, baca artikel Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk membuat Dataproc Metastore dan mengimpor metastore MySQL. Untuk melihat izin yang benar-benar diperlukan, luaskan bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk membuat Dataproc Metastore dan mengimpor metastore MySQL:

• Untuk membuat layanan: metastore.services.create pada project.
• Untuk mengimpor metadata: metastore.imports.create pada project.
• Untuk menggunakan objek Cloud Storage (file dump SQL) untuk impor:
  • storage.objects.get di agen layanan Dataproc Metastore. Misalnya, [e-mail]
  • storage.objects.get di akun pengguna.

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Untuk mengetahui informasi selengkapnya tentang peran dan izin Dataproc Metastore tertentu, lihat Mengelola akses Dataproc dengan IAM.

Membuat layanan Dataproc Metastore

Petunjuk berikut menunjukkan cara membuat layanan Dataproc Metastore yang dapat menjadi tujuan migrasi file dump SQL Anda.

Konsol

1. Di konsol Google Cloud , buka halaman Create service:

   Buka Create service

   

   Halaman layanan Pembuatan Dataproc Metastore

2. Di kolom Nama layanan, masukkan example-service.

3. Pilih Data location. Untuk mengetahui informasi tentang cara memilih region, lihat Lokasi cloud.

4. Untuk opsi konfigurasi layanan lainnya, gunakan default yang disediakan.

5. Untuk membuat dan memulai layanan, klik tombol Submit.

Layanan baru Anda akan muncul dalam daftar Service.

gcloud

Jalankan perintah gcloud metastore services create berikut untuk membuat layanan:

 gcloud metastore services create example-service \
     --location=LOCATION
 

Ganti LOCATION dengan region Compute Engine tempat Anda berencana membuat layanan. Pastikan Dataproc Metastore tersedia di region tersebut.

REST

Ikuti petunjuk API untuk membuat layanan dengan menggunakan API Explorer.

Mempersiapkan untuk migrasi

Sekarang Anda harus menyiapkan metadata yang disimpan di database metastore Hive untuk diimpor dengan membuat file dump MySQL dan menempatkannya ke bucket Cloud Storage.

Lihat Menyiapkan file impor sebelum impor untuk mengetahui langkah-langkah persiapan migrasi.

Mengimpor metadata

Setelah menyiapkan file dump, impor file tersebut ke layanan Dataproc Metastore.

Lihat Mengimpor file ke Dataproc Metastore untuk mengetahui langkah-langkah mengimpor metadata ke layanan example-service Anda.

Catatan: Jika Anda menggunakan Kontrol Layanan VPC, Anda hanya dapat mengimpor data dari bucket Cloud Storage yang berada di perimeter layanan yang sama dengan layanan Dataproc Metastore.

Membuat dan melampirkan cluster Dataproc

Setelah mengimpor metadata ke layanan example-service Dataproc Metastore, buat dan lampirkan cluster Dataproc yang menggunakan layanan tersebut sebagai metastore Hive-nya.

Pembersihan

Agar akun Google Cloud Anda tidak dikenai biaya untuk resource yang digunakan pada halaman ini, ikuti langkah-langkah berikut.

Perhatian: Menghapus project memiliki efek berikut:

• Semua hal dalam project akan dihapus. Jika menggunakan project yang sudah ada untuk tugas dalam dokumen ini, saat Anda menghapusnya, pekerjaan lain yang telah Anda lakukan dalam project tersebut juga akan terhapus.
• Project ID kustom hilang. Saat membuat project ini, Anda mungkin telah membuat project ID kustom yang ingin digunakan di masa mendatang. Untuk mempertahankan URL yang menggunakan project ID, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.

Jika Anda berencana mempelajari beberapa arsitektur, tutorial atau panduan memulai, dengan menggunakan kembali project dapat membantu Anda agar tidak melampaui batas kuota project.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. If the project that you plan to delete is attached to an organization, expand the Organization list in the Name column.
3. In the project list, select the project that you want to delete, and then click Delete.
4. In the dialog, type the project ID, and then click Shut down to delete the project.

Atau, Anda dapat menghapus resource yang digunakan dalam tutorial ini:

1. Hapus layanan Dataproc Metastore.

   Konsol

   1. Di konsol Google Cloud , buka halaman Dataproc Metastore:

      Membuka Dataproc Metastore di Google Cloud konsol

   2. Di sebelah kiri nama layanan, pilih example-service dengan mencentang kotak.

   3. Di bagian atas halaman Dataproc Metastore, klik Delete untuk menghapus layanan.

   4. Pada dialog, klik Delete untuk mengonfirmasi penghapusan.

   Layanan Anda tidak akan muncul lagi dalam daftar Layanan.

   gcloud

   Jalankan perintah gcloud metastore services delete berikut untuk menghapus layanan:

    gcloud metastore services delete example-service \
        --location=LOCATION

   Ganti LOCATION dengan region Compute Engine tempat Anda membuat layanan.

   REST

   Ikuti petunjuk API untuk menghapus layanan menggunakan API Explorer.

   Semua penghapusan akan langsung berhasil.

   Catatan: Menghapus layanan itu sendiri akan menghapus semua impor bertingkat di bawah layanan tersebut.

2. Hapus bucket Cloud Storage untuk layanan Dataproc Metastore.

   Catatan: Menghapus layanan Dataproc Metastore tidak akan menghapus bucket-nya.

Langkah berikutnya

• Apa itu Dataproc Metastore?
• Mengimpor metadata ke layanan
• Melampirkan cluster Dataproc atau cluster yang dikelola sendiri