Memulihkan Metastore Dataproc dari cadangan

Halaman ini menjelaskan cara memulihkan layanan Dataproc Metastore dari cadangan.

Cadangan adalah snapshot setelan konfigurasi dan metadata yang disimpan dalam layanan Dataproc Metastore. Anda dapat menggunakan fitur pemulihan untuk menyiapkan layanan Dataproc Metastore baru dengan cepat menggunakan data yang sebelumnya disimpan dalam cadangan.

Sebelum memulai

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk memulihkan layanan Dataproc Metastore dari cadangan, minta administrator untuk memberi Anda peran IAM berikut:

  • Untuk memberikan kontrol penuh atas resource Dataproc Metastore guna menyelesaikan pencadangan, berikan salah satu peran berikut:
  • Untuk menggunakan objek Cloud Storage yang menyimpan cadangan terjadwal: Cloud Storage Object User (roles/storage.objectUser) pada agen layanan Dataproc Metastore

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk memulihkan layanan Dataproc Metastore dari cadangan. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk memulihkan layanan Dataproc Metastore dari cadangan:

  • Untuk memulihkan layanan metadata: metastore.services.restore, metastore.backups.use
  • Untuk menggunakan objek Cloud Storage:
    • orgpolicy.policy.get
    • resourcemanager.projects.get
    • resourcemanager.projects.list
    • storage.managedFolders.create
    • storage.managedFolders.delete
    • storage.managedFolders.get
    • storage.managedFolders.list
    • storage.multipartUploads.*
    • storage.objects.create
    • storage.objects.delete
    • storage.objects.get
    • storage.objects.list
    • storage.objects.restore
    • storage.objects.update

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Untuk mengetahui informasi selengkapnya tentang peran dan izin Dataproc Metastore tertentu, lihat Ringkasan IAM Dataproc Metastore.

Tentang pemulihan dari cadangan

Saat memulihkan layanan dari cadangan, Anda dapat memilih salah satu opsi berikut:

  • Memulihkan semua metadata dan setelan konfigurasi yang disimpan dalam cadangan.

  • Memulihkan semua metadata, tetapi tidak memulihkan setelan konfigurasi yang disimpan dalam cadangan. Sebagai gantinya, layanan Anda akan mempertahankan setelan konfigurasi saat ini.

    Setelan konfigurasi mencakup parameter Dataproc Metastore seperti nama layanan, nomor port, dan setelan jaringan. Metadata mencakup semua informasi database dan tabel yang disimpan dalam layanan Dataproc Metastore.

Pertimbangan

  • Saat operasi pemulihan berjalan, Anda tidak dapat mengupdate layanan Anda. Misalnya, Anda tidak dapat mengubah setelan konfigurasi. Namun, Anda masih dapat menggunakan layanan untuk operasi normal, seperti menggunakannya untuk mengakses metadatanya dari Managed Service untuk Apache Spark terlampir atau cluster yang dikelola sendiri.

  • Label Dataproc Metastore tidak dipulihkan.

  • Data yang disimpan di direktori warehouse tidak dipulihkan.

  • Pemulihan dari cadangan tidak memulihkan atau mengganti kebijakan IAM terperinci.

  • Pemulihan dari cadangan terjadwal mengharuskan cadangan Anda berada di bucket Cloud Storage.

Memulihkan dari cadangan

Untuk memulihkan layanan Dataproc Metastore dari cadangan, selesaikan langkah-langkah berikut.

  • Jika menggunakankonsol, Anda hanya dapat memulihkan metadata dari cadangan yang dibuat di project dan region yang sama dengan layanan baru Anda. Google Cloud

  • Jika menggunakan Google Cloud CLI atau Dataproc Metastore API, Anda dapat memulihkan metadata dari cadangan yang dibuat di project dan region yang berbeda (cadangan lintas layanan).

Konsol

  1. Dikonsol, buka halaman Dataproc Metastore: Google Cloud

    Buka Dataproc Metastore

  2. Di halaman Dataproc Metastore, klik nama layanan yang ingin Anda pulihkan dari cadangan.

    Halaman Detail layanan akan terbuka.

    Halaman detail layanan
    Gambar 1. Halaman detail layanan Dataproc Metastore

  3. Untuk melihat cadangan Anda, klik tab Backup/Restore.

  4. Pilih cadangan yang ingin Anda gunakan. Untuk melakukannya, klik ikon menu lalu pilih Restore.

    Halaman Restore akan terbuka.

    Anda juga dapat memulihkan layanan di halaman Detail cadangan. Untuk melakukannya, klik nama cadangan, lalu klik Restore.

  5. Pilih operasi pemulihan yang sesuai:

    • Restore metastore data. Memulihkan semua metadata, tetapi tidak memulihkan setelan konfigurasi yang disimpan dalam cadangan
    • Restore metastore data and service configuration. Memulihkan semua metadata dan semua setelan konfigurasi yang disimpan dalam cadangan.

  6. Untuk mengupdate layanan, klik Restore.

    Kembali ke halaman Dataproc Metastore, lalu pastikan layanan Anda berhasil dicadangkan.

    Setelah pemulihan selesai, Dataproc Metastore akan otomatis kembali ke status aktif, terlepas dari apakah pemulihan berhasil atau tidak.

gcloud CLI

  1. Untuk memulihkan layanan Dataproc Metastore, jalankan perintah gcloud metastore services restore berikut:

    gcloud metastore services restore SERVICE  \
    --project=PROJECT_ID \
    --location=LOCATION \
    --backup=BACKUP \
    --restore-type=RESTORE_TYPE \
    --backup-location=BACKUP_LOCATION

    Ganti kode berikut:

    • SERVICE: nama layanan Dataproc Metastore Anda.
    • PROJECT_ID: project ID project tempat layanan Dataproc Metastore Anda berada. Google Cloud
    • LOCATION: region tempat layanan Dataproc Metastore Anda berada. Google Cloud
    • BACKUP: Opsional: ID file cadangan yang Anda pulihkan. Nilai ini dapat berupa ID cadangan, URL yang sepenuhnya memenuhi syarat, atau nama relatif dalam format berikut: projects/{project_id}/locations/{location_id}/services/{service_id}/backups/{backup_id}.
    • RESTORE_TYPE: jenis operasi pemulihan yang akan dilakukan. Nilai yang diterima mencakup metadata-only atau full. Nilai defaultnya adalah metadata-only.
    • BACKUP_LOCATION: Opsional: Lokasi Cloud Storage cadangan terjadwal Anda. Contoh: gs://my-bucket/path/to/location.

  2. Pastikan operasi pemulihan berhasil.

    Setelah pemulihan selesai, Dataproc Metastore akan otomatis kembali ke status aktif, terlepas dari apakah pemulihan berhasil atau tidak.

REST

Ikuti petunjuk API untuk memulihkan metadata ke dalam layanan menggunakan API Explorer.

Setelah pemulihan selesai, Dataproc Metastore akan otomatis kembali ke status aktif, terlepas dari apakah pemulihan berhasil atau tidak.

Melihat histori pemulihan

Untuk melihat histori pemulihan layanan Dataproc Metastore di konsol Google Cloud , selesaikan langkah-langkah berikut:

  1. Dikonsol Google Cloud konsol, buka halaman Dataproc Metastore.

  2. Di menu navigasi, klik Backup/Restore.

    Histori pemulihan Anda akan muncul dalam tabel di bagian Restore.

    Histori ini menampilkan hingga 25 pemulihan terbaru yang Anda selesaikan.

    Menghapus layanan Dataproc Metastore juga akan menghapus semua histori pemulihan terkait.

Memecahkan masalah umum

Langkah berikutnya