Dataproc Metastore-Dienst sichern

Auf dieser Seite wird erklärt, wie Sie eine Sicherung eines Dataproc Metastore-Dienstes erstellen.

Bei einer Sicherung wird ein Snapshot Ihres Dienstes erstellt, die aktuellen Konfigurationseinstellungen und alle gespeicherten Metadaten werden gespeichert.

Nachdem Sie eine Sicherung erstellt haben, können Sie mit der Funktion „Aus Sicherung wiederherstellen“ einen neuen Dataproc Metastore-Dienst mit den im Snapshot gespeicherten Daten füllen.

Hinweis

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Sichern eines Dataproc Metastore-Dienstes benötigen:

  • Um die vollständige Kontrolle über Dataproc Metastore-Ressourcen zu gewähren, um eine Sicherung durchzuführen, entweder:
  • Um Lese- und Änderungszugriff auf bestimmte Metadaten von Datenbanken und Tabellen zu gewähren: Dataproc Metastore-Metadatenoperator (roles/metastore.metadataOperator) für den Metadatendienst
  • Um das Cloud Storage-Objekt zu verwenden, in dem geplante Sicherungen gespeichert sind: Cloud Storage-Objektnutzer (roles/storage.objectUser) für den Dataproc Metastore-Dienst-Agent

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Sichern eines Dataproc Metastore-Dienstes erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen , um die notwendigen Berechtigungen anzuzeigen, die erforderlich sind:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind erforderlich, um einen Dataproc Metastore-Dienst zu sichern:

  • Metadatendienst sichern: metastore.backups.create
  • Cloud Storage-Objekt verwenden:
    • orgpolicy.policy.get
    • resourcemanager.projects.get
    • resourcemanager.projects.list
    • storage.managedFolders.create
    • storage.managedFolders.delete
    • storage.managedFolders.get
    • storage.managedFolders.list
    • storage.multipartUploads.*
    • storage.objects.create
    • storage.objects.delete
    • storage.objects.get
    • storage.objects.list
    • storage.objects.restore
    • storage.objects.update

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Weitere Informationen zu bestimmten Dataproc Metastore-Rollen und -Berechtigungen finden Sie unter Dataproc Metastore-IAM – Übersicht.

Überlegungen zur Sicherung

Beachten Sie vor dem Ausführen einer Sicherung Folgendes:

  • Für jeden Dataproc Metastore-Dienst können Sie bis zu sieben Sicherungen gleichzeitig erstellen und speichern. Wenn Sie versuchen, mehr als sieben Sicherungen zu erstellen, schlägt der Sicherungsvorgang fehl. Wenn Sie eine weitere Sicherung erstellen möchten, müssen Sie zuerst eine der gespeicherten Sicherungsdateien manuell löschen.
  • Während ein Sicherungsvorgang ausgeführt wird, können Sie Ihren Dataproc Metastore-Dienst nicht aktualisieren. Sie können beispielsweise keine Konfigurationseinstellungen ändern. Sie können Ihren Dienst jedoch weiterhin für normale Vorgänge verwenden, z. B. für den Zugriff auf Metadaten aus angehängten Managed Service for Apache Spark- oder selbstverwalteten Clustern.
  • Sie können geplante Sicherungen erstellen, die in verschiedenen Cron-Intervallen ausgeführt werden, z. B. täglich.

Sicherung erstellen

Führen Sie die Schritte auf einem der folgenden Tabs aus, um einen Dataproc Metastore-Dienst zu sichern:

Console

  1. Öffnen Sie in der Google Cloud Console- die Seite Dataproc Metastore:

    Dataproc Metastore öffnen

  2. Klicken Sie auf der Seite Dataproc Metastore auf den Namen des Dienstes, den Sie sichern möchten.

    Die Seite Dienstdetails wird geöffnet.

    Seite „Dienstdetails“
    Abbildung 1. Die Seite „Details zum Dataproc Metastore-Dienst“

  3. Klicken Sie oben auf der Seite auf Sichern.

    Die Seite Sichern wird geöffnet.

  4. Geben Sie den Namen der Sicherung ein.

  5. Optional: Geben Sie eine Beschreibung der Sicherung ein.

  6. Klicken Sie auf Sichern, um den Sicherungsvorgang zu starten.

    Kehren Sie zur Seite Dataproc Metastore zurück und prüfen Sie, ob Ihr Dienst erfolgreich gesichert wurde.

    Nach Abschluss der Sicherung kehrt Dataproc Metastore automatisch in den aktiven Zustand zurück, unabhängig davon, ob die Sicherung erfolgreich war oder nicht.

gcloud CLI

  1. Führen Sie den folgenden gcloud metastore services backups create Befehl aus, um einen Dataproc Metastore-Dienst zu sichern:

    gcloud metastore services backups create BACKUP \
    --location=LOCATION \
    --service=SERVICE \
    --description=DESCRIPTION

    Ersetzen Sie Folgendes:

    • BACKUP: die ID oder voll qualifizierte Kennzeichnung für die Sicherung.
    • LOCATION: die Google Cloud Region, in der sich Ihr Dataproc Metastore-Dienst befindet.
    • SERVICE: der Name Ihres Dataproc Metastore-Dienstes.
    • DESCRIPTION: eine Beschreibung Ihrer Sicherung.

  2. Prüfen Sie, ob Ihr Dienst erfolgreich gesichert wurde.

    Nach Abschluss der Sicherung kehrt Dataproc Metastore automatisch in den aktiven Zustand zurück, unabhängig davon, ob die Sicherung erfolgreich war oder nicht.

REST

Folgen Sie der API-Anleitung zum Sichern von Metadaten aus einem Dienst mit dem APIs Explorer.

Nach Abschluss der Sicherung kehrt Dataproc Metastore automatisch in den aktiven Zustand zurück, unabhängig davon, ob die Sicherung erfolgreich war oder nicht.

Sicherungsverlauf ansehen

So rufen Sie den Sicherungsverlauf eines Dataproc Metastore-Dienstes in der Google Cloud Console auf:

  1. Öffnen Sie in der Google Cloud Console die Dataproc Metastore Seite.

  2. Klicken Sie in der Navigationsleiste auf Sichern/Wiederherstellen.

    Ihr Sicherungsverlauf wird in einer Tabelle unter Sicherungen angezeigt.

    Im Verlauf werden die letzten sieben Sicherungen angezeigt.

    Wenn Sie einen Dataproc Metastore-Dienst löschen, wird auch der gesamte zugehörige Sicherungsverlauf gelöscht.

Sicherung löschen

So löschen Sie eine Dataproc Metastore-Sicherung in der Google Cloud Console: Führen Sie die folgenden Schritte aus:

  1. Öffnen Sie in der Google Cloud Console die Seite „Dataproc Metastore“.
  2. Klicken Sie in der Navigationsleiste auf Sichern/Wiederherstellen.
  3. Suchen Sie die Sicherung, die Sie löschen möchten, und klicken Sie auf die Schaltfläche „Einstellungen“.
  4. Klicken Sie auf Löschen.

Sicherung planen

Sicherungen können so geplant werden, dass sie in vom Nutzer angegebenen Cron-Job Intervallen ausgeführt werden, z. B. täglich, wöchentlich oder monatlich. Ein Cron-Zeitplan verwendet das Unix-Cron-Stringformat (* * * * *), das aus fünf Feldern in einer Zeile besteht, die angeben, wann der Job ausgeführt werden soll.

Sie können beispielsweise ein benutzerdefiniertes Intervall festlegen, um jede Woche eine Sicherung zu erstellen, z. B. jeden Mittwoch um 14:00 Uhr PST.

Überlegungen zu geplanten Sicherungen

  • Für geplante Sicherungen muss ein Sicherungsspeicherort angegeben werden, der ein Cloud Storage-Pfad sein muss.
  • Geplante Sicherungen werden immer im Avro-Dateiformat erstellt.
  • Geplante Sicherungen werden standardmäßig in der Zeitzone UTC konfiguriert. Sie können die Zeitzone ändern, wenn Sie die Sicherung zum ersten Mal erstellen.
  • Geplante Sicherungen können so festgelegt werden, dass sie in stündlichen, täglichen, wöchentlichen oder monatlichen Intervallen ausgeführt werden. Das kleinste stündliche Intervall, das Sie festlegen können, beträgt vier Stunden.

Geplante Sicherung erstellen

Sicherungszeitpläne können festgelegt werden, wenn Sie Ihren Dienst zum ersten Mal erstellen, oder später hinzugefügt werden, wenn Sie Ihren Dienst aktualisieren.

Führen Sie die Schritte auf einem der folgenden Tabs aus, um einen Dataproc Metastore-Dienst 2 mit einer geplanten Sicherung zu erstellen:

Console

  1. Öffnen Sie in der Google Cloud Console- die Dataproc Metastore Seite.

  2. Klicken Sie oben auf der Seite Dataproc Metastore auf die Schaltfläche Erstellen.

    Die Seite Dienst erstellen wird geöffnet.

  3. Wählen Sie Dataproc Metastore 2 aus.

  4. Setzen Sie unter Geplante Sicherungen den Schalter auf Aktivieren.

  5. Wählen Sie unter Speicherort den Cloud Storage-Speicherort aus, an dem Sie die geplante Sicherung speichern möchten.

  6. Optional: Wählen Sie unter „Zeitplan“ Folgendes aus:

    1. Wählen Sie unter Wiederholung die Wiederholung aus, z. B. Täglich oder Wöchentlich.
    2. Wählen Sie unter Uhrzeit die Uhrzeit für die Wiederholung aus, z. B. 00:00 Uhr.
    3. Wählen Sie unter Zeitzone die entsprechende Zeitzone aus, z. B. UTC-8.

  7. Übernehmen Sie für die übrigen Optionen der Dienstkonfiguration die angegebenen Standardeinstellungen.

  8. Klicken Sie auf Senden.

gcloud CLI

  1. Führen Sie den folgenden gcloud metastore services backups create Befehl aus, um eine Sicherung eines Dataproc Metastore-Dienstes zu planen:

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --enable-scheduled-backup \
   --scheduled-backup-cron=SCHEDULED_BACKUP_CRON \
   --scheduled-backup-location=SCHEDULED_BACKUP_LOCATION

    Ersetzen Sie Folgendes:

    • SERVICE: die ID oder voll qualifizierte Kennzeichnung für die Sicherung.
    • LOCATION: die Google Cloud Region, in der sich Ihr Dataproc Metastore-Dienst befindet.
    • SCHEDULED_BACKUP_CRON: die Häufigkeit Ihrer Sicherung im Cron-Zeitformat. Ein Cron-Wert von 0 0 * * * plant beispielsweise eine tägliche Sicherung.
    • SCHEDULED_BACKUP_LOCATION: der Cloud Storage-Speicherort Ihrer Sicherung. Beispiel: gs://my-bucket/path/to/location.

    oder

    Sie können auch eine Sicherung planen, indem Sie die vorherigen Werte in einer Konfigurationsdatei speichern:

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --scheduled-backup-configs-from-file=SCHEDULED_BACKUP_CONFIGS_FROM_FILE

    Ersetzen Sie Folgendes:

    • SCHEDULED_BACKUP_CONFIGS_FROM_FILE: ein Pfad zu einer JSON-Datei mit den Konfigurationswerten für die Sicherung enabled, cron_schedule, time_zone und backup_location.

    Das folgende Beispiel zeigt eine Sicherungskonfigurationsdatei, die geplante Sicherungen aktiviert, den Sicherungszeitplan auf jede Stunde festlegt, die Zeitzone als PST angibt und den Sicherungsspeicherort als Cloud Storage-Bucket definiert. Sie können Zeitzonen aus der Liste der gängigen Zeitzonen der tz-Datenbank auswählen.

    {
"enabled": true,
"cron_schedule": "0 0 * * *",
"time_zone": "PST",
"backup_location": "gs://my-bucket/path/to/location"
}

REST

Folgen Sie der API-Anleitung zum Erstellen einer geplanten Sicherung mit dem APIs Explorer.

Geplante Sicherung aktualisieren

Führen Sie die Schritte auf einem der folgenden Tabs aus, um einen Dataproc Metastore-Dienst 2 zu aktualisieren, der mit einer geplanten Sicherung konfiguriert wurde:

Console

  1. Öffnen Sie in der Google Cloud Console- die Dataproc Metastore Seite.

  2. Klicken Sie auf der Seite Dataproc Metastore auf den Namen des Dienstes, für den Sie eine Sicherung planen möchten.

  3. Setzen Sie unter Geplante Sicherungen den Schalter auf Aktivieren.

  4. Wählen Sie unter Speicherort den Cloud Storage-Speicherort aus, an dem Sie die geplante Sicherung speichern möchten.

  5. Optional: Wählen Sie unter Zeitplan Werte für die folgenden Felder aus:

    1. Wählen Sie unter Wiederholung die Wiederholung aus, z. B. Täglich oder Wöchentlich.
    2. Wählen Sie unter Uhrzeit die Uhrzeit für die Wiederholung aus, z. B. 00:00 Uhr.
    3. Wählen Sie unter Zeitzone die entsprechende Zeitzone aus, z. B. UTC-8.

gcloud CLI

  1. Führen Sie den folgenden gcloud metastore services backups update Befehl aus, um eine Sicherung eines Dataproc Metastore-Dienstes zu planen:

    gcloud metastore services update SERVICE \
   --location=LOCATION \
   --enable-scheduled-backup \
   --scheduled-backup-cron=SCHEDULED_BACKUP_CRON \
   --scheduled-backup-location=SCHEDULED_BACKUP_LOCATION \

    Ersetzen Sie Folgendes:

    • SERVICE: die ID oder voll qualifizierte Kennzeichnung für die geplante Sicherung.
    • LOCATION: die Google Cloud Region, in der sich Ihr Dataproc Metastore-Dienst befindet.
    • SCHEDULED_BACKUP_CRON: die Häufigkeit Ihrer Sicherung im Cron-Zeitformat. Ein Cron-Wert von 0 0 * * * plant beispielsweise eine tägliche Sicherung.
    • SCHEDULED_BACKUP_LOCATION: der Cloud Storage-Speicherort Ihrer geplanten Sicherung. Beispiel: gs://my-bucket/path/to/location.

    Sie können eine geplante Sicherung auch mit den vorherigen Werten aktualisieren, die in einer Konfigurationsdatei gespeichert sind:

    gcloud metastore services update SERVICE \
   --location=LOCATION \
   --scheduled-backup-configs-from-file=SCHEDULED_BACKUP_CONFIGS_FROM_FILE

    Ersetzen Sie Folgendes:

    • SCHEDULED_BACKUP_CONFIGS_FROM_FILE: ein Pfad zu einer JSON-Datei mit der Sicherungskonfiguration.

    Das folgende Beispiel zeigt eine Sicherungskonfigurationsdatei, die eine geplante Sicherung deaktiviert.

    {
"enabled": false,
}

REST

Folgen Sie der API-Anleitung zum Aktualisieren einer geplanten Sicherung mit dem APIs Explorer.

Geplante Sicherung ansehen

Führen Sie die Schritte auf einem der folgenden Tabs aus, um einen Dataproc Metastore-Dienst 2 anzusehen, der mit einer geplanten Sicherung konfiguriert wurde:

Console

  1. Öffnen Sie in der Google Cloud Console- die Dataproc Metastore Seite.

  2. Klicken Sie oben auf der Seite auf Sichern.

    Die Seite Sichern wird geöffnet und zeigt Ihre geplanten Sicherungen an. Die Sicherungen werden in dem Cloud Storage-Bucket gespeichert, den Sie in der Konfiguration der geplanten Sicherung angegeben haben.

gcloud CLI

  1. Führen Sie den folgenden Befehl gcloud storage ls aus:

    gcloud storage ls gs://BUCKET_NAME/SERVICE/LOCATION

    Ersetzen Sie Folgendes:

    • BUCKET_NAME: der Pfad zum Cloud Storage-Bucket, in dem die geplante Sicherung gespeichert ist, die Sie ansehen möchten.
    • SERVICE: die ID oder voll qualifizierte Kennzeichnung für die geplante Sicherung.
    • LOCATION: die Google Cloud Region, in der sich Ihr Dataproc Metastore-Dienst befindet.

REST

Folgen Sie der API-Anleitung zum Ansehen einer geplanten Sicherung mit dem APIs Explorer.

Häufige Probleme beheben

Nächste Schritte