Selbstverwalteten MySQL-Metastore zu Dataproc Metastore migrieren

Selbstverwalteten MySQL-Metastore zu Dataproc Metastore migrieren

Auf dieser Seite erfahren Sie, wie Sie Ihren externen selbstverwalteten MySQL-Metastore zu Dataproc Metastore migrieren. Dazu erstellen Sie eine MySQL-Dumpdatei und importieren die Metadaten in einen vorhandenen Dataproc Metastore-Dienst.

Hinweis

Melden Sie sich in Ihrem Google Cloud -Konto an. Wenn Sie noch kein Google Cloud-Nutzer sind, erstellen Sie ein Konto, um zu sehen, wie sich unsere Produkte in realen Szenarien schlagen. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. Aktivieren Sie die Dataproc Metastore API.

   Rollen, die zum Aktivieren von APIs erforderlich sind

   Zum Aktivieren von APIs benötigen Sie die IAM-Rolle „Service Usage-Administrator“ (roles/serviceusage.serviceUsageAdmin), die die Berechtigung serviceusage.services.enable enthält. Informationen zum Zuweisen von Rollen.

   API aktivieren

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Erstellen eines Dataproc Metastore und zum Importieren eines MySQL-Metastore benötigen:

• So erstellen Sie einen Dienst und importieren Metadaten:
  • Dataproc Metastore-Bearbeiter (roles/metastore.editor) für das Projekt
  • Dataproc Metastore-Administrator (roles/metastore.admin) für das Projekt
• So verwenden Sie das Cloud Storage-Objekt (SQL-Dumpdatei) für den Import:
  • Storage Object Viewer (roles/storage.objectViewer) für den Dataproc Metastore-Dienst-Agenten Beispiel: [e-mail]
  • Storage Object Viewer (roles/storage.objectViewer) für das Nutzerkonto

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Erstellen eines Dataproc Metastore und zum Importieren eines MySQL-Metastore erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen , um die notwendigen Berechtigungen anzuzeigen, die erforderlich sind:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind zum Erstellen eines Dataproc Metastore und zum Importieren eines MySQL-Metastore erforderlich:

• So erstellen Sie einen Dienst: metastore.services.create für das Projekt.
• So importieren Sie Metadaten: metastore.imports.create für das Projekt.
• So verwenden Sie das Cloud Storage-Objekt (SQL-Dumpdatei) für den Import:
  • storage.objects.get für den Dataproc Metastore-Dienst-Agenten Beispiel: [e-mail]
  • storage.objects.get für das Nutzerkonto

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Weitere Informationen zu bestimmten Dataproc Metastore-Rollen und -Berechtigungen finden Sie unter Zugriff auf Managed Service for Apache Spark mit IAM verwalten.

Dataproc Metastore-Dienst erstellen

In der folgenden Anleitung wird gezeigt, wie Sie einen Dataproc Metastore-Dienst erstellen, zu dem Sie Ihre SQL-Dumpdatei migrieren können.

Console

1. Öffnen Sie in der Google Cloud Console- die Seite Dienst erstellen:

   Zur Seite „Dienst erstellen“

   

   Die Seite „Dienst erstellen“ von Dataproc Metastore

2. Geben Sie im Feld Name des Dienstes example-service ein.

3. Wählen Sie den Speicherort der Daten aus. Informationen zum Auswählen einer Region finden Sie unter Cloud-Standorte.

4. Übernehmen Sie für die anderen Optionen der Dienstkonfiguration die angegebenen Standardeinstellungen.

5. Klicken Sie auf den Button Senden, um den Dienst zu erstellen und zu starten.

Ihr neuer Dienst wird in der Liste „Dienste“ angezeigt.

gcloud

Führen Sie den folgenden Befehl gcloud metastore services create aus, um einen Dienst zu erstellen:

 gcloud metastore services create example-service \
     --location=LOCATION
 

Ersetzen Sie LOCATION durch die Compute Engine-Region , in der Sie den Dienst erstellen möchten. Prüfen Sie, ob Dataproc Metastore verfügbar ist in der Region.

REST

Folgen Sie der API-Anleitung zum Erstellen eines Dienstes mit dem APIs Explorer.

Migration vorbereiten

Sie müssen jetzt die in Ihrer Hive-Metastore-Datenbank gespeicherten Metadaten für den Import vorbereiten. Erstellen Sie dazu eine MySQL-Dumpdatei und platzieren Sie sie in einem Cloud Storage-Bucket.

Unter Importdateien vor dem Import vorbereiten finden Sie eine Anleitung zur Vorbereitung auf die Migration.

Metadaten importieren

Nachdem Sie die Dumpdatei vorbereitet haben, importieren Sie sie in Ihren Dataproc Metastore-Dienst.

Unter Dateien in Dataproc Metastore importieren finden Sie eine Anleitung zum Importieren Ihrer Metadaten in den Dienst example-service.

**Hinweis**: Wenn Sie VPC Service Controls verwenden, können Sie nur Daten aus Cloud Storage-Bucket importieren, die sich im selben Dienstperimeter wie der Dataproc Metastore-Dienst befinden.

Managed Service for Apache Spark-Cluster erstellen und anhängen

Nachdem Sie die Metadaten in den Dataproc Metastore example-service Dienst importiert haben, erstellen Sie einen Managed Service for Apache Spark-Cluster und hängen Sie ihn an , der den Dienst als Hive-Metastore verwendet.

Bereinigen

Mit den folgenden Schritten vermeiden Sie, dass Ihrem Google Cloud -Konto die auf dieser Seite verwendeten Ressourcen in Rechnung gestellt werden:

Achtung: Das Löschen eines Projekts hat folgende Auswirkungen:

• Alle Inhalte des Projekts werden gelöscht. Wenn Sie für die Aufgaben in diesem Dokument ein bereits bestehendes Projekt verwendet haben und dieses löschen, werden auch alle anderen im Rahmen des Projekts erstellten Daten gelöscht.
• Benutzerdefinierte Projekt-IDs gehen verloren. Beim Erstellen dieses Projekts haben Sie möglicherweise eine benutzerdefinierte Projekt-ID erstellt, die Sie weiterhin verwenden möchten. Damit die URLs, die die Projekt-ID nutzen, z. B. eine appspot.com-URL, erhalten bleiben, sollten Sie ausgewählte Ressourcen innerhalb des Projekts löschen, statt das gesamte Projekt.

Wenn Sie mehrere Architekturen, Anleitungen und Kurzanleitungen durcharbeiten möchten, können Sie die Überschreitung von Projektkontingenten verhindern, indem Sie Projekte wiederverwenden.

1. Wechseln Sie in der Google Cloud -Console zur Seite Ressourcen verwalten.

   Zur Seite „Ressourcen verwalten“

2. Wenn das Projekt, das Sie löschen möchten, an eine Organisation geknüpft ist, maximieren Sie in der Spalte Name die Liste Organisation.
3. Wählen Sie in der Projektliste das Projekt aus, das Sie löschen möchten, und klicken Sie dann auf Löschen.
4. Geben Sie im Dialogfeld die Projekt-ID ein und klicken Sie auf Shut down (Herunterfahren), um das Projekt zu löschen.

Alternativ können Sie die Ressourcen löschen, die in dieser Anleitung verwendet werden:

1. Löschen Sie den Dataproc Metastore-Dienst.

   Console

   1. Öffnen Sie in der Google Cloud Console- die Seite „Dataproc Metastore“:

      Dataproc Metastore in der Google Cloud Console öffnen

   2. Klicken Sie links neben dem Dienstnamen auf das Kästchen für example-service.

   3. Klicken Sie oben auf der Seite Dataproc Metastore auf Löschen, um den Dienst zu löschen.

   4. Klicken Sie im Dialogfeld auf Löschen, um den Löschvorgang zu bestätigen.

   Ihr Dienst wird nicht mehr in der Liste „Dienste“ angezeigt.

   gcloud

   Führen Sie den folgenden Befehl gcloud metastore services delete aus, um einen Dienst zu löschen:

    gcloud metastore services delete example-service \
        --location=LOCATION

   Ersetzen Sie LOCATION durch die Compute Engine Region, in der Sie den Dienst erstellt haben.

   REST

   Folgen Sie der API-Anleitung, um einen Dienst mithilfe des APIs Explorers zu löschen.

   Alle Löschvorgänge werden sofort ausgeführt.

   Hinweis: Wenn Sie den Dienst selbst löschen, werden alle verschachtelten Importe unter diesem Dienst gelöscht.

2. Löschen Sie den Cloud Storage-Bucket für den Dataproc Metastore-Dienst.

   Hinweis: Durch das Löschen des Dataproc Metastore-Dienstes wird nicht der zugehörige Bucket gelöscht.

Nächste Schritte

• Was ist Dataproc Metastore?
• Metadaten in einen Dienst importieren
• Managed Service for Apache Spark-Cluster oder selbstverwalteten Cluster anhängen