Metadaten in Dataproc Metastore importieren

Auf dieser Seite wird erläutert, wie Sie Metadaten in einen Dataproc Metastore-Dienst importieren.

Mit der Funktion zum Importieren von Metadaten können Sie einen vorhandenen Dataproc Metastore-Dienst mit Metadaten füllen, die in einem portablen Speicherformat gespeichert sind.

Diese portablen Metadaten werden in der Regel aus einem anderen Dataproc Metastore-Dienst oder aus einem selbstverwalteten Hive-Metastore (HMS) exportiert.

Metadaten importieren

Sie können die folgenden Dateiformate in Dataproc Metastore importieren:

  • Eine Reihe von Avro-Dateien, die in einem Ordner gespeichert sind.
  • Eine einzelne MySQL-Dumpdatei, die in einem Cloud Storage-Ordner gespeichert ist.

Die MySQL- oder Avro-Dateien, die Sie importieren, müssen aus einer relationalen Datenbank generiert werden.

Wenn Ihre Dateien ein anderes Format haben, z. B. PostgreSQL, müssen Sie sie in das Avro- oder MySQL-Format konvertieren. Nach der Konvertierung können Sie sie in Dataproc Metastore importieren.

Avro

Avro-basierte Importe werden nur für Hive-Versionen 2.3.6 und 3.1.2 unterstützt. Beim Importieren von Avro-Dateien erwartet Dataproc Metastore eine Reihe von <table-name>.avro Dateien für jede Tabelle in Ihrer Datenbank.

Für den Import von Avro-Dateien kann Ihr Dataproc Metastore-Dienst den MySQL- oder Spanner-Datenbanktyp verwenden.

MySQL

MySQL-basierte Importe werden für alle Hive-Versionen unterstützt. Beim Importieren von MySQL-Dateien erwartet Dataproc Metastore eine einzelne SQL-Datei mit allen Tabelleninformationen. MySQL-Dumps, die aus einem Managed Service for Apache Spark-Cluster mit nativem SQL stammen, werden ebenfalls unterstützt.

Für den Import von MySQL-Dateien muss Ihr Dataproc Metastore-Dienst den MySQL-Datenbanktyp verwenden. Der Spanner-Datenbanktyp unterstützt keine MySQL-Importe.

Überlegungen zum Import

  • Beim Importieren werden alle vorhandenen Metadaten überschrieben, die in einem Dataproc Metastore-Dienst gespeichert sind.

  • Mit der Funktion zum Importieren von Metadaten werden nur Metadaten importiert. Daten, die von Apache Hive in internen Tabellen erstellt wurden, werden beim Import nicht repliziert.

  • Beim Importieren wird der Datenbankinhalt nicht transformiert und es erfolgt keine Dateimigration. Wenn Sie die Daten an einen anderen Speicherort verschieben, müssen Sie die Speicherorte und das Schema der Tabellendaten in Ihrem Dataproc Metastore-Dienst manuell aktualisieren.

  • Beim Importieren werden keine detaillierten IAM-Richtlinien wiederhergestellt oder ersetzt.

  • Wenn Sie VPC Service Controls nutzen, dann können Sie nur Daten aus Cloud Storage-Bucket importieren, die sich im selben Dienstperimeter wie der Dataproc Metastore-Dienst befinden.

Hinweis

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Importieren von Metadaten in Dataproc Metastore benötigen:

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Importieren von Metadaten in Dataproc Metastore erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen , um die notwendigen Berechtigungen anzuzeigen, die erforderlich sind:

Erforderliche Berechtigungen

Zum Importieren von Metadaten in Dataproc Metastore sind die folgenden Berechtigungen erforderlich:

  • Zum Importieren von Metadaten: metastore.imports.create für den Metastore-Dienst.
  • Wenn Sie das Cloud Storage-Objekt (SQL-Dumpdatei) für den Import verwenden möchten, weisen Sie Ihrem Nutzerkonto und dem Dataproc Metastore-Dienst-Agent die Berechtigung storage.objects.get für den Cloud Storage-Bucket zu, der den zu importierenden Metadaten-Dump enthält.
  • Wenn Sie den Cloud Storage-Bucket für den Import verwenden möchten, weisen Sie Ihrem Nutzerkonto und dem Dataproc Metastore-Dienst-Agent die Berechtigung storage.objects.get für den Cloud Storage-Bucket zu, der den zu importierenden Metadaten-Dump enthält.

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Weitere Informationen zu bestimmten Dataproc Metastore-Rollen und -Berechtigungen finden Sie unter Dataproc Metastore-IAM – Übersicht.

Metadaten importieren

Der Importvorgang besteht aus zwei Schritten. Zuerst bereiten Sie die Importdateien vor und importieren sie dann in Dataproc Metastore.

Wenn Sie einen Import starten, führt Dataproc Metastore eine Hive-Metadatenschema-Validierung durch. Bei dieser Validierung werden die Tabellen in der SQL-Dumpdatei und die Dateinamen für Avro geprüft. Fehlt eine Tabelle, schlägt der Import mit einer Fehlermeldung fehl, die die fehlende Tabelle beschreibt.

Mit dem Dataproc Metastore Toolkit können Sie die Kompatibilität von Hive-Metadaten vor einem Import prüfen.

Importdateien vor dem Import vorbereiten

Bevor Sie Ihre Dateien in Dataproc Metastore importieren können, müssen Sie die Metadaten-Dumpdateien in Cloud Storage kopieren, z. B. in Ihren Cloud Storage-Artefakt Bucket.

Dateien nach Cloud Storage verschieben

  1. Erstellen Sie einen Datenbank-Dump der externen Datenbank, die Sie in Dataproc Metastore importieren möchten.

    Eine Anleitung zum Erstellen eines Datenbank-Dumps finden Sie auf den folgenden Seiten:

  2. Laden Sie die Dateien in Cloud Storage hoch.

    Notieren Sie sich den Cloud Storage-Pfad, in den Sie die Dateien hochladen. Sie benötigen ihn später für den Import.

    • Wenn Sie MySQL-Dateien importieren, laden Sie die SQL-Datei in einen Cloud Storage-Bucket hoch.

    • Wenn Sie Avro-Dateien importieren, laden Sie die Dateien in einen Cloud Storage-Ordner hoch.

      • Ihr Avro-Import sollte für jede Hive-Tabelle eine Avro-Datei enthalten, auch wenn die Tabelle leer ist.
      • Die Avro-Dateinamen müssen dem Format <table-name>.avro entsprechen. Der <table-name> muss in Großbuchstaben geschrieben sein. Beispiel: AUX_TABLE.avro.

Dateien in Dataproc Metastore importieren

Lesen Sie vor dem Importieren von Metadaten die Import Überlegungen.

Während ein Import ausgeführt wird, können Sie einen Dataproc Metastore-Dienst nicht aktualisieren, z. B. Konfigurationseinstellungen ändern. Sie können ihn jedoch weiterhin für normale Vorgänge verwenden, z. B. um von angehängten Managed Service for Apache Spark- oder selbstverwalteten Clustern aus auf die Metadaten zuzugreifen.

Console

  1. Öffnen Sie in der Google Cloud Console- die Seite Dataproc Metastore:

    Dataproc Metastore öffnen

  2. Klicken Sie auf der Seite Dataproc Metastore auf den Namen des Dienstes, in den Sie Metadaten importieren möchten.

    Die Seite Dienstdetails wird geöffnet.

    Seite „Dienstdetails“
    Abbildung 1 Die Seite „Dienstdetails“ von Dataproc Metastore.

  3. Klicken Sie in der Navigationsleiste auf Importieren.

    Das Dialogfeld Importieren wird geöffnet.

  4. Geben Sie den Importnamen ein.

  5. Wählen Sie im Abschnitt Ziel entweder MySQL oder Avro aus.

  6. Klicken Sie im Feld Ziel-URI auf Durchsuchen und wählen Sie den Cloud Storage-URI aus, in den Sie die Dateien importieren möchten.

    Sie können den Speicherort des Buckets auch manuell in das Textfeld eingeben. Verwenden Sie das folgende Format: bucket/object oder bucket/folder/object.

  7. Optional: Geben Sie eine Beschreibung des Imports ein.

    Sie können die Beschreibung auf der Seite Dienstdetails bearbeiten.

  8. Klicken Sie auf Importieren, um den Dienst zu aktualisieren.

    Nach Abschluss des Imports wird er auf der Seite Dienstdetails auf dem Tab Import/Export in einer Tabelle angezeigt.

gcloud CLI

  1. Führen Sie den folgenden gcloud metastore services import gcs Befehl aus, um Metadaten zu importieren:

    gcloud metastore services import gcs SERVICE_ID \
  --location=LOCATION \
  --import-id=IMPORT_ID \
  --description=DESCRIPTION \
  --dump-type=DUMP_TYPE \
  --database-dump=DATABASE_DUMP

    Ersetzen Sie Folgendes:

    • SERVICE_ID: die ID oder der vollständig qualifizierte Name Ihres Dataproc Metastore-Dienstes.
    • LOCATION: die Google Cloud Region, in der sich Ihr Dataproc Metastore-Dienst befindet.
    • IMPORT_ID: eine ID oder ein vollständig qualifizierter Name für Ihren Metadatenimport. Beispiel: import1.
    • DESCRIPTION: Optional: Eine Beschreibung des Imports. Sie können diese später mit gcloud metastore services imports update IMPORT bearbeiten.
    • DUMP_TYPE: der Typ der externen Datenbank, die Sie importieren. Zulässige Werte sind mysql und avro. Der Standardwert ist mysql.
    • DATABASE_DUMP: der Pfad zu Cloud Storage mit den Datenbankdateien. Dieser Pfad muss mit gs:// beginnen. Geben Sie für Avro den Pfad zum Ordner an, in dem die Avro-Dateien gespeichert sind (der Cloud Storage-Ordner). Geben Sie für MySQL den Pfad zur MySQL-Datei an (das Cloud Storage-Objekt).

  2. Prüfen Sie, ob der Import erfolgreich war.

REST

Folgen Sie der API-Anleitung zum Import von Metadaten in einen Dienst mit dem APIs Explorer.

Mit der API können Sie Importe erstellen, auflisten, beschreiben und aktualisieren, aber nicht löschen. Wenn Sie jedoch einen Dataproc Metastore-Dienst löschen, werden alle gespeicherten verschachtelten Importe gelöscht.

Wenn der Import erfolgreich ist, wechselt Dataproc Metastore automatisch wieder in den aktiven Zustand. Wenn der Import fehlschlägt, wird Dataproc Metastore auf seinen vorherigen fehlerfreien Zustand zurückgesetzt.

Importverlauf ansehen

So rufen Sie den Importverlauf eines Dataproc Metastore-Dienstes in der Google Cloud Console- auf:

  1. Öffnen Sie in der Google Cloud Console- die Seite Dataproc Metastore.

  2. Klicken Sie in der Navigationsleiste auf Import/Export.

    Der Importverlauf wird in der Tabelle Importverlauf angezeigt.

    Im Verlauf werden die letzten 25 Importe angezeigt.

Wenn Sie einen Dataproc Metastore-Dienst löschen, wird auch der gesamte zugehörige Importverlauf gelöscht.

Häufige Probleme beheben

Beispiele für häufige Probleme:

Weitere Informationen zur Behebung häufiger Probleme finden Sie unter Fehlerszenarien beim Importieren und Exportieren.

Nächste Schritte