Umstellung auf das Geschäftsglossar in Knowledge Catalog

In diesem Dokument finden Sie eine Anleitung für die Migration in einem Schritt von der Preview-Version des Unternehmensglossars, die Data Catalog-Metadaten unterstützt hat, zur allgemein verfügbaren Version des Unternehmensglossars in Knowledge Catalog (ehemals Dataplex Universal Catalog). Durch die Migration zur allgemein verfügbaren Version können Sie die erweiterten Funktionen und die tiefere Integration mit Knowledge Catalog-Metadaten nutzen. Das bietet eine verbesserte Stabilität, neue Funktionen und vollständigen Produktionssupport. Bei diesem Vorgang werden Ihre Glossare automatisch aktualisiert, um Knowledge Catalog-Metadaten zu unterstützen.

Hinweis: Wenn Sie die Migration bereits mit dem manuellen Verfahren zum Migrieren Ihrer Glossare gestartet haben und auf diese Anleitung zugreifen möchten, lesen Sie Manuelle Migration zum Unternehmensglossar in Knowledge Catalog.

Hinweis

1. Installieren Sie gcloud oder Python-Pakete. Authentifizieren Sie Ihr Nutzerkonto und die Standardanmeldedaten für Anwendungen (Application Default Credentials, ADC), die von den Python-Bibliotheken verwendet werden. Führen Sie die folgenden Befehle aus und folgen Sie den browserbasierten Eingabeaufforderungen:

   gcloud init
   gcloud auth login
   gcloud auth application-default login
   

2. Aktivieren Sie folgende APIs:

   • Dataplex API
   • Data Catalog API
   • Cloud Resource Manager API
   • Cloud Storage API

3. Erstellen Sie einen oder mehrere Cloud Storage-Buckets in einem Ihrer Projekte. Die Buckets werden als temporärer Speicherort für die Importdateien verwendet. Je mehr Buckets Sie bereitstellen, desto schneller ist der Import. Gewähren Sie dem Dienstkonto, das die Migration ausführt, die IAM-Rolle „Storage-Administrator“:

   [e-mail]

   Ersetzen Sie MIGRATION_PROJECT_ID durch das Projekt, aus dem Sie die Glossare migrieren.

4. Richten Sie das Repository ein:

   1. Klonen Sie das Repository:

      git clone https://github.com/GoogleCloudPlatform/dataplex-labs.git
      cd dataplex-labs/dataplex-quickstart-labs/00-resources/scripts/python/business-glossary-import
      

   2. Installieren Sie die erforderlichen Pakete:

      pip3 install -r requirements.txt
      cd migration
      

      Hinweis: Wenn Sie Probleme bei der Installation des Pakets haben, folgen Sie der Anleitung zum Erstellen einer neuen virtuellen Python-Umgebung.

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Migrieren von Glossaren aus Data Catalog zu Knowledge Catalog benötigen:

• Data Catalog-Glossareigentümer (roles/datacatalog.glossaryOwner) für Ihr Projekt
• Dataplex-Administrator (roles/dataplex.admin) für Ihr Projekt

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Migrieren von Glossaren aus Data Catalog zu Knowledge Catalog erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen , um die notwendigen Berechtigungen anzuzeigen, die erforderlich sind:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind zum Migrieren von Glossaren aus Data Catalog zu Knowledge Catalog erforderlich:

• datacatalog.glossaries.get für das Projekt, aus dem Sie Glossare migrieren
• datacatalog.glossaries.list für das Projekt, aus dem Sie Glossare migrieren
• dataplex.glossaries.create für das Projekt, in dem Glossare in Knowledge Catalog erstellt werden
• dataplex.glossaries.update für das Projekt, in dem Glossare in Knowledge Catalog aktualisiert werden

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Weitere Informationen zu Identity and Access Management (IAM) in Knowledge Catalog finden Sie unter Zugriff mit IAM verwalten.

Migrationsskript ausführen

python3 run.py --project=PROJECT_ID --buckets=BUCKET1,BUCKET2

Ersetzen Sie Folgendes:

• PROJECT_ID: die Projekt-ID des zu migrierenden Projekts. Dieses Projekt wird auch für die Abrechnung und die Kontingentzuweisung für die API-Aufrufe verwendet, die vom Skript generiert werden.

• BUCKET1 und BUCKET2: die Cloud Storage-Bucket-IDs, die für den Import verwendet werden sollen.

  Sie können einen oder mehrere Buckets angeben. Geben Sie für die Bucket-Argumente eine durch Kommas getrennte Liste von Bucket-Namen ohne Leerzeichen an (z. B. --buckets=bucket-one,bucket-two). Eine 1:1-Zuordnung zwischen Buckets und Glossaren ist nicht erforderlich. Das Skript führt die Importjobs parallel aus, wodurch die Migration beschleunigt wird.

Wenn Berechtigungsprobleme verhindern, dass das Skript Ihre Organisations-IDs automatisch ermittelt, geben Sie mit dem Flag --orgIds die Organisationen an, die das Skript verwenden kann, um nach Datenassets zu suchen, die mit Glossarbegriffen verknüpft sind.

Hinweis: Bearbeiten Sie die exportierten JSON-Dateien nicht. Das Skript generiert Dateien im Format, das von der Dataplex Import API benötigt wird. Wenn Sie das Format ändern, können Importjobs fehlschlagen.

Glossare in der Migration festlegen

Wenn Sie nur bestimmte Glossare migrieren möchten, definieren Sie ihren Umfang, indem Sie die entsprechenden URLs angeben.

python3 run.py --project=PROJECT_ID --buckets=BUCKET1,BUCKET2 --glossaries="GLOSSARY_URL1","GLOSSARY_URL2"

Ersetzen Sie GLOSSARY_URL1 (und GLOSSARY_URL2) durch die vollständigen URLs der Glossare, die Sie migrieren, so wie sie in der Google Cloud Konsole angezeigt werden. Wenn Sie Glossare mit diesem Flag angeben, wird das Quellprojekt anhand der URLs bestimmt und das Flag --project wird nur für die Abrechnung verwendet.

Beispiel: https://console.cloud.google.com/datacatalog/glossaries/projects/my-project/locations/us-central1/entryGroups/my-entry-group/glossaries/my-glossary

Während der Migration kann die Anzahl der Importjobs geringer sein als die Anzahl der exportierten Glossare. Das passiert, wenn leere Glossare, für die kein Hintergrundimportjob erforderlich ist, direkt erstellt werden.

Migration bei Fehlern von Importjobs fortsetzen

Wenn nach der Migration Dateien vorhanden sind, sind einige Importjobs fehlgeschlagen. Führen Sie den folgenden Befehl aus, um die Migration fortzusetzen:

python3 run.py --project=PROJECT_ID --buckets=BUCKET1,BUCKET2 --resume-import

Wenn Fehler auftreten, führen Sie den Befehl resume noch einmal aus. Das Skript verarbeitet nur Dateien, die nicht erfolgreich importiert und gelöscht wurden.

Das Skript erzwingt Abhängigkeitsprüfungen für Eintragslinks und Glossar-übergreifende Links. Eine Eintragslinkdatei wird nur importiert, wenn das übergeordnete Glossar erfolgreich importiert wurde. Ebenso wird ein Link zwischen Begriffen nur importiert, wenn alle referenzierten Begriffe erfolgreich importiert wurden.

Hinweis: In den Logs oder generierten Dateien werden möglicherweise zufällige IDs an Glossar-, Eintragslink- und Jobnamen angehängt. Diese IDs dienen der internen Backend-Eindeutigkeit und haben keine Auswirkungen auf die Namen oder die Struktur Ihrer endgültigen migrierten Glossare.

Fehlerbehebung

In diesem Abschnitt finden Sie Lösungen für häufig auftretende Fehler.

• Berechtigung verweigert / Fehler 403: Prüfen Sie, ob der Nutzer oder das Dienstkonto die Rolle „ Dataplex-Bearbeiter“ für das Zielprojekt und die Rolle „ Dataplex-Betrachter“ für das Quellprojekt hat.

• ModuleNotFoundError: Prüfen Sie, ob Sie Ihre virtuelle Python -Umgebung aktiviert und die erforderlichen Pakete mit pip3 install -r requirements.txt installiert haben.

• TimeoutError / ssl.SSLError: Diese Fehler auf Netzwerkebene können durch Firewalls, Proxys oder langsame Verbindungen verursacht werden. Das Skript hat ein Zeitlimit von 5 Minuten. Bei anhaltenden Problemen müssen Sie möglicherweise Ihre lokale Netzwerkkonfiguration prüfen.

• Methode nicht gefunden (Einträge können nicht abgerufen werden): Dieser Fehler weist oft darauf hin, dass Ihr Nutzerprojekt nicht zum Aufrufen der API autorisiert ist, wodurch das Abrufen der erforderlichen Einträge verhindert wird.