Metadaten aus MySQL importieren

In diesem Dokument wird beschrieben, wie Sie mit einem Knowledge Catalog-Connector Metadaten aus MySQL in Knowledge Catalog (früher Dataplex Universal Catalog) importieren.

Dieser Connector unterstützt MySQL-Instanzen, die lokal, in Cloud SQL oder in anderen Cloud-Umgebungen gehostet werden.

Bevor Sie Metadaten aus MySQL importieren können, müssen Sie die folgenden Aufgaben ausführen:

  1. Weisen Sie die erforderlichen Rollen und Berechtigungen zu.
  2. Aktivieren Sie die Knowledge Catalog API und die BigQuery Data Transfer Service API.
  3. MySQL-Voraussetzungen
  4. Netzwerkanforderungen erfüllen

IAM-Rollen und -Berechtigungen

Zum Erstellen und Verwalten eines Knowledge Catalog-Connector-Jobs benötigen Sie IAM-Rollen (Identity and Access Management), die Berechtigungen für Knowledge Catalog und BigQuery Data Transfer Service gewähren.

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Konfigurieren eines MySQL-Connectors benötigen:

Außerdem müssen Sie dem Dienst-Agent für BigQuery Data Transfer Service (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) die Berechtigung dataplex.entryGroups.import oder die Rolle Dataplex Entry Group Importer (roles/dataplex.entryGroupImporter) zuweisen. Sie können diese Rolle entweder auf Projektebene oder auf Ebene der Eintragsgruppe zuweisen.

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten.

APIs aktivieren

Aktivieren Sie die Knowledge Catalog API und die BigQuery Data Transfer Service API.

APIs aktivieren

MySQL-Voraussetzungen

Prüfen Sie, ob Sie die Voraussetzungen für MySQL-Übertragungen erfüllen. Weitere Informationen finden Sie in der Dokumentation zum BigQuery Data Transfer Service unter MySQL-Voraussetzungen.

Zusätzlich zu den Voraussetzungen für den BigQuery Data Transfer Service muss Ihre MySQL-Datenbank die folgenden Anforderungen für die Metadatenextraktion erfüllen:

  • Mindestversion:MySQL-Version 8.0 oder höher.
  • Erforderliche Mindestberechtigungen:Für das Extraktionstool sind bestimmte Berechtigungen erforderlich, um die INFORMATION_SCHEMA abzufragen und Metadaten zu erfassen.

Diese Berechtigungen sorgen für die folgende Metadatenabdeckung:

  • Instanz- und Datenbankinformationen:Hostname, Port, Version und Schemakonfigurationen.
  • Tabellen und Spalten:Kernstruktur, Datentypen und Betriebsmetadaten wie Größen und Zeilenanzahlen.
  • Indexe und Partitionen:Sekundärindexe, Partitionierungsmethoden und Ausdrücke.
  • Ansichten:Virtuelle Tabellenstrukturen und ‑definitionen.
  • Routinen:Gespeicherte Prozeduren, Funktionen und ihre Parameter.
  • Einschränkungen:Detaillierte Einschränkungen für Primärschlüssel, Fremdschlüssel, eindeutige und Prüfeinschränkungen.
  • Trigger:Triggerdefinitionen und Ereignis-Timing.

Führen Sie die folgenden SQL-Skripts aus, um diese Berechtigungen zu erteilen.

  1. Erstellen Sie den Nutzer:

    CREATE USER 'USERNAME'@'%'
IDENTIFIED BY 'PASSWORD';

  2. Gewähren Sie den Zugriff auf Metadaten. Sie können Zugriff für eine einzelne Zieldatenbank oder für alle Datenbanken in der Instanz gewähren.

    So gewähren Sie Zugriff auf eine einzelne Zieldatenbank oder ein einzelnes Zielschema:

    GRANT SELECT, SHOW VIEW, REFERENCES, EXECUTE, TRIGGER
ON DATABASE_NAME.*
TO 'USERNAME'@'%';

    Alternativ können Sie den Zugriff auf alle Datenbanken in der Instanz gewähren:

    GRANT SELECT, SHOW VIEW, REFERENCES, EXECUTE, TRIGGER
ON *.*
TO 'USERNAME'@'%';

  3. Erlauben Sie dem Extraktionstool, alle verfügbaren Datenbanken in der Instanz aufzulisten:

    GRANT SHOW DATABASES ON *.* TO 'USERNAME'@'%';

  4. Übernehmen Sie die Änderung:

    FLUSH PRIVILEGES;

Netzwerkvoraussetzungen

Eine Netzwerkverbindung für die Verbindung über Private Service Connect ist erforderlich, wenn Sie eine sichere Verbindung zu externen Datenbanken oder Cloud-Datenquellen von Drittanbietern mit einer privaten IP-Adresse in einem privaten Netzwerk herstellen möchten, damit BigQuery Data Transfer Service auf Ihre Datenbank zugreifen kann.

Wenn Sie über eine öffentliche IP-Adresse eine Verbindung zu einer lokalen Umgebung oder einer in der Cloud gehosteten Instanz herstellen, ist keine Netzwerkverbindung erforderlich.

MySQL-Connector konfigurieren

  1. Rufen Sie in der Google Cloud Console die Seite Knowledge Catalog auf.

    Zu Knowledge Catalog

  2. Klicken Sie im Navigationsmenü im Bereich Verwalten auf Connectors.

  3. Klicken Sie auf Verbindung hinzufügen.

  4. Wählen Sie in der Liste Connectors die Karte MySQL aus.

  5. Geben Sie im Abschnitt Details zur Datenquelle die Verbindungsdetails für Ihre MySQL-Instanz an:

    • Wählen Sie unter Netzwerkanhang einen vorhandenen Netzwerkanhang aus oder erstellen Sie einen.
    • Geben Sie den Host, den Port, den Datenbanknamen, den Nutzernamen und das Passwort ein.
    • Wenn Sie TLS verwenden, wählen Sie einen TLS-Modus aus und geben Sie ein vertrauenswürdiges PEM-Zertifikat an.
    • Klicken Sie unter Zu importierende MySQL-Metadatenobjekte auf Durchsuchen, um Objekte auszuwählen.

  6. Gehen Sie im Abschnitt Zieleinstellungen so vor:

    • Klicken Sie auf Durchsuchen und wählen Sie eine vorhandene Knowledge Catalog-Eintragsgruppe aus, in der die importierten Metadaten gespeichert werden sollen. Alternativ können Sie auf Neue Eintragsgruppe erstellen klicken.
    • Wählen Sie aus, ob Sie die Berechtigungen für die Eintragsgruppe jetzt oder später festlegen möchten. Legen Sie Berechtigungen fest, damit Nutzer die importierten Metadaten aufrufen können. Wenn Sie dem Dienst-Agent für BigQuery Data Transfer Service (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) die Rolle Dataplex Entry Group Importer (roles/dataplex.entryGroupImporter) oder die Berechtigung dataplex.entryGroups.import nicht auf Projektebene zugewiesen haben, müssen Sie sie auf Ebene der Eintragsgruppe zuweisen.

  7. Geben Sie im Abschnitt Connector config name (Name der Connector-Konfiguration) für Display name (Anzeigename) einen Namen für den Metadaten-Importjob ein.

  8. Konfigurieren Sie im Abschnitt Zeitplanoptionen die Häufigkeit für den Metadaten-Importjob. Wenn Sie On-Demand auswählen, wird der Job nur ausgeführt, wenn Sie ihn manuell auslösen.

  9. Optional: Konfigurieren Sie im Abschnitt Benachrichtigungsoptionen E-Mail- oder Pub/Sub-Benachrichtigungen für Jobfehler.

  10. Optional: Konfigurieren Sie im Abschnitt Erweiterte Optionen die Verschlüsselungseinstellungen. Wenn Sie einen vom Kunden verwalteten Verschlüsselungsschlüssel (Customer-Managed Encryption Key, CMEK) auswählen, wird der Schlüssel zum Verschlüsseln aller temporären Daten verwendet, die vor dem Start der Importjobs für Knowledge Catalog-Metadaten bereitgestellt werden. Sie wird nicht verwendet, um die Metadaten in der Ziel-Eintragsgruppe des Knowledge Catalog zu verschlüsseln.

  11. Klicken Sie auf Speichern.

Nachdem Sie den Job erstellt haben, plant Knowledge Catalog die erste Ausführung entsprechend Ihrer Konfiguration oder Sie können sie manuell starten.

Nächste Schritte