Metadaten aus PostgreSQL importieren

In diesem Dokument wird beschrieben, wie Sie mit einem Knowledge Catalog-Connector Metadaten aus PostgreSQL in Knowledge Catalog (ehemals Dataplex Universal Catalog) importieren.

Dieser Connector unterstützt PostgreSQL-Instanzen, die lokal, in Cloud SQL oder in anderen Cloud-Umgebungen gehostet werden.

Hinweis

Bevor Sie Metadaten aus PostgreSQL importieren können, müssen Sie die folgenden Aufgaben ausführen:

  1. Erteilen Sie die erforderlichen Rollen und Berechtigungen.
  2. Aktivieren Sie die Knowledge Catalog und BigQuery Data Transfer Service APIs.
  3. Erfüllen Sie die PostgreSQL-Voraussetzungen.
  4. Erfüllen Sie die Netzwerkvoraussetzungen.

IAM-Rollen und -Berechtigungen

Zum Erstellen und Verwalten eines Knowledge Catalog-Connector-Jobs benötigen Sie Identity and Access Management (IAM)-Rollen, die Berechtigungen für Knowledge Catalog und BigQuery Data Transfer Service gewähren.

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Konfigurieren eines PostgreSQL-Connectors benötigen:

Außerdem müssen Sie dem Dienst-Agent für BigQuery Data Transfer Service (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) die Berechtigung dataplex.entryGroups.import oder die Rolle Dataplex-Eintragsgruppenimporteur (roles/dataplex.entryGroupImporter) erteilen. Sie können diese Rolle entweder auf Projekt- oder auf Eintragsgruppenebene erteilen.

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten.

APIs aktivieren

Aktivieren Sie die Knowledge Catalog und BigQuery Data Transfer Service APIs.

APIs aktivieren

PostgreSQL-Voraussetzungen

Achten Sie darauf, dass Sie die Voraussetzungen für PostgreSQL-Übertragungen erfüllen. Weitere Informationen finden Sie unter PostgreSQL-Voraussetzungen in der BigQuery Data Transfer Service-Dokumentation.

Netzwerkvoraussetzungen

Ein Netzwerkanhang für die Verbindung über Private Service Connect ist erforderlich, wenn Sie eine sichere Verbindung zu externen Datenbanken oder Cloud-Datenquellen von Drittanbietern mit einer privaten IP-Adresse in einem privaten Netzwerk herstellen, damit BigQuery Data Transfer Service auf Ihre Datenbank zugreifen kann.

Wenn Sie über eine öffentliche IP-Adresse eine Verbindung zu einer lokalen Umgebung oder einer in der Cloud gehosteten Instanz herstellen, ist kein Netzwerkanhang erforderlich.

PostgreSQL-Connector konfigurieren

Konfigurieren Sie einen PostgreSQL-Connector über die Google Cloud console oder die API.

Console

  1. Rufen Sie in der Google Cloud console die Knowledge Catalog Seite auf.

    Zu Knowledge Catalog

  2. Klicken Sie im Navigationsmenü im Bereich Verwalten auf Connectors.

  3. Klicken Sie auf Verbindung hinzufügen.

  4. Wählen Sie in der Liste Connectors die Karte PostgreSQL aus.

  5. Geben Sie im Abschnitt Details zur Datenquelle die Verbindungsdetails für Ihre PostgreSQL-Instanz an:

    • Wählen Sie unter Netzwerkanhang einen vorhandenen Netzwerkanhang aus, falls erforderlich, oder erstellen Sie einen.
    • Geben Sie Host, Port, Datenbankname, Nutzername und Passwort ein.
    • Wenn Sie TLS verwenden, wählen Sie einen TLS-Modus aus und geben Sie ein vertrauenswürdiges PEM-Zertifikat an.
    • Klicken Sie unter Zu importierende PostgreSQL-Metadatenobjekte auf Durchsuchen, um Objekte auszuwählen.

  6. Im Abschnitt Zieleinstellungen:

    • Klicken Sie auf Durchsuchen und wählen Sie eine vorhandene Knowledge Catalog-Eintragsgruppe aus, in der die importierten Metadaten gespeichert werden sollen, oder klicken Sie auf Neue Eintragsgruppe erstellen.
    • Wählen Sie aus, ob Sie Berechtigungen für die Eintragsgruppe jetzt oder später festlegen möchten. Wir empfehlen, Berechtigungen so festzulegen, dass Nutzer die importierten Metadaten ansehen können. Wenn Sie dem Dienst-Agent für BigQuery Data Transfer Service (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) die Rolle Dataplex-Eintragsgruppenimporteur (roles/dataplex.entryGroupImporter) oder die Berechtigung dataplex.entryGroups.import nicht auf Projektebene erteilt haben, müssen Sie sie auf Eintragsgruppenebene erteilen.

  7. Geben Sie im Abschnitt Name der Connector-Konfiguration unter Anzeigename einen Namen für den Metadatenimportjob ein.

  8. Konfigurieren Sie im Abschnitt Zeitplanoptionen die Häufigkeit für den Metadatenimportjob. Wenn Sie On-Demand auswählen, wird der Job nur ausgeführt, wenn Sie ihn manuell auslösen.

  9. Optional: Konfigurieren Sie im Abschnitt Benachrichtigungsoptionen E-Mail- oder Pub/Sub-Benachrichtigungen für Jobfehler.

  10. Optional: Konfigurieren Sie im Abschnitt Erweiterte Optionen die Verschlüsselungseinstellungen. Wenn Sie einen vom Kunden verwalteten Verschlüsselungsschlüssel (Customer-Managed Encryption Key, CMEK) auswählen, wird der Schlüssel verwendet, um alle temporären Daten zu verschlüsseln, die vor dem Starten der Knowledge Catalog-Metadatenimportjobs bereitgestellt werden. Er wird nicht verwendet, um die Metadaten in der Ziel-Knowledge Catalog-Eintragsgruppe zu verschlüsseln.

  11. Klicken Sie auf Speichern.

REST

Verwenden Sie die projects.locations.transferConfigs.create Methode. Konfigurieren Sie in der TransferConfig Ressource die folgenden Felder:

  • Setzen Sie das dataSourceId Feld auf "postgresql".
  • Füllen Sie im Feld metadataDestination das dataplexConfiguration Objekt mit dem Ressourcenpfad der Ziel-Knowledge Catalog-Eintragsgruppe aus: projects/<var>PROJECT_ID</var>/locations/<var>LOCATION</var>/entryGroups/<var>ENTRY_GROUP_ID</var>

Nachdem Sie den Job erstellt haben, plant Knowledge Catalog die erste Ausführung gemäß Ihrer Konfiguration oder Sie können sie manuell starten.

Nächste Schritte