Connector-Jobs verwalten

Mit Knowledge Catalog (ehemals Dataplex Universal Catalog) können Sie Connector-Jobs verwalten, die geplante und On-Demand-Metadatenimporte ausführen, um Ihren Katalog mit externen Datenquellen synchron zu halten. Sie können Jobkonfigurationen, den Ausführungsverlauf und Logs aufrufen, Importeinstellungen aktualisieren, geplante Ausführungen deaktivieren oder aktivieren, Jobausführungen manuell auslösen und Jobs löschen.

Weitere Informationen zur Funktionsweise von Connectors finden Sie unter Metadaten-Connectors.

Hinweis

Zum Verwalten von Connector-Jobs benötigen Sie die entsprechenden IAM-Rollen. Weitere Informationen finden Sie unter IAM-Rollen.

  • So rufen Sie Jobs und den Ausführungsverlauf auf:
    • BigQuery-Nutzer (roles/bigquery.user)
    • Dataplex-Betrachter (roles/dataplex.viewer)
  • So bearbeiten, löschen oder manuell auslösen Sie Jobs:
    • BigQuery-Administrator (roles/bigquery.admin)
    • Dataplex-Administrator (roles/dataplex.admin) oder Dataplex-Bearbeiter (roles/dataplex.editor)

Sie müssen den BigQuery Data Transfer Service aktivieren.

Außerdem müssen Sie dem Dienst-Agent für BigQuery Data Transfer Service (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) die Berechtigung dataplex.entryGroups.import oder die Rolle Dataplex Entry Group Importer (roles/dataplex.entryGroupImporter) zuweisen. Diese kann entweder auf Projektebene oder auf Ebene der Eintraggruppe gewährt werden.

Connector-Jobs ansehen

  1. Rufen Sie in der Google Cloud Console die Seite Knowledge Catalog auf.

    Zu Knowledge Catalog

  2. Klicken Sie im Navigationsmenü im Bereich Verwalten auf Connectors. Auf der Seite Connectors werden alle Metadatenimportjobs in Ihrem Projekt aufgeführt.

  3. Wenn Sie die Details, den Ausführungsverlauf oder die Konfiguration eines bestimmten Jobs aufrufen möchten, klicken Sie in der Liste auf den Anzeigenamen.

Verlauf und Logs der Jobausführung ansehen

Für jeden Connector-Job können Sie sich den Verlauf der Ausführungen ansehen, einschließlich erfolgreicher und fehlgeschlagener Ausführungen. Jobausführungen, die älter als 90 Tage sind, werden automatisch gelöscht.

  1. Klicken Sie auf der Seite Connectors auf den Anzeigenamen des Jobs, den Sie sich ansehen möchten.
  2. Klicken Sie auf den Tab Ausführungsverlauf. Auf diesem Tab werden die letzten Jobausführungen angezeigt.
  3. Wenn Sie Logs für eine bestimmte Ausführung aufrufen möchten, suchen Sie die Ausführung in der Liste und klicken Sie auf Details ansehen.

Logging und Monitoring

Knowledge Catalog-Metadaten-Connectors exportieren Logs und Messwerte nach Cloud Monitoring und Cloud Logging, die Beobachtbarkeit für Ihre Importkonfigurationen ermöglichen. Mit Monitoring können Sie Dashboards einrichten, um Konfigurationen für den Metadatenimport zu überwachen, die Leistung von Ausführungen zu bewerten und Fehlermeldungen zur Fehlerbehebung bei Ausführungsfehlern aufzurufen. Mit Logging können Sie Logs aufrufen, die sich auf eine Ausführung oder eine Konfiguration beziehen.

Connector-Job aktualisieren

Sie können die Konfiguration eines vorhandenen Jobs ändern, einschließlich des Zeitplans, der Ziel-Eintragsgruppe, der Benachrichtigungseinstellungen und der zu importierenden Quellobjekte.

  1. Klicken Sie auf der Seite Connectors auf den Anzeigenamen des Jobs, den Sie aktualisieren möchten.
  2. Klicken Sie auf Bearbeiten.
  3. Ändern Sie die Jobkonfiguration nach Bedarf.
  4. Klicken Sie auf Speichern.

Connector-Job deaktivieren oder aktivieren

Wenn Sie einen Job deaktivieren, wird sein Name mit dem Status disabled aktualisiert und es werden keine neuen Jobausführungen geplant. Alle bereits laufenden Ausführungen werden abgeschlossen. Durch das Deaktivieren eines Jobs werden keine Metadaten entfernt, die bereits in Knowledge Catalog importiert wurden.

  1. Suchen Sie auf der Seite Connectors den Job, den Sie deaktivieren oder aktivieren möchten.
  2. Klicken Sie auf Aktionen und wählen Sie dann Deaktivieren oder Aktivieren aus.

Connector-Job löschen

Wenn Sie einen Job löschen, werden keine neuen Ausführungen geplant und alle laufenden Ausführungen werden beendet. Durch das Löschen eines Jobs werden keine Metadaten entfernt, die bereits in Knowledge Catalog importiert wurden.

  1. Suchen Sie auf der Seite Connectors den Job, den Sie löschen möchten.
  2. Klicken Sie auf Aktionen und wählen Sie Löschen aus.
  3. Geben Sie zur Bestätigung delete ein und klicken Sie auf Löschen.

Job manuell auslösen

Sie können eine Jobausführung außerhalb des regulären Zeitplans starten. Dies wird manchmal als Backfill bezeichnet.

  1. Klicken Sie auf der Seite Connectors auf den Anzeigenamen des Jobs, den Sie ausführen möchten.

  2. Klicken Sie auf Übertragung jetzt ausführen und wählen Sie Einmalige Übertragung ausführen aus.