Probleme bei der Datenerkennung in Knowledge Catalog beheben

Mit der Datenermittlung von Knowledge Catalog (früher Dataplex Universal Catalog), auch eigenständige Erkennung genannt, können Sie Cloud Storage-Buckets automatisch scannen, um Metadaten zu extrahieren und Tabellen in BigQuery zu veröffentlichen. Sie können häufige Fehler bei Erkennungsscans beheben, z. B. Fehler beim Veröffentlichen von BigQuery- und BigLake-Tabellen, nicht übereinstimmende Ordnerschemas und Tabellen, die nach Schemaänderungen nicht aktualisiert werden. Weitere Informationen finden Sie unter Cloud Storage-Daten erkennen und katalogisieren.

Wenn Sie Hilfe bei der Behebung eines Problems benötigen, das in diesem Dokument nicht behandelt wird, wenden Sie sich an Cloud Customer Care.

Fehler beim Veröffentlichen der BigQuery-Tabelle (FAILED_BIGQUERY_TABLE_PUBLISH)

Wenn ein Erkennungsscan ausgeführt wird, kann es vorkommen, dass Tabellen nicht in BigQuery veröffentlicht werden. In diesem Fall wird im Scan eine FAILED_BIGQUERY_TABLE_PUBLISH-Aktion in Cloud Logging protokolliert.

Dieses Problem tritt aufgrund der folgenden Bedingungen auf:

  • Unzureichende IAM-Berechtigungen: Dem Dienstkonto für Knowledge Catalog oder dem Dienstkonto für die BigQuery-Verbindung fehlen die erforderlichen Rollen, um Verbindungen zu delegieren, auf Cloud Storage zuzugreifen oder in das Ziel-Dataset zu schreiben.
  • BigQuery-Verbindung oder Dataset-Konflikt: Die angegebene Verbindungs-ID ist ungültig oder die Verbindung und das Ziel-Dataset befinden sich in verschiedenen Regionen.
  • Fehler bei der Tabellenkonfiguration: Beim Erstellen oder Ändern von Tabellen werden falsche oder nicht unterstützte Einstellungen angewendet.

So behebst du das Problem:

  • Dienstkontorollen prüfen: Bestätigen Sie, dass das Knowledge Catalog-Dienstkonto service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com die Rolle Dataplex Discovery BigLake Publishing Service Agent (roles/dataplex.discoveryBigLakePublishingServiceAgent) hat.
  • Verbindungsberechtigungen prüfen: Wenn Sie BigLake-Tabellen erstellen, prüfen Sie, ob das BigQuery-Verbindungsdienstkonto Lesezugriff auf den Cloud Storage-Bucket hat. Verwenden Sie dazu die Rolle Storage-Objekt-Betrachter (roles/storage.objectViewer) oder Dataplex Discovery Service Agent (roles/dataplex.discoveryServiceAgent).
  • Verbindung und Dataset-Standort prüfen: Achten Sie darauf, dass sich die BigQuery-Verbindung und das BigQuery-Dataset in derselben Region befinden und mit dem Standort des Cloud Storage-Bucket kompatibel sind.
  • Logs auf Details prüfen: Sehen Sie sich die Logs zu DataScan-Jobs in Cloud Logging an. Wenn der Fehler BigQuery: Permission denied enthält, prüfen Sie die Dienstkontoberechtigungen. Wenn sie TABLE_CONFIG enthält, prüfen Sie, ob die Datendateien den BigQuery-Anforderungen entsprechen.

Erstellung von BigLake-Tabellen schlägt für große Cloud Storage-Buckets fehl

Wenn ein Erkennungsscan Cloud Storage-Buckets mit einem großen Datenvolumen oder großen einzelnen Dateien (z. B. Avro-Dateien, die größer als 30 MB sind) verarbeitet, kann der Scan das BigQuery-Dataset erfolgreich erstellen, aber die BigLake-Tabellen nicht veröffentlichen.

In diesem Fall werden in Cloud Logging möglicherweise die folgenden Fehler angezeigt:

  • FAILED_BIGQUERY_TABLE_PUBLISH
  • com.google.cloud.bigquery.BigQueryException: Read timed out

Dieses Problem ist eine bekannte Skalierbarkeitseinschränkung. Wenn Sie eine sofortige Tabellenbereitstellung benötigen, konfigurieren Sie den Erkennungsscan so, dass er eine kleinere, gefilterte Teilmenge Ihrer Bucket-Daten enthält.

Schemaabweichungen im Cloud Storage-Ordner

Bei einem Datenerkennungsscan werden externe Tabellen nicht registriert oder Dateien in bestimmten Ordnern nicht erkannt.

Dieses Problem tritt auf, wenn Ihre Cloud Storage-Ordner Dateien mit inkompatiblen Schemas oder unterschiedlichen Formaten enthalten. Der Erkennungsscan gruppiert Dateien nur dann in einer einzigen Tabelle, wenn sie sich im selben Ordner befinden und ein kompatibles Schema haben.

Wenn bei einem Datenerkennungsscan ein Cloud Storage-Pfad analysiert wird, müssen die Dateien in einem Ordner und die Partitionsstruktur über Ordner hinweg konsistent sein. Der Scan kennzeichnet eine Aktion, wenn Folgendes erkannt wird:

  • Ungültiges Datenformat (INVALID_DATA_FORMAT): Im selben Ordner oder in verschiedenen Partitionen werden inkonsistente Datenformate gefunden (z. B. eine Mischung aus .csv- und .parquet-Dateien im selben Verzeichnis).
  • Ungültige Partitionsdefinition (INVALID_PARTITION_DEFINITION): Partitionsschlüssel sind inkonsistent oder fehlen. Beispiel: Year=2023/Mon=Jan in einem Pfad und Year=2023/Dept=Sales in einem anderen.
  • Inkompatibles Datenschema (INCOMPATIBLE_DATA_SCHEMA): In Dateien innerhalb desselben Ordners oder derselben Tabelle werden inkonsistente oder inkompatible Schemas erkannt.

Bei stark typisierten Formaten wie Avro und Parquet treten Schemaabweichungen aus folgenden Gründen auf:

  • Inkompatible Datentypen: Eine Spalte hat in einer Datei den Typ string und in einer anderen den Typ int oder boolean.
  • Fehlende Standardwerte: In neueren Dateien werden neue Felder hinzugefügt oder gelöscht, ohne dass Standardwerte in der Schemadefinition angegeben werden. Dadurch wird eine korrekte Schemaentwicklung verhindert.
  • Beschädigtes Dateiformat: Eine oder mehrere Dateien sind fehlerhaft oder beschädigt, sodass das Schema beim Scannen nicht gelesen und extrahiert werden kann.

Prüfen Sie die Dateistruktur und die Schemadefinitionen, um dieses Problem zu beheben:

  • Dateien nach Schema und Format organisieren: Prüfen Sie, ob alle Dateien in einem Ordner dasselbe Format und dieselbe Schemastruktur haben. Verschieben Sie Dateien mit unterschiedlichen Spalten, primitiven Typen oder Formaten in separate Ordner oder Präfixe, damit sie als separate Tabellen registriert werden können.
  • Einheitliche Partitionsdefinitionen verwenden: Achten Sie darauf, dass Partitionsschlüssel und -strukturen in allen Partitionsordnern einheitlich sind (z. B. durchgängig Year=YYYY/Month=MM/).
  • Regeln für die Schemaentwicklung befolgen: Wenn Sie Schemas aktualisieren (z. B. Felder aus Avro-Dateien hinzufügen oder entfernen), definieren Sie immer Standardwerte, damit der Discovery-Dienst die Schemavarianten erfolgreich zusammenführen kann.
  • Beschädigte Dateien identifizieren: Prüfen Sie die Scanausgabe oder die Logs, um festzustellen, ob eine bestimmte Datei nicht decodiert werden kann. Verschieben Sie Dateien vorübergehend, um herauszufinden, ob eine bestimmte Datei den Fehler verursacht.

Erkannte Tabellen werden bei Schemaänderungen nicht aktualisiert

Nachdem Sie Dateien in Cloud Storage geändert oder einen neuen Scan ausgeführt haben, wird das aktualisierte Schema nicht in den veröffentlichten BigQuery-Tabellen übernommen.

Dieses Problem tritt auf, wenn für die veröffentlichte Tabelle das Label metadata-managed-mode auf user_managed gesetzt ist. Standardmäßig werden Tabellen von Discovery als discovery_managed veröffentlicht. Wenn Sie oder ein anderer Nutzer die Tabellenschemaeigenschaften manuell bearbeiten, müssen Sie das Label in user_managed ändern, um automatische Updates zu blockieren.

So beheben Sie dieses Problem: Prüfen Sie die Tabellenlabels in BigQuery:

  1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.
  2. Maximieren Sie im Bereich Explorer Ihr Projekt, wählen Sie das Dataset aus und klicken Sie auf die betroffene Tabelle.
  3. Klicken Sie auf den Tab Details.
  4. Prüfen Sie im Bereich Labels den Wert des Schlüssels metadata-managed-mode.
  5. Wenn Sie möchten, dass der Erkennungsscan das Schema wieder verwaltet und aktualisiert, klicken Sie auf Bearbeiten > Details bearbeiten, ändern Sie den Wert in discovery_managed und klicken Sie dann auf Speichern.