Einführung in die Fehlerbehebung

Dieses Dokument bietet einen Überblick über die Diagnosetools, Telemetrie-Schnittstellen und Dokumentationsressourcen, die Ihnen bei der Fehlerbehebung in BigQuery helfen.

Wenn Sie auf Abfragefehler, Leistungsengpässe, Berechtigungsfehler, Kontingentlimits oder Probleme bei der Datenaufnahme stoßen, bietet BigQuery integrierte Tools, mit denen Sie die Ursachen schnell identifizieren und beheben können.

Fehlerbehebung beim Workflow

Berücksichtigen Sie die folgenden Diagnosekriterien, um ein Problem in BigQuery effektiv zu beheben:

  1. Symptom und Fehlermodus identifizieren Prüfen Sie die Ergebnisse Ihrer Aufgabe, um festzustellen, ob es sich bei dem Problem um einen schwerwiegenden Fehler (z. B. einen Fehlercode oder einen Jobfehler), eine Leistungsverschlechterung (z. B. eine langsame Abfrage oder einen Slot-Mangel), eine Berechtigungsverweigerung oder eine unerwartete Kostenabweichung handelt.
  2. Details zur Jobausführung prüfen Verwenden Sie den Job-Explorer der Google Cloud Console, das Diagramm zur Abfrageausführung oder Befehlszeilentools, um die Zeitangaben auf Phasenebene, die Slotzuweisung und Fehlerdetails zu prüfen. Sie können auch Gemini Cloud Assist bitten, Ihr Problem zu untersuchen.
  3. Telemetrie und Metadaten analysieren. Fragen Sie Informationsschema-Ansichten ab oder prüfen Sie Cloud-Audit-Logs, um das Jobverhalten mit Ressourcenkonflikten, Reservierungslimits oder administrativen Änderungen zu korrelieren.
  4. Gezielte Maßnahmen ergreifen: Verwenden Sie kategoriespezifische Anleitungen zur Fehlerbehebung oder defensive SQL-Funktionen, um die zugrunde liegende Ursache zu beheben.

Fehlerbehebung von Optimierung unterscheiden

Wenn Sie mit BigQuery arbeiten, ist es wichtig, zwischen Fehlerbehebung, Leistungsoptimierung und Best Practices zu unterscheiden:

  • Fehlerbehebung. Konzentriert sich auf die Diagnose und Behebung unerwarteter Fehler, Laufzeitfehler, fehlerhafter Pipelines, ausgeschöpfter Kontingente oder unbeabsichtigten Verhaltens, die verhindern, dass Jobs erfolgreich abgeschlossen werden.
  • Leistungsoptimierung: Konzentriert sich auf die Verbesserung der Ausführungsgeschwindigkeit, Latenz oder Ressourceneffizienz von Abfragen und Arbeitslasten, die bereits erfolgreich ausgeführt werden. Weitere Informationen finden Sie unter Abfrageleistung optimieren.
  • Best Practices Konzentriert sich auf Architektur- und Designmuster für Datenmodellierung, Speicherung, Sicherheit und Kostenmanagement. Weitere Informationen finden Sie unter Einführung in Best Practices.

Diagnosetools

In den folgenden Abschnitten werden mehrere BigQuery-Schnittstellen und automatisierte Tools beschrieben, mit denen Sie Probleme in Ihren Arbeitslasten diagnostizieren können.

Visuelle und Konsolentools

Mit den folgenden Tools können Sie BigQuery-Probleme in derGoogle Cloud Console beheben.

  • Job-Explorer Sie können vergangene und laufende Jobs in Projekten oder Organisationen suchen, filtern und prüfen, ohne SQL-Abfragen schreiben zu müssen. Sie können Fehlermeldungen, Slot-Nutzung, Ausführungszeitpläne und Jobmetadaten aufrufen. Weitere Informationen finden Sie unter Jobs im Job-Explorer überwachen.
  • Diagramm zur Abfrageausführung Prüfen Sie den visuellen Ausführungsplan für eine Abfrage. Mit dem Ausführungsdiagramm können Sie Engpässe wie Shuffle-Spills auf das Laufwerk, rechengebundene Phasen, Datenverzerrung oder Ein-/Ausgabeverzögerungen erkennen. Weitere Informationen finden Sie unter Statistiken zur Abfrageleistung abrufen.
  • Query Insights und Ressourcendiagramme Echtzeit- und Verlaufsdiagramme zur Slot-Auslastung, Job-Nebenläufigkeit und Reservierungszuweisungen ansehen, um Kapazitätsbeschränkungen zu diagnostizieren. Weitere Informationen finden Sie unter Diagramme zu administrativen Ressourcen verwenden.
  • Gemini Cloud Assist in BigQuery Sie erhalten eine kontextbezogene, KI-gestützte Analyse fehlgeschlagener Abfragen und Leistungsengpässe. Gemini Cloud Assist erklärt Fehlercodes, hebt problematische SQL-Syntax hervor und schlägt direkt in derGoogle Cloud Console Schritte zur Behebung vor. Weitere Informationen finden Sie unter Fehlerbehebung bei Abfragen mit Gemini Cloud Assist.

Befehlszeilen- und automatisierte Diagnosetools

Mit den folgenden Tools können Sie BigQuery-Probleme über eine Befehlszeile diagnostizieren.

  • bq-Befehlszeilentool Mit dem Befehl bq show -j <var>JOB_ID</var> oder durch Hinzufügen des Flags --format=prettyjson zu Abfragebefehlen können Sie detaillierte Fehlerstrukturen, Anfrage-IDs und Jobmetadaten prüfen. Weitere Informationen finden Sie unter Fehlerbehebung bei CLI-Befehlen.
  • gcpdiag-Tool Führen Sie automatisierte Diagnosen über die Befehlszeile aus, um häufige Konfigurationsprobleme von Google Cloud zu erkennen, einschließlich fehlender IAM-Berechtigungen, Netzwerkeinschränkungen und Dienstkontofehler. Weitere Informationen finden Sie unter Abfragefehler mit gcpdiag beheben.

Metadaten- und Telemetrieansichten

Mit Informationsschema-Ansichten können Sie Echtzeit- und Verlaufsmetadaten zu Jobs, Kapazität, Streamingaufnahme und Datasets mithilfe von Standard-SQL abfragen. Diese Ansichten umfassen Folgendes:

Weitere Informationen finden Sie unter Einführung in BigQuery INFORMATION_SCHEMA.

Cloud Monitoring und Cloud-Audit-Logs

  • Cloud-Audit-Logs Prüfen Sie die Audit-Logs zu Administratoraktivitäten und Datenzugriffen, um nachzuvollziehen, wer bestimmte Vorgänge initiiert hat, die Identitäten von Aufrufern zu prüfen und PERMISSION_DENIED-Fehler zu diagnostizieren. Weitere Informationen finden Sie in der Referenz zu BigQuery-Audit-Logs.
  • Cloud Monitoring Sie können Messwerte wie Slot-Nutzung, Dauer der Abfrageausführung und hochgeladene Byte im Blick behalten und Benachrichtigungsrichtlinien konfigurieren, um Ihr Team zu benachrichtigen, wenn Schwellenwerte oder Kontingente überschritten werden. Weitere Informationen finden Sie unter BigQuery mit Cloud Monitoring überwachen.

Defensive SQL-Funktionen und Debugging-Anweisungen

Verwenden Sie Folgendes, um zu verhindern, dass Abfragen aufgrund von Laufzeitdatenfehlern unerwartet fehlschlagen:

  • Sichere Ausdrücke Verwenden Sie SAFE_CAST(), SAFE_DIVIDE(), SAFE_OFFSET() und SAFE_ORDINAL(), um NULL zurückzugeben, anstatt Laufzeitfehler zu generieren, wenn Datentypen oder Arraygrenzen nicht übereinstimmen. Die meisten Skalarfunktionen unterstützen das Präfix SAFE.. Weitere Informationen finden Sie unter Debugging-Funktionen und Präfix SAFE..
  • SQL-Assertions Verwenden Sie die ASSERT-Anweisung in Transaktionen oder Skripts mit mehreren Anweisungen, um Bedingungen für die Datenvalidierung zu erzwingen und mit benutzerdefinierten Fehlermeldungen abzubrechen, bevor nachgelagerte Vorgänge ausgeführt werden. Weitere Informationen finden Sie unter Debugging-Anweisungen.

Fehlerbehebung nach Problemkategorie

Wählen Sie eine Kategorie aus den folgenden Abschnitten aus, um detaillierte Fehlercodes, Ursachen und Schritt-für-Schritt-Anleitungen zur Fehlerbehebung aufzurufen.

Abfrageleistung und -ausführung

Abfragen diagnostizieren, die nicht ausgeführt werden, bei denen ein Zeitüberschreitungsfehler auftritt, die auf Ressourcenbeschränkungen stoßen oder bei denen unerwartete Verzögerungen auftreten.

  • Fehlerbehebung bei Abfrageproblemen Beheben Sie resourcesExceeded-Fehler, langsame Abfrageausführung, Shuffle-Spill, Fehler aufgrund von unzureichendem Arbeitsspeicher und Fehler bei geplanten Abfragen.
  • Fehlerbehebung bei langen Abfragewartezeiten. Diagnostizieren Sie Nebenläufigkeitsengpässe und Abfragen, die aufgrund von Limits für interaktive oder Batch-Warteschlangen in die Warteschlange gestellt wurden.
  • Referenz zu Fehlermeldungen Suchen Sie nach bestimmten HTTP-Fehlercodes, Fehlerursachen-Strings und empfohlenen Maßnahmen.

Identity and Access Management (IAM) und Sicherheit

Fehler bei der Zugriffssteuerung, fehlende Rollenzuweisungen und Blöcke von Data Governance-Richtlinien diagnostizieren.

Kontingente, Ratenbegrenzungen und Reservierungen

Probleme beheben, wenn Arbeitslasten die BigQuery-Dienstlimits oder ‑Kapazitätszuweisungen überschreiten.

  • Kontingent- und Limitfehler beheben Sie erfahren, wie Sie anpassbare und nicht anpassbare Kontingente identifizieren, Limits für gleichzeitige Abfragen verwalten und Fehler bei API-Ratenbegrenzungen beheben.
  • Fehlerbehebung bei der BigQuery-Arbeitslastverwaltung. Diagnostizieren Sie Slot-Mangel, nicht übereinstimmende Reservierungszuweisungen, Verzögerungen bei Kapazitätszusicherungen, Slot-Konflikte und Probleme beim Monitoring von Reservierungen.

Datenaufnahme, -streaming und -übertragung

Fehler beim Laden von Daten, Streamen von Datensätzen oder Synchronisieren externer Quellen diagnostizieren.

  • Fehlerbehebung bei Datenübertragungen Diagnostizieren Sie Probleme mit BigQuery Data Transfer Service, Netzwerkverbindungen für private Übertragungen und Fehler beim Laden von CSV-Daten.
  • Fehlerbehebung bei Übertragungskonfigurationen. Konfigurationsfehler im BigQuery Data Transfer Service für Quellen wie Amazon Simple Storage Service (Amazon S3), Salesforce, Google Ads und Cloud Storage beheben.
  • Fehlerbehebung für die BigQuery Storage API. Fehler bei der Streamingaufnahme, Fehler beim Einfügen auf Zeilenebene und Durchsatzkontingente für die BigQuery Storage Read API, die BigQuery Storage Write API (gRPC) und die BigQuery Storage Write API (REST) beheben.
  • Fehlerbehebung bei Schemafehlern Beheben Sie Fehler aufgrund von Schemadiskrepanzen bei Lade-, Abfrage-, Kopier- und Schemaaktualisierungsvorgängen (z. B. fehlende, doppelte oder inkompatible Spaltenänderungen) und Limits für die Verschachtelungstiefe von Schemas, Dateien und Routinen auf 15 Ebenen.

Data-Warehouse-Migration

Diagnostizieren Sie Probleme beim Bewerten, Übersetzen oder Migrieren externer Data Warehouses zu BigQuery.

Externe Datenquellen und föderierte Abfragen

Diagnostizieren Sie Verbindungs-, Authentifizierungs- und Ausführungsfehler, wenn Sie Daten außerhalb von BigQuery abfragen.

Abweichungen bei Abrechnung und Kosten

Unerwartete Kosten und Abrechnungsabweichungen bei Computing und Speicher untersuchen.

Datenverlust minimieren

Verwenden Sie die folgenden Tools für die Notfallwiederherstellung und Datenaufbewahrung, um geänderte oder gelöschte Verlaufsdaten wiederherzustellen oder die Geschäftskontinuität während eines regionalen Ausfalls aufrechtzuerhalten:

  • Daten wiederherstellen Tabellendaten abfragen oder wiederherstellen, die innerhalb des Zeitreisefensters geändert oder gelöscht wurden. Weitere Informationen finden Sie unter Daten wiederherstellen.
  • Zeitreise. Aktualisierte oder gelöschte Daten in einem Dataset für einen konfigurierten Aufbewahrungszeitraum aufbewahren, um sie vor versehentlichen Änderungen zu schützen. Weitere Informationen finden Sie unter Zeitreisen.
  • Regionaler Failover: Sekundäres Replikat während eines regionalen Ausfalls bei Verwendung der von BigQuery verwalteten Notfallwiederherstellung zur primären Rolle hochstufen. Weitere Informationen finden Sie unter Regionales Failover.

APIs verwenden

Wenn Sie programmatisch mit BigQuery interagieren, verwenden Sie die folgenden Ressourcen, um die Anfragelatenz zu optimieren und Upload-Workflows zu verwalten:

  • API-Leistungstipps Befolgen Sie die Best Practices für API-Aufrufe, z. B. das Verwalten von Verbindungspools, das Verwenden von Batchvorgängen und das Verarbeiten von Wiederholungsversuchen. Weitere Informationen finden Sie unter API-Leistungstipps.
  • API-Uploads: Fehlerbehebung und Verwaltung der Datenaufnahme mit fortsetzbaren und mehrteiligen Uploadanfragen der REST API. Weitere Informationen finden Sie unter API-Uploads.

Authentifizierung und Standardanmeldedaten für Anwendungen

Hilfe zur Behebung häufiger Probleme, die bei der Verwendung von Standardanmeldedaten für Anwendungen (Application Default Credentials, ADC) auftreten können, finden Sie unter Fehlerbehebung bei der ADC-Einrichtung.

Nächste Schritte