Jobs überwachen

Als BigQuery-Administrator können Sie Jobs in Ihrer gesamten Organisation über einen administrativen Job-Explorer in der Google Cloud Console überwachen. Der Job-Explorer bietet Filter und Sortieroptionen, mit denen Sie problematische Jobs identifizieren, vergleichen und beheben können. Sie müssen keine INFORMATION_SCHEMA-Abfragen schreiben, um Jobdetails wie Inhaber, Projekt, Slotnutzung, Dauer und mehr aufzurufen.

Mit dem Job-Explorer können Sie Folgendes tun:

  • Jobs filtern und identifizieren. Suchen Sie nach bestimmten Abfragen in Ihrer gesamten Organisation, indem Sie Filter anwenden basierend auf Kriterien wie Job status, Dauer, Inhaber oder Slotnutzung.
  • Fehlerbehebung bei Jobs. Wählen Sie einzelne Jobs aus, um auf der Seite Job details (Vorschau) die Ausführungsgrafiken, den SQL-Text und den Ausführungsverlauf der Abfrage aufzurufen.
  • Leistung vergleichen. Vergleichen Sie Jobs (Vorschau), um erhebliche Unterschiede bei den Messwerten hervorzuheben und potenzielle Leistungsprobleme zu beheben.
  • KI-Unterstützung nutzen. Verwenden Sie Gemini Code Assist direkt im Job-Explorer (Vorschau), um Jobstatistiken zu analysieren oder langsam ausgeführte Abfragen zu erklären.

BigQuery stellt die Jobdetails und Statistiken aus den folgenden INFORMATION_SCHEMA-Ansichten bereit:

Hinweis

Informationen zur Verwendung von Gemini Code Assist zur Fehlerbehebung bei Jobs in BigQuery (Vorschau), finden Sie unter Gemini Code Assist einrichten um die API zu aktivieren und die erforderlichen Rollen zuzuweisen.

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Überwachen von Jobs mit dem Job-Explorer benötigen:

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Überwachen von Jobs mit dem Job-Explorer erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen , um die notwendigen Berechtigungen anzuzeigen, die erforderlich sind:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind erforderlich, um Jobs mit dem Job-Explorer zu überwachen:

  • Jobs auf Projektebene ansehen: bigquery.jobs.listAll für das Projekt
  • Jobs auf Organisationsebene ansehen: bigquery.jobs.listAll für die Organisation
  • Nach Reservierungen in Ihrer Organisation filtern: bigquery.reservations.list für die Organisation

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Informationen zur Verwendung von Gemini Code Assist zur Fehlerbehebung bei Jobs finden Sie unter zusätzlichen IAM-Anforderungen für die Verwendung von Gemini Code Assist.

Jobs filtern

So filtern Sie Jobs nach Abfragen, die in den Ansichten INFORMATION_SCHEMA.JOBS* enthalten sind:

  1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

    BigQuery aufrufen

  2. Klicken Sie im Navigationsmenü auf Job-Explorer.

  3. Wählen Sie aus der Liste Standort die Region aus, für die Sie die Jobs aufrufen möchten.

  4. Wenden Sie optional Filter an:

    • Jobbereich: Filtert Jobs nach ihrer Sichtbarkeitsebene, z. B. das aktuelle Projekt, die Organisation und Ihre Jobs. Sie können Jobs aus dem aktuellen Projekt, aus Ihrer gesamten Organisation oder nur Jobs aufrufen, die Sie initiiert haben.
    • Status: Filtert Jobs nach ihrem aktuellen Ausführungsstatus, z. B. abgeschlossen, Fehler, aktiv und in der Warteschlange. So können Sie aktive oder fehlgeschlagene Jobs identifizieren.
    • Jobkategorie: Filtert Jobs nach dem Typ der ausgeführten Operation, z. B. Standard-SQL-Abfragen oder kontinuierliche Abfragen, die für die Echtzeit-Daten verarbeitung verwendet werden.
    • Grund für Joberstellung: Filtert Jobs danach, warum sie von BigQuery erstellt wurden, z. B. wenn eine Abfrage ein Zeitlimit überschreitet oder Ergebnisse liefert, die zu groß für eine einzelne Antwort sind.
    • Jobpriorität: Filtert Jobs nach ihrer Ausführungspriorität, z. B. interaktive Jobs oder Batchjobs.
    • Job-ID: Filtert nach einem bestimmten Job anhand seiner eindeutigen alphanumerischen Kennung.
    • Inhaber: Filtert Jobs nach der E-Mail-Adresse des Nutzers oder Dienstkontos der bzw. das den Job gestartet hat.
    • Projekt-ID: Filtert Jobs, die in einem bestimmten Projekt ausgeführt wurden. Dieser Filter ist nur verfügbar, wenn Jobbereich auf Organisation festgelegt ist.
    • Reservierungs-ID: Filtert Jobs, die Slots aus einer bestimmten Reservierung verwendet haben. So können Sie beobachten, wie verschiedene Arbeitslasten die reservierte Kapazität nutzen.
    • Slotzeit mehr als: Filtert nach Jobs, die mehr als eine bestimmte Anzahl von Slot-Millisekunden verbraucht haben. Dies ist ein wichtiger Messwert, um ressourcenintensive Abfragen zu identifizieren.
    • Dauer mehr als: Filtert nach Jobs, deren Ausführung länger als eine bestimmte Zeit gedauert hat. Verwenden Sie diese Option, um Abfragen zu finden, die langsamer als erwartet ausgeführt werden.
    • Verarbeitete Byte mehr als: Filtert nach Jobs, bei denen mehr als eine bestimmte Datenmenge gescannt wurde. So können Sie Abfragen identifizieren, die möglicherweise zu hohen Kosten für die Datenverarbeitung beitragen.
    • Abfragestatistiken: Filtert Jobs, bei denen BigQuery bestimmte Leistungsprobleme festgestellt hat, z. B. Slot-Konflikte, überschrittene Arbeitsspeicher-Shuffle-Kapazität und Änderung der Dateneingabeskalierung.
    • Abfrage-Hash: Filtert nach Jobs mit einem bestimmten Abfrage-Hash. Ein Abfrage-Hash identifiziert die Logik einer Abfrage und ignoriert Unterschiede in Kommentaren, Parameterwerten, UDFs und Literalen. So können Sie alle Ausführungen derselben Abfragelogik finden. Dieses Feld wird bei erfolgreichen GoogleSQL Abfragen angezeigt, die keine Cache-Treffer sind.
    • Labels: Filtert Jobs anhand benutzerdefinierter Metadaten-Labels, die Sie oder Ihre Organisation ihnen zugewiesen haben. So können Sie Jobs nach Abteilung oder Anwendung kategorisieren und verfolgen.

Fehlerbehebung bei der Jobleistung

Auf der Seite Jobdetails können Sie Ausführungsstatistiken, SQL-Text und Abweichungen der Leistung im Zeitverlauf aufrufen, um Abfragen zu diagnostizieren und Fehler zu beheben.

Jobdetails ansehen

So rufen Sie die Details eines Jobs auf und analysieren die Ausführung der Abfrage:

  1. Rufen Sie die Seite Job-Explorer auf.

    Job-Explorer aufrufen

  2. Optional: Filtern Sie die Jobs, um die angezeigten Jobs einzugrenzen.

  3. Klicken Sie auf die Job-ID des Jobs, den Sie untersuchen möchten. Bei Abfragen, die keinen Job erstellen, wird die Abfrage-ID angezeigt und der Link ist deaktiviert. Wenn Sie auf eine gültige Job-ID klicken, wird die Seite Jobdetails geöffnet, auf der standardmäßig der Tab Leistung angezeigt wird.

Verfügbare Abfrageinformationen

Auf dem Tab Leistung in den Jobdetails werden die folgenden Informationen und Messwerte zusammengestellt, um Sie bei der Diagnose der Abfrageleistung zu unterstützen (sofern zutreffend):

  • Jobdetails: Informationen zum Job, einschließlich der Job-ID, der Erstellungs zeit, der verarbeiteten Byte und der Slotnutzung. Weitere Informationen finden Sie unter Jobdetails ansehen.
  • Ausführungsverlauf: Eine Liste der bisherigen Ausführungen der Abfrage, gruppiert nach Abfrage-Hash. Sie können einen Job aus dieser Liste auswählen, um ihn direkt mit Ihrem aktuellen Job zu vergleichen. Weitere Informationen finden Sie unter Jobs vergleichen.

  • Ausführungsgrafik: Eine visuelle Darstellung der Phasen der Abfrageausführung. Maximieren Sie den Abschnitt Ausführungsgrafik, um Slot-Konflikte, Shuffle-Kapazität und Dateneingabeskalierung zu prüfen. Weitere Informationen finden Sie unter Statistiken zur Abfrageleistung abrufen.

    Das folgende Beispiel zeigt eine Ausführungsgrafik mit aktivierter Zuordnung von SQL-Text:

    Ausführungsgrafik für Jobs.

  • Systemlast während der Ausführung: Eine Zusammenfassung der Compute-Ressourcen und Reservierungseinstellungen, die während der Jobausführung zugewiesen wurden.

Leistungsregressionen durch Vergleich von Jobs und Systemen diagnostizieren

Mit dem Tool für den Leistungsvergleich können Sie Leistungsunterschiede zwischen zwei Abfragejobs oder in zwei Systemintervallen analysieren. Die Analyse zeigt Abfragedetails, Änderungen der Ressourcennutzung und Einstellungen der Systemumgebung, die sich zwischen Ihrer Baseline- und Zielumgebung erheblich unterscheiden.

Vergleichsanalyse verstehen

Das Vergleichstool bewertet die Leistung anhand von Messwerten auf Abfrageebene und Faktoren auf Systemebene. Sie können den Schalter Nur signifikante Unterschiede anzeigen aktivieren, um die Ansicht auf Messwerte mit einer Abweichung von mehr als 20 % zu beschränken.

Signifikante Unterschiede sind farblich gekennzeichnet, damit Sie Probleme leichter erkennen können:

  • Grün: Der Messwert hat sich verbessert (z. B. eine kürzere Abfragedauer im Ziellauf).
  • Gelb: Der Messwert hat sich um weniger als 20 % verschlechtert.
  • Rot: Der Messwert hat sich um mehr als 20 % verschlechtert.

Zwei Jobs vergleichen

So vergleichen Sie einen Baseline-Job mit einer Zieljobausführung:

  1. Öffnen Sie die Seite Job-Explorer.

    Job-Explorer aufrufen

  2. Optional: Filtern Sie die Jobs, um die angezeigten Jobs einzugrenzen.

  3. Klicken Sie auf die Job-ID Ihres Baseline-Jobs, um die Seite Jobdetails zu öffnen, und wählen Sie den Tab Leistung aus.

  4. Klicken Sie im Menü Aktionen auf Job vergleichen.

  5. Klicken Sie im Feld Job 1 (Baseline-Job) auf Suchen, um den Bereich Ähnliche vergleichbare Jobs zu öffnen.

  6. Wählen Sie den Zieljob aus, den Sie mit Ihrem Baseline-Job vergleichen möchten, und klicken Sie auf Vergleichen.

  7. Optional: Wenn Sie sich auf größere Leistungsregressionen konzentrieren möchten, aktivieren Sie Nur signifikante Unterschiede anzeigen. Dadurch wird die Ansicht auf Messwerte mit einer Abweichung von mehr als 20 % beschränkt.

Wenn Sie die verglichenen Jobs jederzeit ändern möchten, klicken Sie in den Feldern für den Baseline- oder Zieljob auf Suchen und wählen Sie einen neuen Job aus der Liste der vergleichbaren Jobs aus.

Analyse auf Abfrageebene

Nach dem Vergleich von zwei Jobs können Sie den Abschnitt Analyse auf Abfrageebene aufrufen, in dem zwei Jobausführungen auf drei Tabs verglichen werden:

  • Messwerte: Vergleicht wichtige Abfragemesswerte wie Jobdauer, Slotzeit, verarbeitete Byte und nicht verwendete Beschleuniger.
  • SQL-Text: Zeigt die SQL-Anweisungen für beide Jobs an und hebt Text unterschiede hervor.
  • Ausführungsgrafik: Vergleicht die Ausführungsgrafiken beider Jobs Schritt für Schritt, um Engpässe zu ermitteln.

Zwei Systemintervalle vergleichen

Administratoren und Analysten können umfassendere Umgebungsmesswerte analysieren, indem sie einen Vergleich der Systemleistung durchführen. Mit diesem Tool können Sie historische Intervalle für bestimmte Reservierungen und Projekte vergleichen, um Änderungen der Nutzung zu erkennen und zu ermitteln, ob die Leistungsverschlechterung intern oder extern für Ihre Arbeitslast aufgetreten ist.

Sie haben folgende Möglichkeiten, um zur Ansicht für den Vergleich der Systemleistung zu navigieren:

So führen Sie einen Vergleich auf Systemebene für verschiedene Zeiträume durch:

  1. Klicken Sie in der Ansicht Vergleich der Systemleistung auf System.
  2. Wählen Sie das System aus, in dem Sie die Leistung analysieren möchten, indem Sie auf Suchen klicken und einen Reservierungs- oder Projektbereich auswählen.
  3. Legen Sie die Zeiträume für den Vergleich fest:
    • Zielintervall: Wählen Sie das Datums- und Zeitfenster für den Zeitraum aus, in dem Leistungsprobleme aufgetreten sind, und klicken Sie auf Übernehmen.
    • Baseline-Intervall: Wählen Sie das Referenzdatum und ‑zeitfenster aus, das als Leistungsbenchmark dienen soll, und klicken Sie auf Übernehmen.

Analyse auf Systemebene

Nach dem Vergleich von Intervallen werden in der Ansicht die Änderungen der Nutzung, die Abweichungen der Nebenläufigkeit und die Unterschiede bei den Einstellungen in der ausgewählten Umgebung im Vergleich zur übergeordneten Gruppe dargestellt. So können Sie feststellen, ob Slot-Konflikte oder Konfigurationsregressionen Ihre Arbeitslast beeinträchtigen. Die Daten werden in drei Blöcken generiert:

  • Projekt: Vergleicht die Jobnebenläufigkeit, die Nebenläufigkeit in der Warteschlange und die Gesamtnutzung von Slots auf Projektebene.
  • Reservierung: Vergleicht die Reservierungsauslastung, die Freigabe von inaktiven Slots und die Projektnebenläufigkeit für freigegebene Reservierungen.
  • Konfigurationsanalyse: Vergleicht die Einstellungen für die Arbeitslastverwaltung zwischen den beiden Läufen, z. B. die Obergrenzen für die maximale Reservierungsgröße und die Regeln für das Ausleihen von inaktiven Slots.

Agentenbasierte Statistiken zur Fehlerbehebung bei der Leistung verwenden

Wenn Sie Feedback zu diesem Feature geben oder Support dafür anfordern möchten, senden Sie eine E-Mail an bq-performance-troubleshooting+feedback@google.com.

Wenn Sie Verwaltungsaufgaben überwachen oder Leistungsvergleiche auswerten, integriert BigQuery zugrunde liegende Observability-Diagnosen in Gemini Cloud Assist, um den Chatbereich in einen aktiven Assistenten zur Fehlerbehebung zu verwandeln, während Sie Anomalien auf Job- und Systemebene beheben.

Der Zugriff auf die Statistiken wird gesteuert. Ohne ausreichende Berechtigungen sind die Statistiken, die Sie erhalten, möglicherweise eingeschränkt. Weitere Informationen zu Berechtigungen finden Sie unter Zugriff auf Ressourcen mit IAM steuern.

Fehlerbehebung bei der Leistung im Chat

So initialisieren Sie die kontextbezogene Fehlerbehebung und reagieren auf Leistungsstatistiken:

  1. Führen Sie einen der folgenden Schritte aus, um den Gemini Cloud Assist-Chatbereich zu öffnen und den relevanten Job- oder Systemkontext automatisch zu laden:
    • Bewegen Sie auf den Seiten Job-Explorer oder Jobverlauf den Mauszeiger auf einen Job und klicken Sie spark auf Gemini in dieser Tabellenzeile.
    • Bewegen Sie auf der Seite Arbeitslastverwaltung den Mauszeiger auf eine Reservierung und klicken Sie in dieser Tabellenzeile auf spark Gemini.
    • Klicken Sie in Studio, Monitoring oder Job-Explorer auf spark Gemini.
  2. Senden Sie einen Prompt in natürlicher Sprache. Sie können Gemini beispielsweise bitten, zu erklären, warum ein Job langsam ausgeführt wird, bestimmte Jobstatistiken zu analysieren, die Leistung einer bestimmten Reservierung zu analysieren, Probleme mit der Systemleistung zu beheben oder Leistungsabweichungen zwischen zwei ähnlichen historischen Jobs zu vergleichen.
  3. Wenn ein Schwellenwert auf Organisationsebene oder Reservierungsebene überschritten wird, z. B. eine erhebliche Jobwarteschlange aufgrund eines unerwarteten Anstiegs der aktiven Projektnebenläufigkeit, sehen Sie sich den generierten Bericht Leistungsstatistiken an. In diesem Bericht werden kritische Engpässe detailliert beschrieben, z. B.:
    • Erhöhte Nebenläufigkeit in der Warteschlange: Spitzen bei gleichzeitigen Abfrageanforderungen, die die weichen Grenzwerte für die Nebenläufigkeit oder die Zuweisungen von Reservierungsslots überschreiten.
    • Erhöhte Projektnebenläufigkeit: Verfolgen der genauen Projekte mit hoher Nebenläufigkeit oder der wichtigsten Nutzerkonten, die die Systemlast für freigegebene Reservierungen oder On-Demand-Kontingente verursachen.
  4. In der Tabelle Vergleich der wichtigsten Messwerte können Sie genaue numerische Unterschiede nachvollziehen, z. B. Änderungen der durchschnittlichen Projektnebenläufigkeit, der Warteschlangenslots oder der Obergrenzen für die maximale Anzahl von Reservierungsslots.

  5. Führen Sie Inlines-Lösungen direkt über die von Gemini Cloud Assist generierten Links für die Übergabe von Aktionen aus. Diese Verknüpfungen leiten Sie zu bestimmten In-Product-Tools mit vorab ausgefülltem Kontext weiter, um Ihre Fragen zu beantworten und Probleme zu beheben:

    • Reservierung bearbeiten: Öffnet den Seitenbereich für die Arbeitslastverwaltung, um die maximale Reservierungsgröße anzupassen oder erweiterte Skalierungsfunktionen zu aktivieren.
    • Jobleistung im Job-Explorer ansehen: Öffnet den Tab mit den Leistungsdetails für den jeweiligen Job.
    • Jobleistung im Job-Explorer vergleichen: Vergleicht die Leistung von zwei Jobs nebeneinander.

Preise

Der Job-Explorer ist ohne zusätzliche Kosten verfügbar. Abfragen, die zum Füllen dieser Diagramme verwendet werden, werden nicht in Rechnung gestellt und verwenden keine Slots in nutzereigenen Reservierungen. Bei Abfragen, die zu viele Daten verarbeiten, wird eine Zeitüberschreitung festgestellt.

Nächste Schritte