Monitoring von Jobs

Als BigQuery-Administrator können Sie Jobs in Ihrer Organisation über einen administrativen Job-Explorer in der Google Cloud -Konsole überwachen. Der Job-Explorer bietet Filter und Sortieroptionen, mit denen Sie problematische Jobs identifizieren, vergleichen und Fehler beheben können. Sie müssen keine INFORMATION_SCHEMA-Abfragen schreiben, um Jobdetails wie Inhaber, Projekt, Slot-Nutzung und Dauer aufzurufen.

Mit dem Job-Explorer haben Sie folgende Möglichkeiten:

  • Jobs filtern und identifizieren: Sie können in Ihrer Organisation nach bestimmten Anfragen suchen, indem Sie Filter anwenden, die auf Kriterien wie Jobstatus, Dauer, Inhaber oder Slotnutzung basieren.
  • Fehlerbehebung bei Jobs Wählen Sie einzelne Jobs aus, um sich auf der Seite Jobdetails (Vorabversion) die Diagramme zur Abfrageausführung, den SQL-Text und den Ausführungsverlauf anzusehen.
  • Leistung vergleichen Jobs vergleichen (Vorschau), um erhebliche Messwertunterschiede hervorzuheben und potenzielle Leistungsprobleme zu beheben.
  • KI-Unterstützung erhalten Gemini Code Assist direkt über die Jobübersicht (Vorabversion) verwenden, um Jobstatistiken zu analysieren oder langsam ausgeführte Abfragen zu erklären.

BigQuery stellt die Jobdetails und Statistiken aus den folgenden INFORMATION_SCHEMA-Ansichten bereit:

Hinweis

Wenn Sie Gemini Code Assist verwenden möchten, um Fehler bei Jobs in BigQuery (Vorabversion) zu beheben, müssen Sie die API aktivieren und die erforderlichen Rollen zuweisen. Weitere Informationen finden Sie unter Gemini Code Assist einrichten.

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zur Verwendung des Job-Explorers zum Überwachen von Jobs benötigen:

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Überwachen von Jobs mit dem Job-Explorer erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen, um die notwendigen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind erforderlich, um Jobs mit dem Job-Explorer zu überwachen:

  • So rufen Sie Jobs auf Projektebene auf: bigquery.jobs.listAll für das Projekt
  • So rufen Sie Jobs auf Organisationsebene auf: bigquery.jobs.listAll für die Organisation
  • Nach Reservierungen in Ihrer Organisation filtern: bigquery.reservations.list für die Organisation

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Wenn Sie Gemini Code Assist zur Fehlerbehebung bei Jobs verwenden möchten, lesen Sie die zusätzlichen IAM-Anforderungen für die Verwendung von Gemini Code Assist.

Jobs filtern

So filtern Sie Jobs nach Abfragen, die in den Ansichten INFORMATION_SCHEMA.JOBS* enthalten sind:

  1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

    BigQuery aufrufen

  2. Klicken Sie im Navigationsmenü auf Jobs Explorer.

  3. Wählen Sie aus der Liste Standort die Region aus, für die Sie die Jobs aufrufen möchten.

  4. Wenden Sie bei Bedarf optionale Filter an:

    • Jobbereich: Filtert Jobs nach ihrer Sichtbarkeitsebene, z. B. das aktuelle Projekt, die Organisation und Ihre Jobs. Sie können auswählen, ob Sie Jobs aus dem aktuellen Projekt, aus Ihrer gesamten Organisation oder nur Jobs sehen möchten, die Sie gestartet haben.
    • Status: Filtert Jobs nach ihrem aktuellen Ausführungsstatus, z. B. „Abgeschlossen“, „Fehler“, „Aktiv“ und „In der Warteschlange“. So können Sie aktive oder fehlgeschlagene Jobs identifizieren.
    • Job category (Jobkategorie): Filtert Jobs nach dem Typ der ausgeführten Operation, z. B. Standard-SQL-Abfragen oder kontinuierliche Abfragen, die für die Echtzeitdatenverarbeitung verwendet werden.
    • Grund für die Job-Erstellung: Filtert Jobs danach, warum sie von BigQuery erstellt wurden, z. B. wenn eine Abfrage ein Zeitlimit überschreitet oder Ergebnisse erzeugt, die zu groß für eine einzelne Antwort sind.
    • Job priority (Jobpriorität): Filtert Jobs nach ihrer Ausführungspriorität, z. B. interaktive oder Batch-Jobs.
    • Job-ID: Filtert nach einem bestimmten Job anhand seiner eindeutigen alphanumerischen Kennung.
    • Inhaber: Filtert Jobs nach der E-Mail-Adresse des Nutzers oder Dienstkontos, der bzw. das den Job gestartet hat.
    • Projekt-ID: Filtert Jobs, die in einem bestimmten Projekt ausgeführt wurden. Dieser Filter ist nur verfügbar, wenn der Jobumfang auf Organisation festgelegt ist.
    • Reservierungs-ID: Filtert Jobs, für die Slots aus einer bestimmten Reservierung verwendet wurden. So können Sie beobachten, wie verschiedene Arbeitslasten die reservierte Kapazität nutzen.
    • Slot-Zeit mehr als: Filtert nach Jobs, die mehr als eine bestimmte Anzahl von Slot-Millisekunden verbraucht haben. Dies ist ein wichtiger Messwert, um ressourcenintensive Abfragen zu identifizieren.
    • Dauer mehr als: Filtert nach Jobs, deren Ausführung länger als ein bestimmter Zeitraum gedauert hat. Verwenden Sie diesen Filter, um Abfragen zu finden, die langsamer als erwartet ausgeführt werden.
    • Verarbeitete Byte mehr als: Filtert nach Jobs, bei denen mehr als eine angegebene Datenmenge gescannt wurde. So können Sie Abfragen identifizieren, die möglicherweise zu hohen Kosten für die Datenverarbeitung beitragen.
    • Abfragestatistiken: Filtert Jobs, bei denen BigQuery bestimmte Leistungsprobleme erkannt hat, z. B. Slot-Konflikte, überschrittene Arbeitsspeicher-Shuffle-Kapazität und Änderung der Dateneingabeskalierung.
    • Query-Hash: Filtert nach Jobs mit einem bestimmten Query-Hash. Ein Query-Hash identifiziert die Logik einer Abfrage und ignoriert Unterschiede bei Kommentaren, Parameterwerten, UDFs und Literalen. So können Sie alle Ausführungen derselben Abfragelogik finden. Dieses Feld wird bei erfolgreichen GoogleSQL-Abfragen angezeigt, die keine Cache-Treffer sind.
    • Labels: Hiermit werden Jobs anhand von benutzerdefinierten Metadatenlabels gefiltert, die Sie oder Ihre Organisation ihnen zugewiesen haben. So können Sie Jobs nach Abteilung oder Anwendung kategorisieren und verfolgen.

Jobleistung analysieren

Auf der Seite Jobdetails können Sie Ausführungsstatistiken, SQL-Text und bisherige Leistungsvarianzen ansehen, um Abfragen zu diagnostizieren und Fehler zu beheben.

Auftragsdetails aufrufen

So rufen Sie die Details eines Jobs auf und analysieren die Ausführung der zugehörigen Abfrage:

  1. Rufen Sie die Seite Job-Explorer auf.

    Zum Job-Explorer

  2. Optional: Wenn Sie die angezeigten Jobs eingrenzen möchten, filtern Sie die Jobs.

  3. Klicken Sie auf die Job-ID des Jobs, den Sie untersuchen möchten. Bei Abfragen, für die kein Job erstellt wird, wird die Abfrage-ID angezeigt und der Link ist deaktiviert. Wenn Sie auf eine gültige Job-ID klicken, wird die Seite Jobdetails mit dem Tab Leistung geöffnet.

Verfügbare Informationen zu Anfragen

Um die Diagnose der Abfrageleistung zu erleichtern, werden auf dem Tab Leistung in den Jobdetails die folgenden Informationen und Messwerte zusammengestellt, sofern zutreffend:

  • Jobdetails: Informationen zum Job, einschließlich der Job-ID, der Erstellungszeit, der verarbeiteten Byte und der Slot-Nutzung. Weitere Informationen finden Sie unter Jobdetails ansehen.
  • Ausführungsverlauf: Eine Liste mit früheren Ausführungen der Abfrage, gruppiert nach dem Hash der Abfrage. Sie können einen Job aus dieser Liste auswählen, um ihn direkt mit Ihrem aktuellen Job zu vergleichen. Weitere Informationen finden Sie unter Jobs vergleichen.

  • Ausführungsgrafik: eine visuelle Darstellung der Phasen der Abfrageausführung. Maximieren Sie den Bereich Ausführungsgraph, um Slot-Konflikte, Shuffle-Kapazität und Dateneingabeskalierung zu prüfen. Weitere Informationen finden Sie unter Statistiken zur Abfrageleistung abrufen.

    Das folgende Beispiel zeigt einen Ausführungsgraphen mit aktivierter SQL-Textzuordnung:

    Ausführungsgrafik für Jobs.

  • Systemlast während der Ausführung: eine Zusammenfassung der Compute-Ressourcen und Reservierungseinstellungen, die während der Jobausführung zugewiesen wurden.

Leistungsabfälle durch Vergleichen von Jobs und Systemen diagnostizieren

Mit dem Tool zum Leistungsvergleich können Sie Leistungsunterschiede zwischen zwei Abfragejobs oder über zwei Systemintervalle hinweg analysieren. Die Analyse enthält Details zu Anfragen, Änderungen bei der Ressourcennutzung und Einstellungen der Systemumgebung, die sich erheblich zwischen Ihrer Baseline- und Ihrer Zielumgebung unterscheiden.

Vergleichsanalyse

Mit dem Vergleichstool wird die Leistung anhand von Messwerten auf Abfrageebene und Faktoren auf Systemebene bewertet. Sie können die Ein/Aus-Schaltfläche Nur signifikante Unterschiede anzeigen aktivieren, um die Ansicht auf Messwerte mit einer Abweichung von mehr als 20 % zu beschränken.

Signifikante Unterschiede sind farblich codiert, damit Sie Probleme leichter erkennen:

  • Grün: Der Messwert hat sich verbessert, z. B. eine kürzere Abfragedauer im Ziel-Lauf.
  • Gelb: Der Messwert hat sich um weniger als 20 % verschlechtert.
  • Rot: Der Messwert hat sich um mehr als 20 % verschlechtert.

Zwei Jobs vergleichen

So vergleichen Sie einen Baseline-Job mit der Ausführung eines Zieljobs:

  1. Rufen Sie die Seite Job-Explorer auf.

    Zum Job-Explorer

  2. Optional: Wenn Sie die angezeigten Jobs eingrenzen möchten, filtern Sie die Jobs.

  3. Klicken Sie auf die Job-ID Ihres Baseline-Jobs, um die Seite Jobdetails zu öffnen, und wählen Sie den Tab Leistung aus.

  4. Klicken Sie im Menü Aktionen auf Job vergleichen.

  5. Klicken Sie im Feld Job 1 (Baseline-Job) auf Durchsuchen, um den Bereich Ähnliche vergleichbare Jobs zu öffnen.

  6. Wählen Sie den Zieljob aus, den Sie mit Ihrer Baseline vergleichen möchten, und klicken Sie auf Vergleichen.

  7. Optional: Wenn Sie sich auf größere Leistungsverschlechterungen konzentrieren möchten, aktivieren Sie Nur signifikante Unterschiede anzeigen. Dadurch wird die Ansicht auf Messwerte mit einer Abweichung von mehr als 20 % beschränkt.

Wenn Sie die verglichenen Jobs jederzeit ändern möchten, klicken Sie in den Feldern für den Baseline- oder Ziel-Job auf Durchsuchen und wählen Sie einen neuen Job aus der Liste der vergleichbaren Jobs aus.

Analyse auf Abfrageebene

Nachdem Sie zwei Jobs verglichen haben, können Sie den Bereich Analyse auf Abfrageebene aufrufen. Dort werden zwei Jobausführungen auf drei Tabs verglichen:

  • Messwerte: Vergleicht wichtige Abfragemesswerte wie Jobdauer, Slotzeit, verarbeitete Byte und nicht verwendete Beschleuniger.
  • SQL-Text: Hier werden die SQL-Anweisungen für beide Jobs angezeigt und Textunterschiede hervorgehoben.
  • Ausführungsgrafik: Vergleicht die Ausführungsgrafiken beider Jobs stufenweise, um Engpässe zu ermitteln.

Zwei Systemintervalle vergleichen

Administratoren und Analysten können umfassendere Umgebungsmesswerte analysieren, indem sie einen Systemleistungsvergleich durchführen. Mit diesem Tool können Sie historische Intervalle für bestimmte Reservierungen und Projekte vergleichen, um Nutzungsänderungen nachzuvollziehen und zu ermitteln, ob eine Leistungsverschlechterung intern oder extern für Ihre Arbeitslast aufgetreten ist.

Sie haben folgende Möglichkeiten, um auf die Ansicht „Systemleistungsvergleich“ zuzugreifen:

  • Klicken Sie auf der Seite Jobdetails, nachdem Sie zwei Jobs verglichen haben, im Bereich Ausgaben auf Systemebene auf Mehr ansehen, um Details zum Systemvergleich aufzurufen.
  • Wenn Sie Gemini Cloud Assist verwenden, um einen Systemvergleich durchzuführen, wird ein Link generiert, über den Sie die Ergebnisse des Systemvergleichs aufrufen können.

So führen Sie einen Vergleich auf Systemebene über separate Zeiträume hinweg durch:

  1. Klicken Sie in der Ansicht Vergleich der Systemleistung auf System.
  2. Wählen Sie das System aus, in dem Sie die Leistung analysieren möchten. Klicken Sie dazu auf Durchsuchen und wählen Sie einen Reservierungs- oder Projektbereich aus.
  3. Vergleichszeiträume definieren:
    • Zielintervall: Wählen Sie das Datums- und Zeitfenster für den Zeitraum aus, in dem Leistungsprobleme auftreten, und klicken Sie auf Übernehmen.
    • Baseline-Zeitraum: Wählen Sie das Referenzdatum und ‑zeitfenster aus, das als Leistungsbenchmark dienen soll, und klicken Sie auf Übernehmen.

Analyse auf Systemebene

Nach dem Vergleich von Intervallen werden in der Ansicht die Auslastungsänderungen, Unterschiede bei der Nebenläufigkeit und Einstellungsunterschiede in der ausgewählten Umgebung im Vergleich zur übergeordneten Gruppe dargestellt. So können Sie feststellen, ob sich Slot-Konflikte oder Konfigurationsregressionen auf Ihre Arbeitslast auswirken. Die Daten werden in drei Blöcken generiert:

  • Projekt: Vergleicht die Jobnebenläufigkeit, die Nebenläufigkeit in der Warteschlange und die Gesamtnutzung von Slots auf Projektebene.
  • Reservierung: Vergleicht die Reservierungsauslastung, die gemeinsame Nutzung inaktiver Slots und die Projektgleichzeitigkeit für freigegebene Reservierungen.
  • Konfigurationsanalyse: Vergleicht die Einstellungen für die Arbeitslastverwaltung zwischen den beiden Läufen, z. B. Obergrenzen für die maximale Reservierungsgröße und Regeln für das Ausleihen von inaktiven Slots.

Informationen zur Fehlerbehebung bei der Agent-Leistung verwenden

Wenn Sie Feedback geben oder Support für dieses Feature anfordern möchten, senden Sie eine E-Mail an bq-performance-troubleshooting+feedback@google.com.

Wenn Sie Verwaltungsaufgaben überwachen oder Leistungsvergleiche auswerten, integriert BigQuery zugrunde liegende Observability-Diagnosen in Gemini Cloud Assist, um den Chatbereich in einen aktiven Assistenten für die Fehlerbehebung zu verwandeln, während Sie Anomalien auf Job- und Systemebene beheben.

Der Zugriff auf die Statistiken wird kontrolliert. Ohne ausreichende Berechtigungen sind die Statistiken, die Sie erhalten, möglicherweise eingeschränkt. Weitere Informationen zu Berechtigungen finden Sie unter Zugriff auf Ressourcen mit IAM steuern.

Leistungsprobleme im Chat beheben

So initialisieren Sie die kontextbezogene Fehlerbehebung und reagieren auf Leistungsstatistiken:

  1. Führen Sie einen der folgenden Schritte aus, um den Chatbereich von Gemini Cloud Assist zu öffnen und den relevanten Job- oder Systemkontext automatisch zu laden:
    • Bewegen Sie den Mauszeiger auf den Job und klicken Sie in dieser Tabellenzeile auf spark Gemini.
    • Bewegen Sie auf der Seite Kapazitätsverwaltung den Mauszeiger auf eine Reservierung und klicken Sie in dieser Tabellenzeile auf spark Gemini.
    • Klicken Sie in Studio, Monitoring oder Job-Explorer auf spark Gemini.
  2. Stellen Sie eine Anfrage in natürlicher Sprache. Sie können Gemini beispielsweise bitten, zu erklären, warum ein Job langsam ausgeführt wird, bestimmte Jobstatistiken oder die Leistung einer bestimmten Reservierung zu analysieren, Probleme mit der Systemleistung zu beheben oder Leistungsabweichungen zwischen zwei ähnlichen früheren Jobs zu vergleichen.
  3. Wenn ein Schwellenwert auf Organisations- oder Reservierungsebene überschritten wird, z. B. eine starke Warteschlange für Slots aufgrund eines unerwarteten Anstiegs der Nebenläufigkeit aktiver Projekte, sehen Sie sich den generierten Leistungsübersichtsbericht an. Dieser Bericht enthält wichtige Engpässe wie die folgenden:
    • Erhöhte Anzahl gleichzeitiger Anfragen in der Warteschlange: Spitzen bei der Nachfrage nach gleichzeitigen Abfragen, die die weichen Limits für die Nebenläufigkeit oder die Zuweisung von Reservierungsslots überschreiten.
    • Höhere Projektgleichzeitigkeit: Sie können genau nachvollziehen, welche Projekte mit hoher Nebenläufigkeit oder welche Nutzerkonten die Systemlast bei freigegebenen Reservierungen oder On-Demand-Kontingenten verursachen.
  4. In der Tabelle Vergleich der wichtigsten Messwerte können Sie genaue numerische Unterschiede nachvollziehen, z. B. Änderungen bei der durchschnittlichen Projektgleichzeitigkeit, bei Warteschlangenplätzen oder bei den Obergrenzen für maximale Reservierungsplätze.

  5. Inline-Lösungen direkt über handlungsfähige Übergabelinks ausführen, die von Gemini Cloud Assist generiert werden. Diese Verknüpfungen leiten Sie zu bestimmten In-Product-Tools mit vorausgefülltem Kontext weiter, damit Ihre Fragen beantwortet und Probleme behoben werden können:

    • Reservierung bearbeiten: Öffnet die Seitenleiste für die Arbeitslastverwaltung, in der Sie die maximale Reservierungsgröße anpassen oder erweiterte Skalierungsfunktionen aktivieren können.
    • Jobleistung im Job-Explorer ansehen: Öffnet den Tab „Leistungsdetails“ für den jeweiligen Job.
    • Jobleistung im Job-Explorer vergleichen: Sie können die Leistung von zwei Jobs nebeneinander vergleichen.

Preise

Der Job-Explorer ist ohne zusätzliche Kosten verfügbar. Abfragen, die zum Füllen dieser Diagramme verwendet werden, werden nicht in Rechnung gestellt und verwenden keine Slots in nutzereigenen Reservierungen. Bei Abfragen, die zu viele Daten verarbeiten, wird eine Zeitüberschreitung festgestellt.

Nächste Schritte