Administrativen Job-Explorer verwenden

Als BigQuery-Administrator können Sie den administrativen Job-Explorer verwenden, um die Jobaktivität in Ihrer Organisation zu überwachen. Der Job-Explorer bietet auch eine Reihe von Filtern und Sortieroptionen, um problematische Jobs zu beheben und zu identifizieren. Mit dem Job-Explorer müssen Sie nicht über detaillierte Kenntnisse von INFORMATION_SCHEMA verfügen. Sie können Jobinformationen wie Inhaber, Projekt, Slot-Nutzung und Dauer schnell aufrufen, ohne INFORMATION_SCHEMA-Abfragen schreiben zu müssen.

Sie können auch einzelne Jobs auswählen, um die Seite mit den Jobdetails zu öffnen. Dort finden Sie Abfragedetails wie Ausführungsgrafiken, SQL-Text und Ausführungsverlauf, mit denen Sie Abfragen diagnostizieren und Fehler beheben können. Auf dieser Seite können Sie zwei Jobs vergleichen, um signifikante Unterschiede zwischen ihnen hervorzuheben und potenzielle Leistungsprobleme zu beheben.

BigQuery stellt Jobdetails und Statistiken über die folgenden INFORMATION_SCHEMA-Ansichten bereit:

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen für Ihre Organisation oder Ihr Projekt die IAM-Rolle BigQuery Resource Viewer (roles/bigquery.resourceViewer) zu gewähren, um die Berechtigungen zu erhalten, die Sie für die Verwendung des administrativen Job-Explorers benötigen. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierte Rolle enthält die Berechtigungen, die für die Verwendung des administrativen Job-Explorers erforderlich sind. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind für die Verwendung des administrativen Job-Explorers erforderlich:

  • So rufen Sie Daten auf Projektebene auf: bigquery.jobs.listAll für das Projekt
  • So rufen Sie Daten auf Organisationsebene auf: bigquery.jobs.listAll für die Organisation
  • So filtern Sie nach Reservierungen in Ihrer Organisation: bigquery.reservations.list für die Organisation

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Jobs filtern

So filtern Sie Jobs nach Abfragen, die in den INFORMATION_SCHEMA.JOBS*-Ansichten enthalten sind:

  1. Rufen Sie in der Google Cloud Console die Seite BigQuery auf.

    BigQuery aufrufen

  2. Klicken Sie im Navigationsmenü auf Job-Explorer.

  3. Wählen Sie aus der Liste Standort die Region aus, für die Sie die Jobs aufrufen möchten.

  4. Wenden Sie nach Bedarf optionale Filter an:

    • Jobumfang. Beispielsweise das aktuelle Projekt, die Organisation und Ihre Jobs.
    • Status. Beispielsweise „Abgeschlossen“, „Fehler“, „Aktiv“ und „In der Warteschlange“.
    • Priorität des Jobs. Beispielsweise interaktive oder Batch-Jobs.
    • Job-ID.
    • Inhaber. E-Mail-ID des Inhabers des Jobs (nur relevant, wenn der Jobumfang „Projekt“ oder „Organisation“ ist)
    • Projekt-ID (Nur anwendbar, wenn der Jobumfang "Organisation" ist)
    • Reservierungs-ID. (Nur anwendbar, wenn der Jobumfang "Organisation" ist)
    • Slotzeit länger als. Jobs, die länger als die angegebene Slot-Zeit dauerten.
    • Dauer länger als. Jobs, die länger als die angegebene Dauer dauerten.
    • Verarbeitete Byte mehr als. Jobs, die mehr Byte als die angegebenen verarbeiteten Byte verarbeitet haben.
    • Abfragestatistiken. Arten von Abfragestatistiken, z. B. Slot-Konflikte, überschrittene Arbeitsspeicher-Shuffle-Kapazität und Änderung der Dateneingabeskalierung.
    • Abfrage-Hash. Abfrage-Hash enthält die Hashes der Abfrage. Es ist ein hexadezimaler STRING-Hash, der Kommentare, Parameterwerte, UDFs und Literale ignoriert. Dieses Feld wird bei erfolgreichen GoogleSQL-Abfragen angezeigt, die keine Cache-Treffer sind.
    • Labels. key:value-Paare, die einem Job zugewiesen werden können. Sie können nach einer Kombination aus Schlüssel, Wert oder key:value filtern.
    • Jobkategorie. Der Abfragetyp, z. B. Standard oder Kontinuierliche Abfrage.

Details zur Abfrageausführung aufrufen

So rufen Sie Details zur Abfrageausführung von Jobs auf:

  1. Rufen Sie die Seite Job-Explorer auf.

    Job-Explorer aufrufen

  2. Klicken Sie auf Job-Explorer, um Jobs aufzurufen.

  3. Filtern Sie Jobs, um nur bestimmte Jobs aufzurufen.

  4. Klicken Sie auf einen Job, für den Sie die Details zur Abfrageausführung aufrufen möchten.

  5. Klicken Sie im Bereich Abfrageergebnisse auf den Tab Ausführungsgrafik, um die Ausführungsdetails Ihres Jobs aufzurufen.

    Ausführungsgrafik für Jobs.

Informationen zum Interpretieren von Statistiken finden Sie unter Statistiken zur Abfrageleistung interpretieren.

BigQuery-Jobdetails abrufen

Wenn Sie Feedback oder Unterstützung für dieses Feature benötigen, senden Sie eine E-Mail an bq-performance-troubleshooting+feedback@google.com.

Über den administrativen Job-Explorer können Sie die BigQuery-Detailseite aufrufen. Auf der Seite mit den BigQuery-Jobdetails werden mehrere Abfragedetails auf einer Seite zusammengefasst, um die Diagnose und Fehlerbehebung von Abfragen zu erleichtern. Auf dem Tab Leistung werden Abfrageinformationen wie die Ausführungsgrafik, der SQL-Text und der Ausführungsverlauf zusammengestellt.

Der Tab Leistung unterstützt auch den Abfragevergleich. So können Sie Ihre bisherige Nutzung der Abfrage vergleichen und mögliche Leistungseinbußen analysieren und beheben. Weitere Informationen zum Jobvergleich finden Sie unter Jobs vergleichen.

Hinweis

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für Ihre Organisation oder Ihr Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie für die Arbeit mit BigQuery-Jobdetails und Details auf Systemebene benötigen:

  • Jobdetails ansehen: BigQuery-Ressourcenbetrachter (roles/bigquery.resourceViewer) – das Projekt, in dem die Abfragen ausgeführt wurden
  • Details auf Systemebene ansehen: BigQuery-Ressourcenbetrachter (roles/bigquery.resourceViewer) – das Verwaltungsprojekt

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die für die Arbeit mit BigQuery-Jobdetails und Details auf Systemebene erforderlich sind. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind für die Arbeit mit BigQuery-Jobdetails und Details auf Systemebene erforderlich:

  • So rufen Sie Daten auf Projektebene auf: bigquery.jobs.listAll für das Projekt
  • So rufen Sie Daten auf Organisationsebene auf: bigquery.jobs.listAll für die Organisation
  • So filtern Sie nach Reservierungen in Ihrer Organisation: bigquery.reservations.list für die Organisation

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Auftragsdetails aufrufen

So rufen Sie die Seite mit den Jobdetails auf:

  1. Rufen Sie die Seite Job-Explorer auf.

    Job-Explorer aufrufen

  2. Optional: Filtern Sie die Jobs um die angezeigten Jobs einzugrenzen.

  3. Klicken Sie auf die Job-ID des Jobs, den Sie aufrufen möchten. Bei Abfragen, die keinen Job erstellen, wird die Abfrage-ID angezeigt und der Link ist deaktiviert. Bei allen anderen Abfragen wird durch Klicken auf die Job-ID die Seite Jobdetails angezeigt.

Standardmäßig wird der Tab Leistung angezeigt. Sie können zu den anderen Tabs wechseln, um weitere Jobinformationen aufzurufen.

Verfügbare Abfrageinformationen

In der folgenden Liste werden die Informationen und Messwerte beschrieben, die auf dem Tab Leistung verfügbar sind.

  • SQL-Abfrage: Der Text der SQL-Abfrage, mit der der Job erstellt wurde.

  • Jobdetails: Die Informationen zum Job, einschließlich der Job-ID, der Erstellungs zeit, der verarbeiteten Byte und mehr. Weitere Informationen finden Sie unter Jobdetails ansehen.

  • Leistungsabweichung: Informationen zur Leistung des Jobs im Vergleich zu einer früheren Ausführung derselben Abfrage. BigQuery vergleicht den aktuellen Job mit einer früheren Ausführung mit einer ähnlichen Anzahl verarbeiteter Byte (+/- 5%) und der kürzesten Jobdauer, sofern vorhanden. Wenn keine solche frühere Ausführung vorhanden ist, vergleicht BigQuery den aktuellen Job mit dem Durchschnitt der früheren Ausführungen der letzten 30 Tage. Wenn keine früheren Ausführungen vorhanden sind, wird in diesem Abschnitt angegeben, dass kein ähnlicher Job für den Vergleich gefunden wurde.

  • Ausführungsverlauf: Eine Liste anderer Ausführungen dieser Abfrage nach Abfrage-Hash. In diesem Bereich können Sie einen Job auswählen, der mit dem Job verglichen werden soll, den Sie gerade ansehen. Weitere Informationen zum Vergleichen von Jobs finden Sie unter Jobs vergleichen.

  • Systemlast während der Ausführung: Eine Beschreibung der Ressourcen , die BigQuery zum Ausführen des Jobs verwendet hat. Dazu gehören gegebenenfalls Informationen zu den Reservierungseinstellungen, die von diesem Job verwendet werden.

  • Ausführungsgrafik: Die Ausführungsgrafik dieses Jobs. Weitere Informationen finden Sie unter Statistiken zur Abfrageleistung abrufen.

Jobs vergleichen

Wenn Sie Feedback oder Unterstützung für dieses Feature benötigen, senden Sie eine E-Mail an bq-performance-troubleshooting+feedback@google.com.

Mit dem Vergleich der Jobleistung können Sie Ihren Baseline-Job mit Zieljobs vergleichen. Bei der Abfrageanalyse werden Jobdetails hervorgehoben, die sich zwischen den beiden Jobs erheblich unterscheiden. So können Sie potenzielle Leistungsprobleme zwischen zwei Abfragejobs beheben.

Wichtige Details, die Sie bei einem Vergleich von zwei Abfragen zur Optimierung Ihrer Abfragen berücksichtigen sollten, sind die Jobdauer, die Slot-Zeit und die verarbeiteten Byte.

Hinweis

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für Ihre Organisation oder Ihr Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie für die Arbeit mit BigQuery-Jobdetails und Details auf Systemebene benötigen:

  • Jobdetails ansehen: BigQuery-Ressourcenbetrachter (roles/bigquery.resourceViewer) – das Projekt, in dem die Abfragen ausgeführt wurden
  • Details auf Systemebene ansehen: BigQuery-Ressourcenbetrachter (roles/bigquery.resourceViewer) – das Verwaltungsprojekt

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die für die Arbeit mit BigQuery-Jobdetails und Details auf Systemebene erforderlich sind. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind für die Arbeit mit BigQuery-Jobdetails und Details auf Systemebene erforderlich:

  • So rufen Sie Daten auf Projektebene auf: bigquery.jobs.listAll für das Projekt
  • So rufen Sie Daten auf Organisationsebene auf: bigquery.jobs.listAll für die Organisation
  • So filtern Sie nach Reservierungen in Ihrer Organisation: bigquery.reservations.list für die Organisation

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Vergleich der Jobleistung

In den folgenden Abschnitten werden die Seite Vergleich der Jobleistung und die dort bereitgestellten Informationen zur Fehlerbehebung beschrieben.

Sie können den Ein/Aus-Button Nur signifikante Unterschiede anzeigen aktivieren, um nur signifikante Unterschiede zwischen den beiden Jobs für alle auf dieser Seite enthaltenen Messwerte aufzurufen.

Signifikante Unterschiede werden grün, gelb und rot hervorgehoben:

  • Grün: Die Änderung ist positiv. Da eine kürzere Abfragedauer besser ist, wird der Zieljob beispielsweise grün markiert, wenn er schneller als der Baseline-Job ausgeführt wird.
  • Gelb: Die Änderung ist negativ, aber der Unterschied beträgt weniger als 20%.
  • Rot: Die Änderung ist negativ und der Unterschied beträgt mehr als 20%.

Analyse auf Abfrageebene

Im Bereich Analyse auf Abfrageebene werden die Unterschiede zwischen den beiden Jobs auf Abfrageebene beschrieben. Er enthält drei Tabs: Messwerte, SQL-Text und Ausführungsgrafik.

  • Auf dem Tab Messwerte werden die Abfragemesswerte für die beiden Jobs beschrieben. Auf diesem Tab können Sie feststellen, ob es Abweichungen zwischen der Jobdauer, nicht verwendeten Beschleunigern und anderen Messwerten gibt.

  • Auf dem Tab SQL-Text werden die beiden SQL-Anweisungen angezeigt, mit denen die Jobs erstellt wurden, und die Unterschiede zwischen ihnen werden hervorgehoben. Auf diesem Tab können Sie feststellen, ob sich Änderungen an den SQL-Anweisungen auf die Jobleistung ausgewirkt haben.

  • Auf dem Tab Ausführungsgrafik werden die Ausführungs grafiken der beiden Jobs verglichen. Auf diesem Tab können Sie feststellen, ob in einer Phase der Ausführung der Jobs Abweichungen aufgetreten sind.

Analyse auf Systemebene

Im Bereich Analyse auf Systemebene werden die Faktoren beschrieben, die sich auf Systemebene auf die beiden Jobs auswirken können. Er besteht aus drei Tabellen: Projekt , Reservierung und Einstellungen.

Im Bereich Analyse auf Systemebene können basierend auf den Unterschieden zwischen den beiden Abfragen Verbesserungsmöglichkeiten vorgeschlagen werden.

Wenn ein Job beispielsweise weniger Slots als bei früheren Ausführungen erhalten hat, kann dies auf Ressourceneinschränkungen im System zurückzuführen sein. Wenn dies der Fall ist, prüfen Sie die Messwerte auf Projektebene, um festzustellen, ob das Projekt insgesamt weniger Slots erhalten hat. Wenn das Projekt nicht weniger Slots erhalten hat, ist es wahrscheinlich zu Konflikten auf Projektebene gekommen, z. B. zu einer Zunahme der Nebenläufigkeit von Jobs. Wenn das Projekt weniger Slots erhalten hat, prüfen Sie die Reservierungsebene, um Einschränkungen zu ermitteln.

  • In der Tabelle Projekt werden die beiden Jobs auf Projektebene verglichen. Anhand dieser Tabelle können Sie feststellen, ob auf Projektebene eine Optimierung möglich ist.

  • In der Tabelle Reservierung werden die beiden Jobs auf Reservierungsebene verglichen. Anhand dieser Tabelle können Sie Unterschiede in der Reservierungsnutzung zwischen den beiden Abfragen ermitteln, die sich auf die Jobleistung auswirken könnten.

  • In der Tabelle Einstellungen werden die Reservierungseinstellungen der beiden Jobs verglichen. Anhand dieser Tabelle können Sie Änderungen an den Reservierungseinstellungen erkennen, die sich auf die Leistung ausgewirkt haben könnten.

Zwei Jobs vergleichen

So vergleichen Sie zwei Jobs:

  1. Rufen Sie die Seite Job-Explorer auf.

    Job-Explorer aufrufen

  2. Optional: Filtern Sie die Jobs um die angezeigten Jobs einzugrenzen.

  3. Klicken Sie auf die Job-ID des ersten Jobs, den Sie aufrufen und vergleichen möchten. Die Seite Jobdetails wird angezeigt.

  4. Klicken Sie auf den Tab Leistung.

  5. Klicken Sie auf Job vergleichen.

  6. Klicken Sie im Feld Job 1 (Baseline-Job) auf Durchsuchen. Der Bereich Ähnliche vergleichbare Jobs wird angezeigt.

  7. Suchen Sie den Job, mit dem Sie Ihren Baseline-Job vergleichen möchten, und klicken Sie auf Vergleichen. Der Vergleich der Jobleistung wird angezeigt.

  8. Wenn Sie nur signifikante Unterschiede zwischen den beiden Jobs aufrufen möchten, aktivieren Sie den Ein/Aus-Button Nur signifikante Unterschiede anzeigen.

Zu vergleichende Jobs ändern

So ändern Sie die zu vergleichenden Jobs:

  1. Rufen Sie die Seite Vergleich der Jobleistung auf.

  2. Klicken Sie im Feld Job 1 (Baseline-Job) auf Durchsuchen.

  3. Suchen Sie im Bereich Ähnliche vergleichbare Jobs den Job, den Sie vergleichen möchten, und klicken Sie auf Vergleichen.

Preise

Der Job-Explorer ist ohne zusätzliche Kosten verfügbar. Abfragen, die zum Füllen dieser Diagramme verwendet werden, werden nicht in Rechnung gestellt und verwenden keine Slots in nutzereigenen Reservierungen. Bei Abfragen, die zu viele Daten verarbeiten, wird eine Zeitüberschreitung festgestellt.

Nächste Schritte