Administrativen Job-Explorer verwenden

Als BigQuery-Administrator können Sie den administrativen Job-Explorer verwenden, um die Jobaktivität in Ihrer Organisation zu überwachen. Der Job-Explorer bietet auch eine Reihe von Filtern und Sortieroptionen, um problematische Jobs zu korrigieren und zu identifizieren. Mit dem Job-Explorer müssen Sie sich nicht mehr mit INFORMATION_SCHEMA auskennen. Sie können Jobinformationen wie Inhaber, Projekt, Slot-Nutzung und Dauer schnell aufrufen, ohne INFORMATION_SCHEMA-Abfragen schreiben zu müssen.

Sie können auch einzelne Jobs auswählen, um die Seite Jobdetails zu öffnen. Dort finden Sie Abfragedetails wie Ausführungsdiagramme, SQL-Text und Ausführungsverlauf, die Ihnen bei der Diagnose und Fehlerbehebung von Abfragen helfen. Auf dieser Seite können Sie zwei Jobs vergleichen, um erhebliche Unterschiede zwischen ihnen hervorzuheben und potenzielle Leistungsprobleme zu beheben.

BigQuery stellt Jobdetails und Statistiken über die folgenden INFORMATION_SCHEMA-Ansichten bereit:

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen für Ihre Organisation oder Ihr Projekt die IAM-Rolle BigQuery-Ressourcenbetrachter (roles/bigquery.resourceViewer) zu gewähren, um die Berechtigungen zu erhalten, die Sie für die Verwendung des administrativen Job-Explorers benötigen. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierte Rolle enthält die Berechtigungen, die für die Verwendung des Explorers für administrative Jobs erforderlich sind. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind für die Verwendung des Explorers für administrative Jobs erforderlich:

  • So rufen Sie Daten auf Projektebene auf: bigquery.jobs.listAll für das Projekt
  • So rufen Sie Daten auf Organisationsebene auf: bigquery.jobs.listAll für die Organisation
  • So filtern Sie nach Reservierungen in Ihrer Organisation: bigquery.reservations.list für die Organisation

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Jobs filtern

So filtern Sie Jobs nach Abfragen, die in den Ansichten INFORMATION_SCHEMA.JOBS* enthalten sind:

  1. Öffnen Sie in der Google Cloud Console die Seite BigQuery.

    BigQuery aufrufen

  2. Klicken Sie im Navigationsmenü auf Jobs Explorer.

  3. Wählen Sie aus der Liste Standort die Region aus, für die Sie die Jobs aufrufen möchten.

  4. Wenden Sie bei Bedarf optionale Filter an:

    • Jobumfang. Dazu gehören das aktuelle Projekt, die Organisation und Ihre Jobs.
    • Status. z. B. „Abgeschlossen“, „Fehler“, „Aktiv“ und „In der Warteschlange“.
    • Priorität des Jobs. Dazu gehören interaktive Jobs und Batchjobs.
    • Job-ID.
    • Inhaber. E-Mail-ID des Inhabers des Jobs (nur relevant, wenn der Jobumfang „Projekt“ oder „Organisation“ ist)
    • Projekt-ID (Nur anwendbar, wenn der Jobumfang "Organisation" ist)
    • Reservierungs-ID. (Nur anwendbar, wenn der Jobumfang "Organisation" ist)
    • Slotzeit länger als. Jobs, die länger als die angegebene Slot-Zeit dauerten.
    • Dauer länger als. Jobs, die länger als die angegebene Dauer dauerten.
    • Verarbeitete Byte mehr als. Jobs, die mehr Byte als die angegebenen verarbeiteten Byte verarbeitet haben.
    • Abfragestatistiken. Arten von Abfragestatistiken, z. B. Slot-Konflikte, überschrittene Arbeitsspeicher-Shuffle-Kapazität und Änderung der Dateneingabeskalierung.
    • Abfrage-Hash. Abfrage-Hash enthält die Hashes der Abfrage. Es ist ein hexadezimaler STRING-Hash, der Kommentare, Parameterwerte, UDFs und Literale ignoriert. Dieses Feld wird bei erfolgreichen GoogleSQL-Abfragen angezeigt, die keine Cache-Treffer sind.
    • Labels. key:value-Paare, die einem Job zugewiesen werden können. Sie können nach einem Schlüssel, einem Wert oder einer Kombination aus key:value filtern.
    • Jobkategorie. Der Abfragetyp, z. B. Standard oder Kontinuierliche Abfrage.

Details zur Abfrageausführung aufrufen

So rufen Sie Details zur Abfrageausführung von Jobs auf:

  1. Rufen Sie die Seite Job-Explorer auf.

    Zum Job-Explorer

  2. Klicken Sie auf Job-Explorer, um Jobs aufzurufen.

  3. Sie können Jobs filtern, um nur bestimmte Jobs aufzurufen.

  4. Klicken Sie auf einen Job, für den Sie die Details zur Abfrageausführung aufrufen möchten.

  5. Klicken Sie im Bereich Abfrageergebnisse auf den Tab Ausführungsgrafik, um die Ausführungsdetails Ihres Jobs aufzurufen.

    Ausführungsgrafik für Jobs.

Informationen zum Interpretieren von Statistiken finden Sie unter Statistiken zur Abfrageleistung interpretieren.

BigQuery-Jobdetails abrufen

Wenn Sie Feedback oder Unterstützung für dieses Feature benötigen, senden Sie eine E-Mail an bq-performance-troubleshooting+feedback@google.com.

Über den administrativen Job-Explorer können Sie die BigQuery-Detailseite aufrufen. Auf der Seite mit den BigQuery-Jobdetails werden mehrere Abfragedetails auf einer Seite zusammengefasst, um die Diagnose und Fehlerbehebung von Abfragen zu erleichtern. Auf dem Tab Leistung werden Abfrageinformationen wie das Ausführungsdiagramm, der SQL-Text und der Ausführungsverlauf zusammengestellt.

Auf dem Tab Leistung können Sie auch Abfragen vergleichen, um die bisherige Nutzung der Abfrage zu vergleichen und mögliche Leistungseinbußen zu analysieren und zu beheben. Weitere Informationen zum Vergleichen von Jobs finden Sie unter Jobs vergleichen.

Hinweise

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für Ihre Organisation oder Ihr Projekt zuzuweisen, damit Sie die nötigen Berechtigungen für die Arbeit mit BigQuery-Jobdetails und Details auf Systemebene haben:

  • Jobdetails ansehen: BigQuery-Ressourcenbetrachter (roles/bigquery.resourceViewer): das Projekt, in dem die Abfragen ausgeführt wurden
  • Details auf Systemebene ansehen: BigQuery-Ressourcenbetrachter (roles/bigquery.resourceViewer) – das Administratorprojekt

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Arbeiten mit BigQuery-Jobdetails und Details auf Systemebene erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen, um die notwendigen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind erforderlich, um mit BigQuery-Jobdetails und Details auf Systemebene zu arbeiten:

  • So rufen Sie Daten auf Projektebene auf: bigquery.jobs.listAll für das Projekt
  • So rufen Sie Daten auf Organisationsebene auf: bigquery.jobs.listAll für die Organisation
  • So filtern Sie nach Reservierungen in Ihrer Organisation: bigquery.reservations.list für die Organisation

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Auftragsdetails aufrufen

So rufen Sie die Seite „Jobdetails“ auf:

  1. Rufen Sie die Seite Job-Explorer auf.

    Zum Jobs Explorer

  2. Optional: Filtern Sie die Jobs, um die angezeigten verfügbaren Jobs einzugrenzen.

  3. Klicken Sie auf die Job-ID des Jobs, den Sie aufrufen möchten. Bei Abfragen, für die kein Job erstellt wird, wird die Abfrage-ID angezeigt und der Link ist deaktiviert. Bei allen anderen Anfragen wird durch Klicken auf die Job-ID die Seite Jobdetails aufgerufen.

Der Tab Leistung wird standardmäßig angezeigt. Auf den anderen Tabs finden Sie weitere Jobinformationen.

Verfügbare Informationen zu Anfragen

In der folgenden Liste werden die Informationen und Messwerte beschrieben, die auf dem Tab Leistung verfügbar sind.

  • SQL-Abfrage: Der Text der SQL-Abfrage, mit der der Job erstellt wurde.

  • Jobdetails: Informationen zum Job, einschließlich der Job-ID, der Erstellungszeit, der verarbeiteten Byte usw. Weitere Informationen finden Sie unter Jobdetails ansehen.

  • Leistungsvarianz: Informationen dazu, wie der Job im Vergleich zu einer früheren Ausführung derselben Abfrage ausgeführt wurde. In BigQuery wird der aktuelle Job mit einer früheren Ausführung mit einer ähnlichen Anzahl verarbeiteter Byte (+/- 5%) und der kürzesten Jobdauer verglichen, sofern eine solche vorhanden ist. Wenn keine solche frühere Ausführung vorhanden ist, vergleicht BigQuery den aktuellen Job mit dem Durchschnitt der früheren Ausführungen in den letzten 30 Tagen. Wenn es keine früheren Ausführungen gibt, wird in diesem Abschnitt angegeben, dass kein ähnlicher Job zum Vergleich gefunden wurde.

  • Ausführungsverlauf: Eine Liste anderer Ausführungen dieser Abfrage nach Abfrage-Hash. In diesem Bereich können Sie einen Job auswählen, mit dem der aktuelle Job verglichen werden soll. Weitere Informationen zum Vergleichen von Jobs finden Sie unter Jobs vergleichen.

  • Systemlast während der Ausführung: Eine Beschreibung der Ressourcen, die BigQuery zum Ausführen des Jobs verwendet hat. Dazu gehören gegebenenfalls Informationen zu den Reservierungseinstellungen, die von diesem Job verwendet werden.

  • Ausführungsgrafik: die Ausführungsgrafik dieses Jobs. Weitere Informationen finden Sie unter Statistiken zur Abfrageleistung abrufen.

Jobs vergleichen

Wenn Sie Feedback oder Unterstützung für dieses Feature benötigen, senden Sie eine E-Mail an bq-performance-troubleshooting+feedback@google.com.

Mit dem Jobleistungsvergleich können Sie Ihren Baseline-Job mit Ziel-Jobs vergleichen. Bei der Analyse von Anfragen werden Jobdetails hervorgehoben, die sich zwischen den beiden Jobs erheblich unterscheiden. So können Sie potenzielle Leistungsprobleme zwischen zwei Abfragejobs beheben.

Wichtige Details, die Sie bei der Optimierung Ihrer Abfragen berücksichtigen sollten, wenn Sie zwei Abfragen vergleichen, sind die Jobdauer, die Slotzeit und die verarbeiteten Byte.

Hinweise

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für Ihre Organisation oder Ihr Projekt zuzuweisen, damit Sie die nötigen Berechtigungen für die Arbeit mit BigQuery-Jobdetails und Details auf Systemebene haben:

  • Jobdetails ansehen: BigQuery-Ressourcenbetrachter (roles/bigquery.resourceViewer): das Projekt, in dem die Abfragen ausgeführt wurden
  • Details auf Systemebene ansehen: BigQuery-Ressourcenbetrachter (roles/bigquery.resourceViewer) – das Administratorprojekt

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Arbeiten mit BigQuery-Jobdetails und Details auf Systemebene erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen, um die notwendigen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind erforderlich, um mit BigQuery-Jobdetails und Details auf Systemebene zu arbeiten:

  • So rufen Sie Daten auf Projektebene auf: bigquery.jobs.listAll für das Projekt
  • So rufen Sie Daten auf Organisationsebene auf: bigquery.jobs.listAll für die Organisation
  • So filtern Sie nach Reservierungen in Ihrer Organisation: bigquery.reservations.list für die Organisation

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Vergleich der Jobleistung

In den folgenden Abschnitten werden die Seite Job-Leistungsvergleich und die dort enthaltenen Informationen zur Fehlerbehebung beschrieben.

Sie können den Ein/Aus-Button Nur signifikante Unterschiede anzeigen aktivieren, um nur signifikante Unterschiede zwischen den beiden Jobs für alle Messwerte auf dieser Seite zu sehen.

Signifikante Unterschiede werden grün, gelb und rot hervorgehoben:

  • Grün: Die Änderung ist positiv. Da beispielsweise eine kürzere Abfragedauer besser ist, wird der Zieljob grün markiert, wenn er schneller als der Baseline-Job ausgeführt wird.
  • Gelb: Die Änderung geht in eine negative Richtung, aber die Differenz beträgt weniger als 20%.
  • Rot: Die Änderung geht in eine negative Richtung und die Differenz ist größer als 20%.

Analyse auf Abfrageebene

Im Bereich Analyse auf Abfrageebene werden die Unterschiede zwischen den beiden Jobs auf Abfrageebene beschrieben. Sie enthält drei Tabs: Messwerte, SQL-Text und Ausführungsdiagramm.

  • Auf dem Tab Messwerte werden die Abfragemesswerte für die beiden Jobs beschrieben. Auf diesem Tab können Sie feststellen, ob es Abweichungen zwischen der Jobdauer, nicht verwendeten Beschleunigern und anderen Messwerten gibt.

  • Auf dem Tab SQL-Text sehen Sie die beiden SQL-Anweisungen, mit denen die Jobs erstellt wurden, und die Unterschiede zwischen ihnen. Auf diesem Tab können Sie feststellen, ob sich Änderungen an den SQL-Anweisungen auf die Jobleistung ausgewirkt haben.

  • Auf dem Tab Ausführungsgrafik werden die Ausführungsgrafiken der beiden Jobs verglichen. Auf diesem Tab können Sie feststellen, ob während der Ausführung der Jobs in einer Phase Abweichungen aufgetreten sind.

Analyse auf Systemebene

Im Bereich Analyse auf Systemebene werden die Faktoren beschrieben, die sich möglicherweise auf die beiden Jobs auf Systemebene auswirken. Sie besteht aus drei Abschnitten: der Tabelle Projekt, der Tabelle Reservierung und der Tabelle Einstellungen.

Im Bereich Analyse auf Systemebene können auf Grundlage der Unterschiede zwischen den beiden Abfragen Verbesserungsvorschläge angezeigt werden.

Wenn ein Job beispielsweise weniger Slots als bei früheren Ausführungen erhalten hat, kann dies an Ressourcenbeschränkungen im System liegen. Wenn dies der Fall ist, prüfen Sie die Messwerte auf Projektebene, um festzustellen, ob das Projekt insgesamt weniger Slots erhalten hat. Wenn das Projekt nicht weniger Slots erhalten hat, ist es wahrscheinlich, dass es auf Projektebene zu Konflikten gekommen ist, z. B. durch eine erhöhte Nebenläufigkeit von Jobs. Wenn das Projekt weniger Slots erhalten hat, prüfen Sie die Reservierungsebene, um Einschränkungen zu ermitteln.

  • In der Tabelle Project (Projekt) werden die beiden Jobs auf Projektebene verglichen. Anhand dieser Tabelle können Sie feststellen, ob eine Optimierung auf Projektebene möglich ist.

  • In der Tabelle Reservation (Reservierung) werden die beiden Jobs auf Reservierungsebene verglichen. Anhand dieser Tabelle können Sie Unterschiede bei der Reservierungsnutzung zwischen den beiden Abfragen erkennen, die sich auf die Jobleistung auswirken könnten.

  • In der Tabelle Einstellungen werden die Reservierungseinstellungen der beiden Jobs verglichen. Anhand dieser Tabelle können Sie Änderungen an den Reservierungseinstellungen erkennen, die sich auf die Leistung ausgewirkt haben könnten.

Zwei Jobs vergleichen

So vergleichen Sie zwei Jobs:

  1. Rufen Sie die Seite Job-Explorer auf.

    Zum Jobs Explorer

  2. Optional: Filtern Sie die Jobs, um die angezeigten verfügbaren Jobs einzugrenzen.

  3. Klicken Sie auf die Job-ID des ursprünglichen Jobs, den Sie aufrufen und vergleichen möchten. Die Seite Jobdetails wird angezeigt.

  4. Klicken Sie auf den Tab Leistung.

  5. Klicken Sie auf Job vergleichen.

  6. Klicken Sie im Feld Job 1 (Baseline-Job) auf Durchsuchen. Der Bereich Ähnliche vergleichbare Jobs wird angezeigt.

  7. Suchen Sie den Job, mit dem Sie den Baseline-Job vergleichen möchten, und klicken Sie auf Vergleichen. Der Vergleich der Jobleistung wird angezeigt.

  8. Wenn Sie nur signifikante Unterschiede zwischen den beiden Jobs sehen möchten, aktivieren Sie den Ein/Aus-Button Nur signifikante Unterschiede anzeigen.

Vergleichsjobs ändern

So ändern Sie die Jobs, die verglichen werden:

  1. Rufen Sie die Seite Vergleich der Jobleistung auf.

  2. Klicken Sie im Feld Job 1 (Baseline-Job) auf Durchsuchen.

  3. Suchen Sie im Bereich Ähnliche vergleichbare Jobs nach dem Job, den Sie vergleichen möchten, und klicken Sie auf Vergleichen.

Preise

Der Job-Explorer ist ohne zusätzliche Kosten verfügbar. Abfragen, die zum Füllen dieser Diagramme verwendet werden, werden nicht in Rechnung gestellt und verwenden keine Slots in nutzereigenen Reservierungen. Bei Abfragen, die zu viele Daten verarbeiten, wird eine Zeitüberschreitung festgestellt.

Nächste Schritte