監控工作

BigQuery 管理員可以透過 Google Cloud 控制台的管理工作探索器，監控整個機構的工作。工作探索工具提供篩選器和排序選項，可找出、比較及排解有問題的工作。您不必撰寫 INFORMATION_SCHEMA 查詢，即可查看作業詳細資料，例如擁有者、專案、運算單元使用情形、時間長度等。

如要監控整個機構的容量、時段承諾和長期預訂使用率，請參閱「監控健康狀態和資源使用率」。

工作多層檢視提供以下功能：

  • 篩選及識別工作。根據工作狀態、時間長度、擁有者或運算單元使用情形等條件套用篩選器，在整個機構中搜尋特定查詢。
  • 分析時間軸指標。使用指標圖表，追蹤一段時間內的工作執行趨勢和並行程度。
  • 依資源匯總工作。按照擁有者、專案或預留項目將工作分組，即可查看摘要統計資料，並深入瞭解經過篩選的表格。
  • 排解工作問題。選取個別工作，即可在「工作詳細資料」頁面 (預覽版) 查看查詢執行圖表、SQL 文字和執行記錄。
  • 比較成效。比較工作 (預覽版)，找出顯著的指標差異，並解決潛在的效能問題。
  • 取得 AI 協助。直接從工作探索器 (預先發布版) 使用 Gemini Code Assist，分析工作統計資料或說明執行緩慢的查詢。

BigQuery 會透過下列 INFORMATION_SCHEMA 檢視畫面提供工作詳細資料和洞察資訊：

事前準備

如要使用 Gemini Code Assist 在 BigQuery (搶先版) 中排解作業問題，請參閱「設定 Gemini Code Assist」，啟用 API 並授予必要角色。

必要的角色

如要取得使用作業探索工具監控作業所需的權限，請要求管理員授予您下列 IAM 角色：

如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和組織的存取權」。

這些預先定義的角色具備使用工作探索器監控工作所需的權限。如要查看確切的必要權限，請展開「Required permissions」(必要權限) 部分：

所需權限

如要使用工作探索器監控工作，必須具備下列權限：

  • 查看專案層級的工作： bigquery.jobs.listAll 專案
  • 查看機構層級的工作： bigquery.jobs.listAll 在機構上

您或許還可透過自訂角色或其他預先定義的角色取得這些權限。

如要使用 Gemini Code Assist 解決作業問題，請參閱使用 Gemini Code Assist 的其他 IAM 需求。

篩選工作

如要篩選 檢視區塊INFORMATION_SCHEMA.JOBS*中包含查詢的工作，請執行下列操作：

  1. 前往 Google Cloud 控制台的「BigQuery」頁面。

    前往「BigQuery」

  2. 在導覽選單中，按一下「Jobs explorer」(工作探索工具)。

  3. 在「工作探索器」頁面的「位置」欄位中，選取要查看工作的地點。

  4. 在「篩選器」窗格中，視需要套用選用篩選器。如果沒有看到這個窗格，請按一下「插入圖表」insert_chart「顯示篩選器」。

    可用的篩選器如下：

    • 工作範圍：依據工作可見度層級篩選工作，例如目前專案、機構和您的工作。您可以選擇查看目前專案、整個機構或僅限您發起的工作。
    • 圖表檢視畫面：
      • 已完成的工作：顯示已完成查詢的時間軸資料，並區分成功完成的工作和發生錯誤的工作。
      • 並行：顯示查詢並行的時間軸資料，區分有效工作和已加入佇列的工作。
    • 分組依據：依據特定資源 (例如擁有者、專案或預留項目) 將顯示的工作分組。詳情請參閱「依資源將工作分組」。
    • 狀態：依目前執行狀態篩選工作，例如已完成、發生錯誤、有效和已加入佇列。摘要計數會直接顯示在每個切面狀態篩選器選項旁邊，指出該狀態的工作數量。
    • 專案 ID：篩選在特定專案中執行的工作。
    • 預留項目 ID：篩選使用特定預留項目運算單元的工作。這有助於監控不同工作負載耗用預留容量的情況。
    • 擁有者：依啟動工作的使用者或服務帳戶電子郵件地址篩選工作。
    • 工作 ID：依工作的專屬英數 ID 篩選特定工作。
    • 查詢雜湊：篩選具有特定查詢雜湊的工作。查詢雜湊可識別查詢的邏輯，並忽略註解、參數值、使用者定義函式和常值中的差異，有助於找出相同查詢邏輯的所有執行作業。如果 GoogleSQL 查詢成功，但未命中快取，就會顯示這個欄位。
    • 標籤：根據您或貴機構附加至工作的自訂中繼資料標籤篩選工作。方便您依部門或應用程式分類及追蹤職缺。
    • 查詢洞察：篩選 BigQuery 判定有特定效能問題的工作，例如 slot 爭用、超出記憶體隨機存取容量，以及資料輸入規模變更。
    • 運算單元時間超過：篩選運算單元毫秒數超過指定量的作業。這是用來找出耗用大量資源查詢的關鍵指標。
    • 時間長度超過：篩選完成時間超過指定時間長度的工作。使用這項功能找出執行速度低於預期的查詢。
    • 處理的位元組數超過：篩選掃描資料量超過指定量的作業。有助於找出可能導致資料處理費用偏高的查詢。
    • 工作類別：依執行的作業類型篩選工作，例如用於即時資料處理的標準 SQL 查詢或持續查詢。
    • 工作建立原因：根據 BigQuery 建立工作的原因篩選工作，例如查詢超出逾時時間，或產生的結果過大，無法以單一回應傳回。
    • 工作優先順序：依據工作執行優先順序篩選工作，例如互動式或批次工作。

查看工作時間軸指標

工作探索工具包含互動式指標圖表，可顯示符合篩選條件的查詢時間軸資料。您可以根據這張圖表評估工作負載模式，並找出已完成、進行中或已加入佇列的工作突然增加的情況。如要查看較長時間範圍內整個機構的歷史並行趨勢，請參閱「指標時間軸圖表」。

如要在工作探索器中設定指標圖表，請按照下列步驟操作：

  1. 前往「Jobs explorer」(工作探索工具) 頁面。

    前往「Jobs explorer」

  2. 前往「篩選器」窗格。如果沒有看到這個窗格，請按一下「插入圖表」insert_chart「顯示篩選器」。

  3. 選取要在圖表中顯示的指標：

    • 已完成的工作：顯示已完成查詢的時間軸資料，並區分成功完成的工作和發生錯誤的工作。
    • 並行：顯示查詢並行的時間軸資料，區分有效工作和已加入佇列的工作。

依資源將工作分組

如要匯總工作統計資料並比較整個機構的用量，您可以按照擁有者、專案或預留項目將工作分組，而非在未匯總的表格中查看個別工作。

如要將工作分組，請按照下列步驟操作：

  1. 前往「Jobs explorer」(工作探索工具) 頁面。

    前往「Jobs explorer」

  2. 前往「篩選器」窗格。如果沒有看到這個窗格，請按一下「插入圖表」insert_chart「顯示篩選器」。

  3. 按一下「依據分組」，然後選取下列任一選項：

    • 無 (預設)：顯示個別工作的未匯總表格。
    • 擁有者：依執行工作的使用者或服務帳戶電子郵件地址分組工作。
    • 專案：依專案 ID 將工作分組。
    • 預留項目：依預留項目 ID 將工作分組。

將「分組依據」設為「擁有者」、「專案」或「預留項目」時，BigQuery 會顯示匯總檢視畫面，並為每個資源提供摘要面板。每個面板都會顯示下列摘要統計資料：

  • 執行中的工作：執行中的工作數量。
  • 已排入佇列的工作：查詢佇列中等待的工作數量。
  • 發生錯誤的工作：無法完成的工作數量。
  • 已完成的工作：成功完成的工作數量。
  • 運算單元時間：該資源的工作耗用的總運算單元毫秒數。
  • 處理的位元組：工作掃描該資源的資料總量。

如要檢查與特定資源相關聯的個別工作，請按一下該資源的面板展開，並顯示經過篩選的工作表格。

排解工作效能問題

如要診斷及排解查詢問題，您可以在「作業詳細資料」頁面查看執行指標、SQL 文字和歷來成效差異。

查看工作詳細資料

如要查看作業的詳細資料並分析查詢執行作業，請按照下列步驟操作：

  1. 前往「Jobs explorer」(工作探索工具) 頁面。

    前往「Jobs explorer」

  2. 選用：如要縮小顯示的工作範圍，請篩選工作。

  3. 按一下要調查的工作 ID。如果查詢未建立工作，系統會顯示查詢 ID，但連結會停用。按一下有效的工作 ID，即可開啟「工作詳細資料」頁面，並預設顯示「成效」分頁。

可用的查詢資訊

為協助您診斷查詢效能，作業詳細資料中的「效能」分頁會彙整下列資訊和指標 (如適用)：

  • 工作詳細資料：工作相關資訊，包括工作 ID、建立時間、處理的位元組數和使用的時段。詳情請參閱「查看工作詳細資料」。
  • 執行記錄：查詢的歷史執行作業清單，依查詢雜湊分組。您可以從這份清單中選取工作，直接與目前的工作進行比較。詳情請參閱「比較工作」。

  • 執行圖：以視覺化方式呈現查詢執行階段。展開「執行圖」部分，檢查時段爭用、隨機播放容量和資料輸入規模。詳情請參閱「取得查詢效能深入分析」。

    以下範例顯示已啟用 SQL 文字對應的執行圖：

    工作執行圖。

  • 執行期間的系統負載：工作執行期間分配的運算資源和預留設定摘要。

比較作業和系統，診斷效能回歸問題

使用成效比較工具，即可分析兩個查詢作業或兩個系統間隔的成效差異。分析結果會顯示查詢詳細資料、資源用量變化，以及基準和目標環境之間差異顯著的系統環境設定。

瞭解比較分析

比較工具會評估查詢層級指標和系統層級因素的成效。您可以開啟「僅顯示顯著差異」切換鈕，將檢視畫面限制為變異數大於 20% 的指標。

顯著差異會以不同顏色標示，方便您掃描問題：

  • 綠色：指標有所改善 (例如目標執行時間的查詢時間縮短)。
  • 黃色：指標下降不到 20%。
  • 紅色：指標降低超過 20%。

比較兩項工作

如要比較基準工作與目標工作執行作業，請按照下列步驟操作：

  1. 開啟「工作探索工具」頁面。

    前往「Jobs explorer」

  2. 選用：如要縮小顯示的工作範圍，請篩選工作。

  3. 按一下基準工作的工作 ID，開啟「Job details」(工作詳細資料) 頁面，然後選取「Performance」(效能) 分頁標籤。

  4. 在「動作」選單中，按一下「比較工作」。

  5. 在「Job one (baseline job)」(工作一 (基準工作)) 欄位中，按一下「Browse」(瀏覽)，開啟「Similar comparable jobs」(類似可比較的工作) 窗格。

  6. 選取要與基準比較的目標工作，然後按一下「比較」。

  7. 選用：如要著重於重大成效衰退，請開啟「僅顯示顯著差異」。這樣一來，系統只會顯示差異大於 20% 的指標。

如要隨時變更比較的工作，請按一下基準或目標工作欄位中的「瀏覽」，然後從可比較的工作清單中選取新工作。

查詢層級分析

比較兩項工作後，即可查看「查詢層級分析」部分，比較兩項工作在三個分頁中的執行情況：

  • 指標：比較核心查詢指標，例如工作時間長度、運算單元時間、 已處理的位元組數和未使用的加速器。
  • SQL 文字：顯示兩個工作的 SQL 陳述式，並醒目顯示文字差異。
  • 執行圖表：比較兩項工作的執行圖表，找出發生瓶頸的位置。

比較兩個系統間隔

管理員和分析師可以執行系統效能比較，分析更廣泛的環境指標。這項工具可讓您比較特定預訂和專案的歷來間隔，瞭解使用率變化，並判斷效能下降的原因是工作負載內部或外部問題。

您可以透過下列任一方式前往系統效能比較檢視畫面：

  • 在「工作詳細資料」頁面中比較兩項工作後，按一下「系統層級輸出」部分中的「查看更多」，即可查看系統比較詳細資料。
  • 如果您使用 Gemini Cloud Assist 執行系統比較，Gemini Cloud Assist 會產生連結，開啟系統比較結果。

如要比較不同時間範圍的系統層級資料，請按照下列步驟操作：

  1. 在「系統效能比較」檢視畫面中，按一下「系統」。
  2. 按一下「瀏覽」，然後選取預留項目或專案範圍，即可選取要分析效能的系統。
  3. 定義比較時間範圍：
    • 目標間隔：選取發生成效問題的日期和時間範圍，然後按一下「套用」。
    • 基準間隔：選取做為效能基準的參考日期和時間範圍，然後按一下「套用」。

系統層級分析

比較間隔後，檢視畫面會顯示所選環境相對於父項群組的利用率變化、並行差異和設定差異。這有助於判斷工作負載是否受到時段爭用或設定回歸的影響。資料會分成三類生成：

  • 專案：比較專案層級的工作並行數量、排入佇列的並行數量和總配額用量。
  • 預留項目：比較共用預留項目的預留項目用量、閒置運算單元共用情形和專案並行數量。
  • 設定分析：比較兩次執行之間的工作負載管理設定，例如預留大小上限和閒置時段借用規則。

使用代理程式成效疑難排解洞察資料

如要提供意見或尋求這項功能的支援，請傳送電子郵件至 bq-performance-troubleshooting+feedback@google.com。

監控管理工作或評估效能比較時，BigQuery 會整合基礎可觀測性診斷工具和 Gemini Cloud Assist，將即時通訊窗格變成主動式疑難排解助理，協助您排解工作和系統層級的異常狀況。

洞察資料的存取權受到控管，如果權限不足，您收到的洞察資料可能有限。如要進一步瞭解權限，請參閱「使用 IAM 控管資源存取權」。

排解即時通訊中的效能問題

如要初始化情境感知疑難排解功能，並根據效能洞察採取行動，請執行下列步驟：

  1. 如要開啟 Gemini Cloud Assist 對話窗格並自動載入相關工作或系統背景資訊，請執行下列其中一項操作：
    • 在「工作探索器」或「工作記錄」頁面中，將游標懸停在工作上，然後點選該表格列中的「Gemini」astrophotography_mode。
    • 在「工作負載管理」頁面中，將滑鼠游標懸停在預留項目上，然後按一下該表格列中的 astrophotography_mode「Gemini」。
    • 在「Studio」、「Monitoring」或「Jobs explorer」中，按一下 astrophotography_mode「Gemini」。
  2. 以自然語言提交提示。例如，要求 Gemini 說明作業執行緩慢的原因、分析特定作業統計資料、分析特定預留事項的效能、排解系統效能問題，或是比較兩個類似歷來作業的效能差異。
  3. 如果超出機構層級或預留層級的門檻 (例如因作用中專案並行作業量突然暴增，導致嚴重佇列)，請查看產生的「成效洞察」報表。這份報告會詳細說明下列重大瓶頸：
    • 排隊並行數增加：並行查詢需求量暴增，超過軟性並行限制或預留配額。
    • 提高專案並行數：追蹤確切的高並行專案或頂尖使用者帳戶，這些專案/帳戶會導致系統負載超出共用預訂或隨選配額。
  4. 觀察「主要指標比較」表格，追蹤精確的數值差異，例如專案平均並行數、佇列運算單元或預留運算單元上限的變化。

  5. 透過 Gemini Cloud Assist 生成的可操作移交連結，直接執行內嵌解決方案。這些捷徑會將你重新導向產品中的特定工具，並預先填入相關資訊，協助你解決問題：

    • 編輯預留項目：開啟工作負載管理側邊面板，調整預留項目大小上限或啟用進階縮放功能。
    • 在工作探索工具中查看工作成效：開啟特定工作的成效詳細資料分頁。
    • 在「工作探索器」中比較工作效能：並排比較兩項工作的效能。

定價

工作探索工具免費提供。用於填入這些圖表的查詢不會產生費用，也不會使用使用者自有預訂中的運算單元。如果查詢處理的資料量過大，就會逾時。

後續步驟