監控工作

BigQuery 管理員可以透過 Google Cloud 控制台的管理工作探索器，監控整個機構的工作。工作探索器提供篩選器和排序選項，可協助您找出、比較及排解有問題的工作。您不必撰寫 INFORMATION_SCHEMA 查詢，即可查看工作詳細資料，例如擁有者、專案、運算單元使用情形、花費的時間等。

工作多層檢視可讓您執行下列操作：

  • 篩選及識別工作。依據工作狀態、時間長度、擁有者或運算單元使用情形等條件套用篩選器，在機構中搜尋特定查詢。
  • 排解工作問題：選取個別工作，即可在「工作詳細資料」頁面 (預覽版) 中，查看查詢執行圖表、SQL 文字和執行記錄。
  • 比較成效。比較工作 (預覽版)，找出顯著的指標差異，並解決潛在的效能問題。
  • 取得 AI 輔助。 直接從工作探索器 (預覽版) 使用 Gemini Code Assist，分析工作統計資料或說明執行緩慢的查詢。

BigQuery 會在下列INFORMATION_SCHEMA檢視畫面中提供工作詳細資料和洞察資訊：

事前準備

如要使用 Gemini Code Assist 排解 BigQuery (搶先版) 中的工作問題，請參閱「設定 Gemini Code Assist」，啟用 API 並授予必要角色。

必要的角色

如要取得使用作業探索工具監控作業所需的權限，請要求管理員授予您下列 IAM 角色：

如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和組織的存取權」。

這些預先定義的角色具備使用工作探索器監控工作所需的權限。如要查看確切的必要權限，請展開「Required permissions」(必要權限) 部分：

所需權限

如要使用工作探索器監控工作，必須具備下列權限：

  • 查看專案層級的工作： bigquery.jobs.listAll 專案
  • 查看機構層級的工作： bigquery.jobs.listAll 在機構
  • 依機構的預訂項目篩選： bigquery.reservations.list 在機構

您或許還可透過自訂角色或其他預先定義的角色取得這些權限。

Google Cloud

如要使用 Gemini Code Assist 排解工作問題，請參閱使用 Gemini Code Assist 的其他 IAM 需求。

篩選工作

如要篩選 INFORMATION_SCHEMA.JOBS* 檢視區塊中包含查詢的工作，請執行下列操作：

  1. 前往 Google Cloud 控制台的「BigQuery」頁面。

    前往「BigQuery」

  2. 在導覽選單中，按一下「Jobs explorer」(工作探索工具)。

  3. 從「位置」清單中，選取要查看工作的地點。

  4. 視需要套用選用的「篩選器」：

    • 工作範圍：依工作可見度層級篩選工作，例如目前專案、機構和您的工作。您可以選擇查看目前專案的工作、整個機構的工作，或只查看您發起的工作。
    • 狀態：依目前執行狀態篩選工作，例如已完成、發生錯誤、有效和已加入佇列。這有助於找出有效或失敗的工作。
    • 工作類別：依執行的作業類型篩選工作，例如用於即時資料處理的標準 SQL 查詢或持續查詢。
    • 工作建立原因：根據 BigQuery 建立工作的原因篩選工作，例如查詢超出逾時時間，或產生的結果過大，無法以單一回應傳回。
    • 工作優先順序：依工作執行優先順序篩選工作，例如互動式或批次工作。
    • 工作 ID：依工作的專屬英數 ID 篩選特定工作。
    • 擁有者：依啟動作業的使用者或服務帳戶電子郵件地址篩選作業。
    • 專案 ID：篩選在特定專案中執行的工作。只有在「工作範圍」設為「機構」時，才能使用這個篩選器。
    • 預留項目 ID：篩選使用特定預留項目運算單元的工作。這有助於監控不同工作負載耗用預留容量的情況。
    • 時間用量超過：篩選時間用量超過指定毫秒數的工作。這是用來找出耗用大量資源查詢的關鍵指標。
    • 時間長度超過：篩選完成時間超過指定時間長度的工作。您可以使用這項功能，找出執行速度低於預期的查詢。
    • 處理的位元組數超過：篩選掃描資料量超過指定量的作業。這有助於找出可能導致資料處理費用偏高的查詢。
    • 查詢洞察：篩選 BigQuery 判定有特定效能問題的工作，例如時段爭用、超出記憶體隨機存取容量，以及資料輸入規模變化。
    • 查詢雜湊：篩選具有特定查詢雜湊的工作。查詢雜湊會識別查詢的邏輯，忽略註解、參數值、UDF 和常值中的差異，協助您找出相同查詢邏輯的所有執行作業。這個欄位會顯示成功的GoogleSQL 查詢 (非快取命中)。
    • 標籤：根據您或貴機構附加至工作的自訂中繼資料標籤篩選工作。這可讓您依部門或應用程式分類及追蹤工作。

排解工作成效問題

如要診斷及排解查詢問題，您可以在「作業詳細資料」頁面查看執行指標、SQL 文字和歷來成效差異。

查看工作詳細資料

如要查看工作的詳細資料並分析查詢執行作業，請按照下列步驟操作：

  1. 前往「Jobs explorer」(工作探索工具) 頁面。

    前往「Jobs explorer」

  2. 選用：如要縮小顯示的工作範圍，請篩選工作。

  3. 按一下要調查的工作 ID。如果查詢未建立工作，系統會顯示查詢 ID，但連結會停用。按一下有效的工作 ID，即可開啟「工作詳細資料」頁面，並預設顯示「成效」分頁。

可用的查詢資訊

為協助您診斷查詢效能，作業詳細資料中的「效能」分頁會彙整下列資訊和指標 (如適用)：

  • 工作詳細資料：工作相關資訊，包括工作 ID、建立時間、處理的位元組數和運算單元使用量。詳情請參閱「查看工作詳細資料」。
  • 執行記錄：查詢的歷史執行作業清單，依查詢雜湊分組。你可以從這份清單中選取工作，直接與目前的工作進行比較。詳情請參閱比較工作。

  • 執行圖：以視覺化方式呈現查詢執行階段。展開「執行圖」部分，檢查時段爭用、隨機播放容量和資料輸入規模。詳情請參閱「取得查詢效能深入分析」。

    以下範例顯示已啟用 SQL 文字對應的執行圖：

    工作執行圖。

  • 執行期間的系統負載：工作執行期間分配的運算資源和預留設定摘要。

比較作業和系統，診斷效能回歸問題

您可以透過成效比較工具，分析兩個查詢作業或兩個系統間隔的成效差異。分析結果會顯示查詢詳細資料、資源用量變化，以及基準和目標環境之間差異顯著的系統環境設定。

瞭解比較分析

比較工具會評估查詢層級指標和系統層級因素的成效。您可以開啟「只顯示顯著差異」切換按鈕，將檢視畫面限制為差異大於 20% 的指標。

顯著差異會以不同顏色標示，方便您掃描問題：

  • 綠色：指標有所改善 (例如目標執行中的查詢時間縮短)。
  • 黃色：指標下降不到 20%。
  • 紅色：指標降幅超過 20%。

比較兩項工作

如要比較基準工作與目標工作執行作業，請執行下列操作：

  1. 開啟「Jobs explorer」(工作探索工具) 頁面。

    前往「Jobs explorer」

  2. 選用：如要縮小顯示的工作範圍，請篩選工作。

  3. 按一下基準工作的工作 ID，開啟「工作詳細資料」頁面，然後選取「成效」分頁標籤。

  4. 在「動作」選單中，按一下「比較工作」。

  5. 在「Job one (baseline job)」(工作一 (基準工作)) 欄位中，按一下「Browse」(瀏覽)，開啟「Similar comparable jobs」(類似可比較的工作) 窗格。

  6. 選取要與基準比較的目標工作，然後按一下「比較」。

  7. 選用：如要著重於重大效能迴歸，請開啟「只顯示顯著差異」。這樣一來，系統只會顯示差異大於 20% 的指標。

如要隨時變更比較的工作，請按一下基準或目標工作欄位中的「瀏覽」，然後從可比較的工作清單中選取新工作。

查詢層級分析

比較兩項工作後，您可以查看「查詢層級分析」部分，比較兩個工作執行項目在下列三個分頁中的差異：

  • 指標：比較核心查詢指標，例如工作時間長度、運算單元時間、已處理的位元組數和未使用的加速器。
  • SQL 文字：顯示兩項工作的 SQL 陳述式，並醒目顯示文字差異。
  • 執行圖表：比較兩個作業的執行圖表，找出發生瓶頸的位置。

比較兩個系統間隔

管理員和分析師可以執行系統效能比較，分析更廣泛的環境指標。這項工具可讓您比較特定預訂和專案的歷史間隔，瞭解使用率變化，並判斷效能下降的原因是工作負載內部或外部因素。

您可以透過下列任一方式前往系統效能比較檢視畫面：

  • 在「工作詳細資料」頁面中比較兩項工作後，按一下「系統層級輸出」部分中的「查看更多」，即可查看系統比較詳細資料。
  • 如果使用 Gemini Cloud Assist 執行系統比較，Gemini Cloud Assist 會產生連結，開啟系統比較結果。

如要比較不同時間範圍的系統層級資料，請按照下列步驟操作：

  1. 在「系統效能比較」檢視畫面中，按一下「系統」。
  2. 按一下「瀏覽」，然後選取預留項目或專案範圍，即可選取要分析效能的系統。
  3. 定義比較時間範圍：
    • 目標間隔：選取發生成效問題的日期和時間範圍，然後按一下「套用」。
    • 基準間隔：選取做為效能基準的參考日期和時間範圍，然後按一下「套用」。

系統層級分析

比較間隔後，檢視畫面會將所選環境的使用率變化、並行作業變化和設定差異，對應至其父項群組。這有助於判斷工作負載是否受到時段爭用或設定回歸的影響。資料會產生在下列三個區塊中：

  • 專案：比較專案層級的並行工作數、排入佇列的並行工作數和總配額用量。
  • 預留項目：比較共用預留項目的預留項目用量、閒置運算單元共用情形和專案並行數。
  • 設定分析：比較兩次執行之間的工作負載管理設定，例如預訂大小上限和閒置時段借用規則。

使用代理程式成效疑難排解深入分析

如要提供意見或尋求這項功能的支援，請傳送電子郵件至 bq-performance-troubleshooting+feedback@google.com。

監控管理工作或評估效能比較時，BigQuery 會整合基礎可觀測性診斷與 Gemini Cloud Assist，將即時通訊窗格變成主動式疑難排解助理，協助您排解工作層級和系統層級的異常狀況。

洞察資料的存取權受到控管，如果權限不足，收到的洞察資料可能會受到限制。如要進一步瞭解權限，請參閱「使用 IAM 控管資源存取權」。

排解即時通訊效能問題

如要初始化情境感知疑難排解功能，並根據效能深入分析採取行動，請按照下列步驟操作：

  1. 如要開啟 Gemini Cloud Assist 對話窗格並自動載入相關工作或系統背景資訊，請執行下列其中一項操作：
    • 在「Jobs explorer」或「Job history」頁面中，將游標懸停在工作上，然後點按該表格列中的「Gemini」spark。
    • 在「容量管理」頁面中，將滑鼠游標懸停在預留項目上，然後點選該表格列中的 spark「Gemini」。
    • 在「Studio」、「Monitoring」或「Jobs explorer」中，按一下 spark「Gemini」。
  2. 以自然語言提交提示。舉例來說，問問 Gemini 說明作業執行速度緩慢的原因、分析特定作業統計資料、分析特定預留項目效能、排解系統效能問題，或是比較兩個類似歷來作業的效能差異。
  3. 如果違反機構層級或預留層級的門檻 (例如因作用中專案並行作業量意外暴增，導致嚴重佇列)，請查看產生的「成效洞察」報表。這份報告會詳細說明下列重大瓶頸：
    • 排隊並行數增加：並行查詢需求量暴增，超過並行軟性限制或預留配額。
    • 提高專案並行程度：追蹤確切的高並行專案或頂尖使用者帳戶，這些專案或帳戶會推動共用預留或隨選配額的系統負載。
  4. 觀察「主要指標比較」表格，追蹤精確的數值差異，例如專案平均並行數、佇列運算單元或預留運算單元上限的變化。

  5. 透過 Gemini Cloud Assist 產生的可操作移交連結，直接執行內嵌解決方案。這些捷徑會將您重新導向至特定產品內建工具，並預先填入相關情境，協助您解決問題：

    • 編輯預留項目：開啟工作負載管理側邊面板，調整預留項目大小上限或啟用進階縮放功能。
    • 在工作探索工具中查看工作成效：開啟特定工作的「成效詳細資料」分頁。
    • 在「工作探索」中比較工作效能：並排比較兩項工作的效能。

定價

您無須另外付費，就能使用工作探索器。系統不會對用於填入這些圖表的查詢收費，也不會使用使用者自有預留位置中的預留位置。如果查詢處理的資料量過多，系統會逾時。

後續步驟