BigQuery 管理簡介

BigQuery 管理功能可讓您設定、保護及監控整個組織的資料資源和運算工作負載。您可以使用這些功能分配運算能力、提升查詢效能、控管成本，以及強制執行存取權政策。

如要直接在 Google Cloud 控制台導覽 BigQuery 資料管理功能，請按一下「Take the tour」(導覽)。

開始導覽

工具

BigQuery 提供多個介面，可用於執行管理工作。通常，特定工作可以透過多種工具完成，您可以選擇最適合自己的工具。舉例來說，您可以使用Google Cloud 控制台中的「Explorer」窗格、bq mk --table 指令或 CREATE TABLE SQL 陳述式建立資料表。

  • Google Cloud 控制台。 Google Cloud 控制台有多個頁面專門用於 BigQuery 管理。詳情請參閱「使用 Google Cloud 控制台」。

  • SQL 陳述式。Google Cloud 控制台的 BigQuery 頁面提供查詢編輯器，您可以使用 DDL 和 DCL 陳述式執行管理工作。詳情請參閱「資料定義語言 (DDL)」和「資料控制語言 (DCL)」。

    您可以使用預存程序，自動執行使用 SQL 陳述式的管理工作。詳情請參閱「使用預存程序」。

  • bq 指令。bq 指令列工具可讓您使用 bq 指令執行多項管理工作。您可以使用 bq 指令列工具執行 Google Cloud 控制台不支援的工作、在查詢或 API 方法中編碼前先設計功能原型，或在指令列介面中工作。詳情請參閱「使用 bq 指令列工具」。

管理資源

BigQuery 資源包括組織、資料夾、專案、資料集和資料表。本節說明如何管理貴組織的資源。

如要瞭解如何整理 BigQuery 資源，請參閱「資源階層簡介」。具體來說，您可以建立組織資源，以便在組織層級執行某些工作，例如設定存取控管。

管理資料集

資料集是資料表的容器。您可以在資料集中建立資料表，然後以群組形式管理。舉例來說，您可以設定資料集的預設資料表到期時間，除非您覆寫這項設定，否則該設定會套用至資料集內的所有資料表。您可以複製資料集，藉此複製一組資料表，並在資料集層級控管資料表的存取權。

如要進一步瞭解資料集管理，請參閱下列文件：

管理資料表

在 BigQuery 中，資料會儲存在資料表，方便您查詢。您可以建立資料表、從各種來源和格式將資料載入資料表、根據特定資料欄或擷取時間將資料表分區、將資料表分群、更新資料表屬性，以及匯出資料表資料。

如要進一步瞭解資料表管理，請參閱下列文件：

標籤資源

您可以在資料集、資料表和檢視表中加入標籤，協助您整理 BigQuery 資源。標籤是您可以附加至資源的鍵/值組合。為資源加上標籤後，即可根據標籤值搜尋資源。舉例來說，您可以新增 dept:sales、dept:marketing 或 dept:analytics 等標籤，依部門將資料集分組。然後使用標籤依部門細分帳單費用。

詳情請參閱「標籤簡介」。

取得資源資訊

您可以查詢 INFORMATION_SCHEMA 檢視表，取得 BigQuery 資源的相關資訊。BigQuery 會為每種資源類型提供檢視表。例如，INFORMATION_SCHEMA.TABLES 檢視表包含資料表的相關資訊。

以下列舉幾個例子，說明您可以透過查詢 INFORMATION_SCHEMA 檢視表取得哪些資訊：

  • 查看資料表的建立時間。
  • 取得資料表中各資料欄的名稱和資料類型。
  • 找出專案中執行的所有工作。
  • 取得從基礎資料表建立的資料表快照清單。
  • 針對資料集、資料表、檢視表或常式，取得可用於建立資源的 DDL 陳述式。
  • 取得用於建立資料表的選項 (例如資料表到期時間)。
  • 找出資料表的分區和分群資料欄。
  • 取得專案指派的預留項目和運算單元容量。

詳情請參閱「BigQuery INFORMATION_SCHEMA 簡介」。

複製資料

您可能基於各種原因需要建立資料副本，例如避免人為錯誤，或保留資料以供日後比較。BigQuery 提供多種選項，可複製特定時間點的資料表資料。

  • 時間回溯。您可能需要存取資料表在過去一週內某個時間點的狀態，例如資料因人為錯誤而損毀時。BigQuery 會保留資料表的歷來資料七天。您可以使用時光旅行功能，存取資料表近期的歷來資料。

    詳情請參閱「使用時間旅行功能存取歷來資料」。

  • 資料表快照。如要存取一週前的資料表狀態，建議定期建立資料表快照。資料表快照是輕量級的唯讀副本，可讓您無限期保留資料表的狀態。舉例來說，您可以使用資料表快照，比較資料表目前的資料與年初的資料，但無法使用時間旅行功能。您只需支付基礎資料表和資料表快照之間差異資料的儲存費用。

    詳情請參閱「資料表快照簡介」。

  • 資料表本機副本如要建立輕量、可寫入的資料表副本，可以使用資料表複製。您只需支付基礎資料表和資料表複製版本之間差異資料的儲存費用。舉例來說，您可以在測試環境中建立資料表複製，以便使用正式環境資料的副本進行實驗，而不會影響正式環境資料，也不必支付完整資料表副本的儲存費用。

    詳情請參閱「資料表複製版本簡介」。

追蹤資料歷程

資料歷程是 Knowledge Catalog 的功能，可以追蹤資料在系統的移動情形，包括來源、傳遞目的地和採用的轉換作業。如要進一步瞭解資料歷程如何協助您追蹤專案中的資料移動，請參閱 Knowledge Catalog 的「關於資料歷程」。

保護資源

BigQuery 安全性是以 Google Cloud Identity and Access Management 為基礎。BigQuery 可讓您在多個層級控管資源存取權，包括機構、資料夾、專案、資料集、資料表、資料表資料欄和資料表資料列。

如要瞭解如何控管 BigQuery 資源的存取權，請參閱「資料安全性與管理總覽」。

管理工作負載

BigQuery 會代表使用者執行許多工作，包括擷取、查詢和匯出資料。每項工作都是由 BigQuery 工作完成。本節說明如何監控及管理組織的工作。

管理工作機會

工作是 BigQuery 代表使用者執行的動作，用於載入、匯出、查詢或複製資料。當使用者透過Google Cloud 控制台、bq 指令列工具、SQL 陳述式或 API 呼叫啟動其中一項工作時，BigQuery 會自動建立工作來執行該工作。

BigQuery 管理員可以監控、管理及排解組織的工作，確保工作順利執行。

詳情請參閱「管理工作」。

管理保留項目

BigQuery 執行查詢時，會使用稱為「運算單元」的運算單位。BigQuery 會依據查詢的規模和複雜程度，計算執行每項查詢所需的運算單元數量。

BigQuery 針對執行查詢的運算單元，提供兩種計費模式：

  • 隨選計費。查詢會使用共用的運算單元集區，費用則依查詢處理的位元組數計算。如要進一步瞭解隨選計費限制，請參閱「查詢工作」。
  • 依容量計費。您可以將預留項目或運算資源承諾使用合約指派給版本，每個版本都有專屬的功能集和價格點，可提供最適合您的工作環境。

這些定價模式適用於各項專案，因此您可以讓部分專案使用隨選計費，部分專案使用依容量計費。

如果採用隨選計價模式，當月免費額度用完後，系統會根據每項查詢處理的位元組數收費。處理量受限於預先定義的運算單元配額，由專案中執行的查詢共用。

採用 BigQuery 版本計費模式時，您可透過自動調度資源預留項目，以及選用但費用較低的運算資源承諾使用合約，為組織分配運算單元。每個版本的運算單元都有各自的價格點，並提供專屬功能。如要進一步瞭解 BigQuery 版本和相關功能，請參閱「BigQuery 版本簡介」。

如要進一步瞭解如何管理處理查詢的運算能力，請參閱下列文件：

監控資源

Google Cloud 提供監控及稽核資源的功能，包括 BigQuery 資源。本節說明適用於 BigQuery 的Google Cloud 監控和稽核功能。

詳情請參閱「BigQuery 監控簡介」。

Cloud Monitoring 資訊主頁

Cloud Monitoring 提供監控 BigQuery 的資訊主頁。您可以使用這個資訊主頁，查看 BigQuery 事件、資料集、資料表、專案、查詢時間和運算單元使用率的相關資訊。

詳情請參閱「查看 Monitoring 資訊主頁」。

管理圖表和快訊

您可以使用 Cloud Monitoring，根據指定的資源、指標和任何匯總建立自訂圖表。

詳情請參閱「資訊主頁和圖表」。

您也可以建立警告政策，在觸發設定的警告時通知您。舉例來說，您可以建立快訊，在查詢執行時間超過指定限制時，傳送電子郵件到指定電子郵件地址。

詳情請參閱「建立快訊」。

監控保留項目

您可以在Google Cloud 控制台的「Workload management」(工作負載管理) 頁面監控運算單元用量。您可以查看運算資源承諾使用合約，以及運算單元預留項目的指派位置。您也可以使用運算單元估算工具 (預先發布版)，根據歷來成效指標，預估組織的容量需求。

詳情請參閱「監控 BigQuery 預留項目」。

配額

Google Cloud 會限制資源的使用，包括 BigQuery 資源，以確保共用資源的公平使用，並防止成本失控。您可以查看設有配額的 BigQuery 資源用量，並視需要透過 Google Cloud 控制台要求提高配額。

詳情請參閱「BigQuery 配額與限制」。

稽核記錄

Cloud 稽核記錄會保存 Google Cloud 事件的記錄，包括 BigQuery 事件。您可以使用Logs Explorer，查詢與 BigQuery 工作、資料集、移轉作業等相關事件的記錄。「Logs Dashboard」(記錄資訊主頁) 會顯示近期錯誤的相關資訊，您可以使用記錄指標計算符合特定篩選條件的記錄項目數量。

詳情請參閱 Google Cloud 記錄說明文件。

最佳化工作負載

您可以最佳化 BigQuery 設定，控管儲存空間和查詢處理費用。

可靠性指南

本文將說明 BigQuery 的可靠性，包括可用性、耐用性、資料一致性、效能一致性和資料復原，並探討錯誤處理的注意事項。如要進一步瞭解可靠性和災難規劃，請參閱「瞭解可靠性」。

疑難排解

除了本文所述用於監控及管理組織 BigQuery 系統的功能外，您也可以使用下列資源，排解可能發生的問題：

如需其他協助，請參閱「取得支援」。

後續步驟