BigQuery 共用功能簡介

BigQuery sharing (舊稱 Analytics Hub) 是一個資料交換平台，可讓您安全地跨機構共用、探索及存取資料，不必複製資料。

您可以使用 BigQuery sharing 探索精選的第三方和 Google 資料集，並與內部資料合併，以強化數據分析和機器學習計畫。

BigQuery 共用身分與存取權管理 (IAM) 角色可讓您執行下列 BigQuery 共用工作：

  • Analytics Hub 發布者 (roles/analyticshub.publisher)：與合作夥伴聯播網或自家機構即時共用資料。清單可讓您分享資料，不必複製資料，而且您可以在 Google Cloud Marketplace 或透過自己的管道，透過清單營利。您可以建立可供分析的資料來源目錄，並設定精細的權限，將資料提供給授權的訂閱者。你也可以管理訂閱項目，並查看清單的使用指標。

  • 資料分析中心訂閱者 (roles/analyticshub.subscriber)：探索資料、將共用資料與現有資料合併，以及使用 BigQuery 的內建功能。 訂閱房源後，系統會在 Google Cloud 專案中建立連結資料集或連結的 Pub/Sub 訂閱項目。如要管理訂閱項目，請使用「Subscription resource」，其中會儲存訂閱者資訊，並代表發布者和訂閱者之間的連線。

  • Analytics Hub 檢視者 (roles/analyticshub.viewer)：瀏覽您有權在 BigQuery sharing 中查看的資料交換庫和項目。如果沒有訂閱授權，可以向發布者要求授權，存取共用資料。您可以在 BigQuery sharing 和 Cloud Marketplace 上，探索整合 Cloud Marketplace 的商業項目。

  • Analytics Hub 管理員 (roles/analyticshub.admin)：建立資料交換，讓發布商共用資料，並授予資料發布者和訂閱者存取這些資料交換的權限。

詳情請參閱「設定 Analytics Hub 角色」。

架構

BigQuery sharing 功能是以Google Cloud 資料資源的發布及訂閱模型為基礎，可讓您直接共用資料，不必複製。BigQuery 共用功能支援下列資源：

  • BigQuery 資料集
  • Pub/Sub 主題

發布商工作流程

在發布者工作流程中，您會在專案中建立共用資源，並在資料交換庫中將這些資源整理成清單，然後授予訂閱者存取權：

Analytics Hub 發布者角色的工作流程，包括共用資源、資料交換和產品資訊。

以下各節說明發布者工作流程中的元件。

共用的資料集

共用資料集是 BigQuery 資料集，做為 BigQuery sharing 功能中的資料共用單位。BigQuery 架構將運算和儲存空間分開，因此資料發布者可以與多位訂閱者共用資料集，不必複製資料。發布者可以在專案中建立或使用現有的 BigQuery 資料集，並包含下列支援的物件：

共用資料集支援資料欄層級安全性和資料列層級安全性。

共用主題

共用主題是 Pub/Sub 主題，也是 BigQuery 中串流資料共用的單位。發布者可以在專案中建立或使用現有的 Pub/Sub 主題，並將主題發布給訂閱者。

資料交換庫

資料交換庫是容器，可讓發布者分享資料目錄，訂閱者則可直接瀏覽及要求存取權。其中包含參照共用資源的項目。發布商和管理員可以在交易平台和刊登層級授予訂閱者存取權，避免在基礎共用資源上明確授予存取權。建立資料交換庫時，您可以指派主要聯絡人電子郵件地址，方便訂閱者聯絡資料交換庫擁有者。

資料交換可以是下列其中一種類型：

Analytics Hub 管理員角色可讓您建立多個資料交換，並管理執行 BigQuery 共用工作的團隊成員。

清單

清單是發布者在資料交換庫中列出的共用資源參照資訊。發布者可以建立項目，並指定資源說明、範例查詢、範例訊息資料、說明文件連結，以及訂閱者的相關操作說明。建立商家資訊時，您可以指派主要聯絡人電子郵件地址、供應商詳細資料和發布者詳細資料。詳情請參閱「管理房源」。

根據為商家資訊及其父項資料交易所設定的 IAM 政策，商家資訊可以是下列其中一種類型：

  • 私人房源：房源預設為私人房源，並直接與特定使用者或群組共用。舉例來說，私人房源資訊可以參照您與機構內特定團隊共用的內部指標資料集。
  • 公開目錄：與所有 Google Cloud 使用者 (allAuthenticatedUsers)共用。 公開資料交易所中的目錄即為公開目錄。這些資訊可以參照免費公開資源或商業資源。如果商家資源的訂閱者想要求存取權，可以直接向資料供應商提出，或是購買與 Cloud Marketplace 整合的商家資源。

資料輸出選項

如果是 BigQuery 共用資料集，發布商可以透過資料輸出選項，限制訂閱者從連結的資料集匯出資料。

發布商可以對目錄、查詢結果或兩者啟用資料輸出限制。如果資料輸出受到限制，則適用下列限制：

建立產品資訊時，你可以設定適當的資料輸出選項。

訂閱者工作流程

在訂閱者工作流程中，您可以瀏覽資料交換庫來探索清單、訂閱清單，以及查詢專案中連結的資源：

Analytics Hub 訂閱者角色的工作流程，包括共用資源、資料交換、商家資訊和連結資源。

以下各節說明訂閱者工作流程中的元件。

連結的資料集

連結的資料集是唯讀 BigQuery 資料集，做為共用資料集的指標或參照。訂閱產品資訊會在專案中建立連結的資料集，不必複製資料。訂閱者可以即時查詢標準資料表和檢視區塊，但無法在資料集中新增或更新物件。

連結的資料集有權存取共用資料集中的資料表和檢視表，不需要對基礎來源資料集進行額外的 IAM 授權。除了標準資料表和檢視表，連結的資料集也支援下列授權資源：

如要進一步瞭解連結的資料集，請參閱查看及訂閱商家資訊和資料交易平台。

已連結的 Pub/Sub 訂閱項目

訂閱含有共用主題的清單時，系統會在訂閱端專案中建立連結的 Pub/Sub 訂閱項目，不會複製共用主題或訊息資料。連結的 Pub/Sub 訂閱項目訂閱者可以存取發布至共用主題的訊息，無須取得來源主題的額外 IAM 授權。發布商可以直接在 Pub/Sub 中管理訂閱項目，也可以透過 BigQuery sharing 管理訂閱項目。

如要進一步瞭解連結的 Pub/Sub 訂閱項目，請參閱透過 Pub/Sub 串流分享。

應用實例

本節提供範例，說明如何使用 BigQuery sharing 進行合作夥伴協作和資料營利。

合作夥伴協作

假設您是零售商，貴機構在名為 Google Cloud 的專案中維護即時需求預測資料。Forecasting您想與供應鏈網路中的數百家供應商分享這項需求預測資料。下列各節說明如何跨角色共用資料。

管理員

身為「Forecasting」專案的擁有者，您要啟用 Analytics Hub API，並將 Analytics Hub 管理員角色 (roles/analyticshub.admin) 授予管理資料交換庫的團隊成員。擁有這個角色的主體是 BigQuery sharing 管理員。

BigQuery 共用管理員可以執行下列工作：

  • 在機構的Forecasting專案中建立、更新、刪除及共用資料交換。
  • 使用 Analytics Hub 管理員角色管理其他 BigQuery sharing 管理員。
  • 授予員工 Analytics Hub Publisher 角色 (roles/analyticshub.publisher)，即可管理 BigQuery sharing 發布者。如果員工只需要更新、刪除及分享商家檔案，不需要建立商家檔案，請授予Analytics Hub 商家檔案管理員角色 (roles/analyticshub.listingAdmin)。
  • 授予由所有供應商組成的 Google 群組「Analytics Hub 訂閱者」角色 (roles/analyticshub.subscriber)，即可管理 BigQuery sharing 訂閱者。如果供應商只需要查看可用的交易平台和刊登資訊，不需要訂閱，請授予Analytics Hub 檢視者角色 (roles/analyticshub.viewer)。

詳情請參閱「BigQuery sharing IAM 角色」和「管理資料交換庫」。

發布者

在此情境中，資料發布者會將供應鏈資料集封裝到個別的項目中，以滿足供應商需求。發布商會在 Forecasting 專案中建立下列項目：

  • 清單 A：需求預測資料集 1
  • 項目 B：需求預測資料集 2
  • 項目 C：需求預測資料集 3

發布者可以追蹤共用資料集的使用指標，包括下列詳細資料：

  • 針對共用資料集執行的工作。
  • 訂閱者專案和機構的用量詳細資料。
  • 處理的總列數和位元組數。

詳情請參閱「管理房源」。

訂閱者

訂閱者可瀏覽資料交換中他們有權存取的清單。供應商可以訂閱這些資訊，將資料集新增至專案做為連結資料集。供應商接著就能對這些連結的資料集執行查詢，並即時擷取預測結果。

詳情請參閱「查看及訂閱商家資訊和資料交換」。

資料營利

假設您是金融資料供應商，在名為 MarketDataSource 的 Google Cloud 專案中，提供經過整理的歷來股權價格資料集。您想將這項資料提供給外部金融機構和交易員，藉此營利。以下章節說明如何透過 BigQuery 共用功能將資料營利。

管理員

身為 MarketDataSource 專案的擁有者，您會啟用 Analytics Hub API 和 Cloud Marketplace API，然後將 Analytics Hub 管理員角色 (roles/analyticshub.admin) 授予管理商業交易的團隊。擁有這個角色的主體是 BigQuery sharing 管理員。

BigQuery 共用管理員可以執行下列工作：

  • 建立公開資料交換平台，並與 Cloud Marketplace 整合。
  • 如要管理 BigQuery sharing 發布者，請將 Analytics Hub 發布者角色 (roles/analyticshub.publisher) 授予負責建立商業項目的資料工程師。如果員工只需要更新、刪除及共用產品資訊，不需要建立產品資訊，請授予 Analytics Hub 產品資訊管理員角色 (roles/analyticshub.listingAdmin)。
  • 在 Cloud Marketplace 中管理商業條款和定價模式。

詳情請參閱「管理資料交換」和「整合 Cloud Marketplace 的商業產品」。

發布者

在這個情境中，發布商會根據訂閱模式，將金融資料產品分層包裝成刊登資訊。發布者會建立下列項目：

  • 項目 A：全球股價 (月費方案)
  • 項目 B：即時市場信號 (年約方案)
  • 項目 C：歷來經濟指標 (免費試用)

發布者可以追蹤共用資料集的使用指標，包括下列詳細資料：

  • 針對共用資料集執行的工作。
  • 訂閱者專案和機構的用量詳細資料。
  • 處理的總列數和位元組數。

詳情請參閱「管理房源」。

訂閱者

訂閱者可以在 BigQuery Sharing 或 Cloud Marketplace 中直接瀏覽項目。訂閱者購買訂閱方案後，即可在 Google Cloud 專案中建立連結的資料集，並查詢歷史資料和專有交易模型，不必手動擷取資料或複製檔案。

詳情請參閱「查看及訂閱商家資訊和資料交換」。

定價

在 BigQuery 共用中管理資料交換或資訊主頁，不會產生額外費用。

下表列出支援資源的定價模式：

資源 發布商費用 訂閱者費用 更多資訊
BigQuery 資料集 資料儲存 對共用資料執行的查詢 (以量計價或容量計價) BigQuery 定價
Pub/Sub 主題 寫入的資料 (發布總處理量) 和網路輸出 (如適用) 讀取資料 (訂閱總處理量) 和網路輸出 (如適用) Pub/Sub 定價

支援的地區

BigQuery sharing 功能支援下列區域和多重區域：

區域

下表列出美洲地區中可共用裝置的區域。
區域說明 區域名稱 詳細資料
俄亥俄州哥倫布 us-east5
達拉斯 us-south1 節能綠葉圖示 低二氧化碳排放
愛荷華州 us-central1 節能綠葉圖示 低二氧化碳排放
拉斯維加斯 us-west4
洛杉磯 us-west2
墨西哥 northamerica-south1
蒙特婁 northamerica-northeast1 節能綠葉圖示 低二氧化碳排放
北維吉尼亞州 us-east4
奧克拉荷馬州 us-central2 節能綠葉圖示 低二氧化碳排放
奧勒岡州 us-west1 節能綠葉圖示 低二氧化碳排放
鹽湖城 us-west3
聖保羅 southamerica-east1 節能綠葉圖示 低二氧化碳排放
聖地亞哥 southamerica-west1
南卡羅來納州 us-east1
多倫多 northamerica-northeast2
下表列出亞太地區中可分享的區域。
區域說明 區域名稱 詳細資料
德里 asia-south2
香港 asia-east2
雅加達 asia-southeast2
墨爾本 australia-southeast2
孟買 asia-south1
大阪 asia-northeast2
首爾 asia-northeast3
新加坡 asia-southeast1
雪梨 australia-southeast1
台灣 asia-east1
東京 asia-northeast1
下表列出歐洲可分享的地區。
區域說明 區域名稱 詳細資料
比利時 europe-west1 節能綠葉圖示 低二氧化碳排放
柏林 europe-west10
芬蘭 europe-north1 節能綠葉圖示 低二氧化碳排放
法蘭克福 europe-west3
倫敦 europe-west2 節能綠葉圖示 低二氧化碳排放
馬德里 europe-southwest1 節能綠葉圖示 低二氧化碳排放
米蘭 europe-west8
荷蘭 europe-west4 節能綠葉圖示 低二氧化碳排放
巴黎 europe-west9 節能綠葉圖示 低二氧化碳排放
杜林 europe-west12
華沙 europe-central2
蘇黎世 europe-west6 節能綠葉圖示 低二氧化碳排放
下表列出可共用位置資訊的中東地區。
地區說明 區域名稱 詳細資料
達曼 me-central2
杜哈 me-central1
特拉維夫 me-west1
下表列出非洲可分享位置資訊的地區。
地區說明 區域名稱 詳細資料
約翰尼斯堡 africa-south1

多區域

下表列出可共用的多重區域。
多地區說明 多地區名稱
歐盟1成員國境內的資料中心 EU
美國資料中心 US

1 位於 EU 多區域的資料，不會存放在 europe-west2 (倫敦) 或 europe-west6 (蘇黎世) 資料中心。

Omni 區域

下表列出可分享的 Omni。
Omni 區域說明 Omni 區域名稱
AWS
AWS - 美國東部 (北維吉尼亞州) aws-us-east-1
AWS - 美國西部 (奧勒岡州) aws-us-west-2
AWS - 亞太地區 (首爾) aws-ap-northeast-2
AWS - 亞太地區 (雪梨) aws-ap-southeast-2
AWS - 歐洲 (愛爾蘭) aws-eu-west-1
AWS - 歐洲 (法蘭克福) aws-eu-central-1
Azure
Azure - 美國東部 2 azure-eastus2

配額

如要瞭解 BigQuery sharing 資源配額和限制，請參閱「配額與限制」。

法規遵循

BigQuery sharing 是 BigQuery 的一部分，因此符合下列法規遵循計畫：

限制

以下各節說明 BigQuery 共用作業和互通性的限制。

一般資源限制

以下一般資源限制適用於 BigQuery 共用：

  • 一個共用資料集最多可連結 1,000 個資料集。
  • 共用主題最多可有 10,000 個 Pub/Sub 訂閱項目。這項限制包括連結的 Pub/Sub 訂閱項目，以及直接在 Pub/Sub 中建立的訂閱項目。
  • 如果資料集含有不支援的資源，就無法選取為共用資料集。 如要瞭解支援的物件，請參閱「共用資料集」。
  • 您無法在連結資料集中的個別表格上設定 IAM 角色或 IAM 政策。請改為在連結的資料集層級套用。
  • 您無法將 IAM 標記附加至連結資料集中的資料表。請改為在連結的資料集層級套用。
  • 2023 年 7 月 25 日前建立的連結資料集不會由訂閱資源回填。只有在 2023 年 7 月 25 日後建立的訂閱項目，才能搭配 API 方法使用。

發布商限制

如果您是發布商，則適用下列 BigQuery 互通性限制：

  • 您必須授予訂閱者明確的權限，才能讀取來源資料集，並查詢連結資料集中的檢視表。最佳做法是建立授權檢視表，讓訂閱者有權查看資料，但無權存取基礎來源資料。
  • 查詢計畫會顯示共用檢視區塊查詢和常式查詢定義，包括專案 ID 和授權檢視區塊中涉及的其他資料集。請勿在共用檢視畫面或例行查詢中加入加密金鑰等私密資訊。
  • 系統會在 Data Catalog (已淘汰) 和 Knowledge Catalog 中為共用資料集建立索引。訂閱者可立即取得共用資料集的結構定義更新。不過，如果共用資料集中有超過 100 個訂閱者或資料表，更新作業可能需要最多 18 小時才能完成索引。由於索引延遲，訂閱者無法立即在 Google Cloud 控制台中搜尋更新的資源。
  • 系統會在 Data Catalog (已淘汰) 和 Knowledge Catalog 中為共用主題建立索引，但您無法依資源類型進行篩選。
  • 如果您在列出的資料表上設定資料列層級安全防護或資料遮蓋政策，訂閱者必須使用 Enterprise 或 Enterprise Plus 版本，才能在連結的資料集上執行查詢工作。如需版本相關資訊，請參閱「BigQuery 版本簡介」。

訂閱者限制

如果您是訂閱者，則適用下列 BigQuery 互通性限制：

多地區房源限制

如果房源涵蓋多個區域，則須遵守下列限制：

  • 只有共用資料集和連結的資料集副本支援多個區域的房源資訊。共用 Pub/Sub 主題或訂閱項目不支援多個區域的刊登。
  • 資料無塵室不支援多個區域的房源資訊。
  • BigQuery Omni 地區不支援多個地區的房源資訊。

用量指標限制

使用指標有以下限制：

  • 2023 年 7 月 20 日前訂閱的項目不提供用量指標。
  • 外部資料表的 num_rows_processed 和 total_bytes_processed 欄位使用量指標可能含有不準確的資料。

  • 只有使用 BigQuery 工作時，系統才會提供耗用量指標。下列資源不支援使用量指標：

  • 只有 2024 年 4 月 22 日之後的查詢，才會填入觀看次數的用量指標。

  • 系統不會擷取 BigQuery 中已連結 Pub/Sub 訂閱項目的用量指標。您可以在 Pub/Sub 中直接查看用量。

  • BigQuery 共用使用量指標資訊主頁不提供 SQL 預存程序。您可以在 INFORMATION_SCHEMA.ROUTINES 檢視畫面中查看詳細資料，但無法在 INFORMATION_SCHEMA.SHARED_DATASET_USAGE 檢視畫面中查看。詳情請參閱「使用 INFORMATION_SCHEMA 檢視畫面」。

VPC Service Controls 和 Salesforce Data 360 限制

VPC Service Controls 和 Salesforce Data 360 有以下限制：

  • 除非為發布端專案、交換庫專案和訂閱端專案設定適當的輸入和輸出規則，否則請勿在 VPC Service Controls 範圍內的專案中發布共用資料或代管資料交換。詳情請參閱「共用 VPC Service Controls 規則」。
  • Data 360 資料會以檢視畫面形式共用。訂閱者無法存取檢視表參照的基礎資料表。

後續步驟