BigQuery 公開資料集

公開資料集是儲存在 BigQuery 中，透過 Google Cloud 公開資料集計畫提供給一般大眾使用的任何資料集。公共資料集是 BigQuery 託管的資料集，這些資料集皆可供您存取並整合到您的應用程式中。Google 會支付這些資料集的儲存費用，並使用專案提供資料的公開存取權。您只需要支付資料查詢費用。(每月前 1 TB 免費，相關規定請參閱查詢費率詳情)。

公開資料集可使用舊版 SQL 或 GoogleSQL 查詢進行分析。查詢公開資料集時，請使用完整資料表名稱，例如 bigquery-public-data.bbc_news.fulltext。如果貴機構限制資料存取權 (例如透過安全防護範圍)，您可能需要聯絡管理員，取得存取公開資料集的權限。

您可以透過下列方式存取 BigQuery 公開資料集：使用 Google Cloud 控制台、bq 指令列工具，或是透過各種用戶端程式庫 (例如 Java、.NET 或 Python) 呼叫 BigQuery REST API。您也可以透過 BigQuery sharing (舊稱 Analytics Hub) 檢視及查詢公開資料集，這個資料交換平台可協助您探索及存取資料庫。

根據預設，您無法從 VPC Service Controls perimeter 內存取公開資料集。公開資料集計畫不提供服務水準協議 (SLA)。

前往「共用」(舊稱 Analytics Hub)

如要進一步瞭解個別資料集，請在 Cloud Marketplace 的「資料集」部分點選資料集名稱。

前往 Cloud Marketplace 中的資料集

事前準備

您必須先建立或選取專案，才能開始使用 BigQuery 公開資料集。我們免費為您提供每月 1 TB 的資料處理量，讓您無需啟用計費功能就能開始查詢公開資料集。如果您想要進行的運用會超出免費方案的範圍，則必須啟用計費功能。

  1. 登入 Google Cloud 帳戶。如果您是 Google Cloud新手，歡迎 建立帳戶，親自評估產品在實際工作環境中的成效。新客戶還能獲得價值 $300 美元的免費抵免額，可用於執行、測試及部署工作負載。

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  5. Verify that billing is enabled for your Google Cloud project.

  6. 新專案會自動啟用 BigQuery。如要在現有專案中啟用 BigQuery，請按照下列步驟操作：

    如果尚未啟用 BigQuery API，請啟用。

    啟用 API 時所需的角色

    如要啟用 API，您必須具備 serviceusage.services.enable 權限。如果您建立了專案，可能已透過「擁有者」角色 (roles/owner) 取得這項權限。否則，您可以透過「服務使用情形管理員」角色 (roles/serviceusage.serviceUsageAdmin) 取得這項權限。瞭解如何授予角色。

    啟用 API

公開資料集位置

每個公開資料集都儲存在特定位置，例如 US 或 EU。BigQuery 範例資料表目前儲存在 US 多區域位置。查詢範例資料表時，請在指令列提供 --location=US 旗標，在Google Cloud 控制台中選擇 US 做為處理位置，或使用 API 時，在工作資源的 jobReference 區段中指定 location 屬性。由於範例資料表儲存在美國，因此您無法將範例資料表查詢結果寫入其他區域的資料表，也無法將範例資料表與其他區域的資料表聯結。

在 Google Cloud 控制台中存取公開資料集

您可以透過下列方法，在 Google Cloud 控制台中存取公開資料集：

如要查看資料表上次更新的時間，請按照「取得表格相關資訊」一文所述，前往表格的「詳細資料」部分，然後查看「上次修改時間」欄位。

其他公開資料集

有其他許多公開資料集可供您查詢，其中有些也是由 Google 託管，但有更多是由第三方託管，這些資料集包括：

公開共用資料集

您可以將資料集的存取權控管設定變更為允許「所有已驗證的使用者」存取，藉此公開共用您的任何資料集。如要進一步瞭解如何設定資料集存取權控管設定，請參閱控管資料集存取權一文。

公開共用資料集時：

  • 系統會透過公開共用資料集所屬專案連結的帳單帳戶向您收取儲存費用。
  • 查詢費用則是向執行查詢工作的專案所連結的帳單帳戶收取。

詳情請參閱「BigQuery 定價總覽」一文。

範例資料表

除了公開資料集外，BigQuery 還提供了有限數量的範例資料表供您查詢。這些資料表位於 bigquery-public-data:samples資料集中。

查詢 BigQuery 範例資料表的需求條件與查詢公開資料集的需求條件相同。

bigquery-public-data:samples 資料集包含下列資料表：

名稱 說明
gsod 提供 NOAA 收集的天氣資訊，例如 1929 年末至 2010 年初的降水量與風速。
github_nested 提供對具有巢狀結構定義的 GitHub 存放區執行之動作 (例如提取要求與評論) 的時間軸。建立時間為 2012 年 9 月。
github_timeline 提供對具有平面結構定義的 GitHub 存放區執行之動作 (例如提取要求與評論) 的時間軸。建立時間為 2012 年 5 月。
natality 提供自 1969 年至 2008 年在美國 50 州、哥倫比亞特區及紐約市註冊的所有美國出生人口。
shakespeare 提供莎士比亞作品的文字索引，能夠指出每個文字在各語料庫中出現的次數。
trigrams 提供 1520 年至 2008 年發布作品中之樣本的英語三元語法。
wikipedia 提供至 2010 年 4 月為止維基百科所有文章的完整修訂版本記錄。

與我們聯絡

如果您對 BigQuery 公開資料集方案有任何問題，請透過 bq-public-data@google.com 與我們聯絡。

後續步驟

如要瞭解如何查詢公開資料集中的資料表，請參閱「快速入門導覽課程：使用 Google Cloud 控制台」。