查詢 Blob 儲存體 BigLake 資料表

BigQuery 可讓您使用 BigQuery Omni，對儲存在 Azure Blob 儲存體 BigLake 資料表中的資料執行 GoogleSQL 查詢。查詢 Blob Storage BigLake 資料表，即可分析 Blob Storage 中的資料，並與其他資料表彙整，不必複製或移動基礎檔案。

事前準備

確認您有 Blob 儲存體 BigLake 資料表。

必要的角色

如要查詢 Blob 儲存體 BigLake 資料表，請確認 BigQuery API 的呼叫端具備下列角色：

  • BigQuery 連線使用者 (roles/bigquery.connectionUser)
  • BigQuery 資料檢視者 (roles/bigquery.dataViewer)
  • BigQuery 使用者 (roles/bigquery.user)

呼叫端可以是您的帳戶或 Blob 儲存體連線服務帳戶。視權限而定，您可以將這些角色授予自己，或要求管理員授予。如要進一步瞭解如何授予角色，請參閱「查看可針對資源授予的角色」。

如要查看查詢 Blob Storage BigLake 資料表所需的確切權限，請展開「Required permissions」(必要權限) 部分：

所需權限

您或許還可透過自訂角色或其他預先定義的角色取得這些權限。

查詢 Blob 儲存體 BigLake 資料表

建立 Blob Storage BigLake 資料表後，您可以使用 GoogleSQL 語法查詢，就像查詢標準 BigQuery 資料表一樣。

快取的查詢結果會儲存在 BigQuery 臨時資料表中。如要查詢臨時 BigLake 資料表，請參閱「查詢臨時 BigLake 資料表」。如要進一步瞭解 BigQuery Omni 的限制和配額，請參閱限制和配額。

在 BigQuery Omni 區域建立預留項目時，請使用 Enterprise 版本。如要瞭解如何建立預留項目並指定版本，請參閱「建立預留項目」。

對 Blob 儲存體 BigLake 資料表執行查詢：

  1. 前往 Google Cloud 控制台的「BigQuery」頁面。

    前往「BigQuery」

  2. 在查詢編輯器中輸入下列陳述式：

    SELECT * FROM DATASET_NAME.TABLE_NAME;

    更改下列內容：

    • DATASET_NAME：您建立的資料集名稱

    • TABLE_NAME：您建立的 BigLake 資料表名稱

    • 按一下「 執行」。

如要進一步瞭解如何執行查詢，請參閱「執行互動式查詢」。

查詢暫時資料表

BigQuery 會建立臨時資料表來儲存查詢結果。如要從臨時資料表擷取查詢結果，可以使用 Google Cloud 控制台或 BigQuery API。

選取下列選項之一：

控制台

查詢參照外部雲端資料的 BigLake 資料表時，您可以在 Google Cloud 控制台查看查詢結果。

API

如要使用 API 查詢 BigLake 資料表，請按照下列步驟操作：

  1. 建立工作物件。
  2. 呼叫 jobs.insert 方法以非同步方式執行查詢，或呼叫 jobs.query 方法以同步方式執行查詢，並傳入 Job 物件。
  3. 傳遞指定工作參考資料，即可使用 jobs.getQueryResults 讀取資料列；傳遞查詢結果的指定資料表參考資料，則可使用 tabledata.list 方法。

查詢 _FILE_NAME 虛擬資料欄

以外部資料來源為基礎的資料表會提供名為 _FILE_NAME 的虛擬資料欄。這一欄包含資料列所屬檔案的完整路徑。這個資料欄僅適用於參照儲存在 Cloud Storage、Google 雲端硬碟、Amazon S3 和 Azure Blob Storage 中外部資料的資料表。

_FILE_NAME 資料欄名稱為保留名稱，也就是說，您無法在任何資料表中建立該名稱的資料欄。如要選取 _FILE_NAME 的值，您必須使用別名。以下查詢範例示範如何將別名 fn 指派給虛擬資料欄，藉此選取 _FILE_NAME。

  bq query \
  --project_id=PROJECT_ID \
  --use_legacy_sql=false \
  'SELECT
     name,
     _FILE_NAME AS fn
   FROM
     `DATASET.TABLE_NAME`
   WHERE
     name contains "Alex"'

更改下列內容：

  • PROJECT_ID 是有效的專案 ID (如果您使用 Cloud Shell，或是在 Google Cloud CLI 中設定預設專案，則不需要這個旗標)
  • DATASET 是儲存永久外部資料表的資料集名稱
  • TABLE_NAME 是永久外部資料表的名稱

如果查詢在 _FILE_NAME 虛擬資料欄上有篩選器述詞，BigQuery 會嘗試略過讀取不符合篩選條件的檔案。使用 _FILE_NAME 虛擬資料欄建構查詢述詞時，建議做法與 使用虛擬資料欄查詢擷取時間分區資料表 類似。

後續步驟