關於結構化資料的資料洞察

Knowledge Catalog (舊稱 Dataplex Universal Catalog) 的資料洞察功能，會自動根據資料表和資料集中繼資料，生成說明、關係圖和 SQL 查詢。這項資訊可協助您快速瞭解資料結構、內容和關係，不必手動進行大量設定。如要進一步調查，可以在資料畫布中提出後續問題。

探索不熟悉的新資料表時，資料分析師往往不知道該如何開始編寫查詢。問題可能涉及資料結構的不確定性，以及資料中的重要模式。Knowledge Catalog 的資料洞察功能可自動探索及瞭解資料。發掘模式、評估資料品質，以及執行統計分析。

總覽

資料洞察功能會使用 Gemini 分析中繼資料，並生成下列內容：

  • 說明：AI 生成的摘要，說明資料集或命名空間的用途、資料表結構，以及特定資料欄的詳細資料。

  • 查詢範例：專為資料集、命名空間或資料表的結構定義和內容設計的 SQL 查詢。

  • 關係圖：以視覺化方式呈現資料集或命名空間中不同資料表之間的連結和依附關係。

支援的資源

下列結構化資料類型可提供資料洞察：

  • BigQuery 資料集、資料表和檢視
  • 無邊界湖倉資料表 (包括 Apache Iceberg、Apache Hive 和 SAP BDC)
  • 外部資料表
  • Apache Iceberg REST 目錄資料表
  • Apache Iceberg 命名空間 (在 BigQuery 中以資料集表示)
  • Apache Hive 目錄資料表
  • SAP Business Data Cloud (BDC) 資料表

洞察資料執行範例

資料洞察會根據資料表的中繼資料，自動生成自然語言查詢和對應的 SQL。

假設有一個名為 telco_churn 的資料表，其結構定義如下：

欄位名稱 類型
CustomerID STRING
性別 STRING
年資 INT64
InternetService STRING
StreamingTV STRING
OnlineBackup STRING
合約 STRING
TechSupport STRING
PaymentMethod STRING
MonthlyCharges FLOAT
流失 BOOLEAN

以下是資料洞察為這個資料表生成的部分查詢範例：

  • 找出訂閱所有付費服務，且訂閱時間超過 50 個月的客戶。

    SELECT
  CustomerID,
  Contract,
  Tenure
FROM
  agentville_datasets.telco_churn
WHERE
  OnlineBackup = 'Yes'
  AND TechSupport = 'Yes'
  AND StreamingTV = 'Yes'
  AND Tenure > 50;

  • 找出流失最多顧客的網際網路服務。

    SELECT
  InternetService,
  COUNT(DISTINCT CustomerID) AS total_customers
FROM
  agentville_datasets.telco_churn
WHERE
  Churn = TRUE
GROUP BY
  InternetService
ORDER BY
  total_customers DESC
LIMIT 1;

  • 找出高價值顧客的區隔流失率。

    SELECT
  Contract,
  InternetService,
  Gender,
  PaymentMethod,
  COUNT(DISTINCT CustomerID) AS total_customers,
  SUM(CASE WHEN Churn = TRUE THEN 1 ELSE 0 END) AS churned_customers,
  (SUM(CASE WHEN Churn = TRUE THEN 1 ELSE 0 END) / COUNT(DISTINCT CustomerID))
  * 100 AS churn_rate
FROM
  agentville_datasets.telco_churn
WHERE
  MonthlyCharges > 100
GROUP BY
  Contract,
  InternetService,
  Gender,
  PaymentMethod;

生成資料洞察的模式

生成資料洞察時，Knowledge Catalog 提供兩種模式：

模式 說明 用量
生成並發布

將生成的資料洞察資訊，以中繼資料切面的形式保留在 Knowledge Catalog。您必須具備發布所需的權限。使用「Generate and publish」(產生並發布) 時，系統會執行下列動作：

  • 在 Knowledge Catalog 儲存資料表和資料欄說明。
  • 擷取建議的查詢和問題，做為可重複使用的面向。
  • 所有具備適當 Knowledge Catalog 存取權的使用者，都能存取已發布的洞察資料，確保機構知識共享。
  • 可直接在 Knowledge Catalog 中編輯及儲存說明。

如果需要永久保存且可重複使用的企業資料文件，或是要建構以目錄為基礎的治理工作流程，請使用這個模式。
生成但不發布

視需要建立資料洞察，例如說明、自然語言問題和 SQL 查詢。生成但不發布：不會將洞察資料發布至 Knowledge Catalog。

使用這個模式進行快速的臨時探索，避免目錄雜亂。

定價

如要瞭解這項功能的定價詳情，請參閱「Data Cloud Agent 定價」。

如要追蹤資料洞察掃描工作的權杖消耗量，並在 Cloud Monitoring 中建立自訂資訊主頁，請參閱「監控資料洞察權杖用量」。

位置

您可以在所有 BigQuery 位置使用資料洞察功能。如要瞭解 Gemini in BigQuery 處理資料的位置，請參閱「Gemini in BigQuery 處理資料的位置」。

限制

  • 多雲端客戶無法取得其他雲端的資料。
  • 資料洞察不支援 Geo 或 JSON 資料欄類型。
  • 執行 Insights 時，不一定每次都會顯示查詢。如要提高生成更吸引人的查詢的可能性，請在 BigQuery Studio 中重新生成洞察。

後續步驟