從 Pub/Sub 串流來源讀取資料

Cloud Data Fusion 中的 Pub/Sub 來源可讓您將即時訊息串流擷取至串流資料管道。接著，您可以轉換、擴充事件資料，並以極低的延遲時間將資料寫入下游儲存空間和數據分析目的地。

事前準備

必要的角色

如要取得從 Pub/Sub 串流來源讀取資料所需的權限，請要求管理員針對用於存取 Pub/Sub 訂閱項目的服務帳戶，授予您 Pub/Sub 編輯者 (roles/pubsub.editor) IAM 角色。如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和組織的存取權」。

這個預先定義的角色具備從 Pub/Sub 串流來源讀取資料所需的權限。如要查看確切的必要權限，請展開「Required permissions」(必要權限) 部分：

所需權限

您必須具備下列權限，才能從 Pub/Sub 串流來源讀取資料：

  • pubsub.snapshots.create
  • pubsub.snapshots.delete
  • pubsub.snapshots.seek
  • pubsub.subscriptions.consume
  • pubsub.topics.attachSubscription

您或許還可透過自訂角色或其他預先定義的角色取得這些權限。

您可以在外掛程式屬性中指定的服務帳戶上授予角色，以便存取 Pub/Sub。如未指定，請將角色授予 Managed Service for Apache Spark 服務帳戶。

如要進一步瞭解如何授予角色，請參閱「管理存取權」。

在串流資料管道中新增 Pub/Sub 來源

  1. 前往執行個體：

    1. 在 Google Cloud 控制台中，前往 Cloud Data Fusion 頁面。

    2. 如要在 Cloud Data Fusion Studio 中開啟執行個體，請依序按一下「Instances」和「View instance」。

      前往「Instances」(執行個體)

  2. 在 Cloud Data Fusion 網頁介面中，按一下「Studio」。

  3. 選取「Data Pipeline - Realtime」。

  4. 在「來源」選單中，選取「Pub/Sub」。管道中會出現 Pub/Sub 串流來源節點。

  5. 在 Pub/Sub 節點上，按一下「Properties」(屬性) 來設定來源。詳情請參閱「Pub/Sub 串流來源」。

支援單一 Pub/Sub 來源，不含 Windower 外掛程式

Cloud Data Fusion 6.9.1 版支援即時管道，其中包含單一 Pub/Sub 串流來源，且不含 Windower 外掛程式。

  • Pub/Sub 串流來源內建支援功能，且資料至少會處理一次。不一定要啟用 Spark 檢查點。
  • Pub/Sub 串流來源會在每個批次開始時建立 Pub/Sub 快照，並在每個批次結束時移除。
  • 建立 Pub/Sub 快照會產生相關費用。詳情請參閱「Pub/Sub 定價」。
  • 您可以在 Cloud 稽核記錄中監控快照建立作業。

升級含有 Pub/Sub 串流來源的管道

Cloud Data Fusion 支援直接升級應用程式，適用於 6.9.1 以上版本建立的 Pub/Sub 串流來源串流管道。

Cloud Data Fusion 不支援升級 6.9.0 以下版本中，含有 Pub/Sub 串流來源的資料管道。請改為將這些管道升級至 6.9.1：

  1. 規劃執行個體升級時，請停止將資料發布至主題。
  2. 等待管道完成處理發布的資料。
  3. 資料處理完畢後，請停止管道。
  4. 升級執行個體。
  5. 複製現有管道，並更新至最新外掛程式。
  6. 部署管道。

  7. 執行新的管道來讀取資料。

    新版本會自動使用快照，而非 Spark 檢查點。

  8. 刪除舊管道。

後續步驟