從 Pub/Sub 串流來源讀取資料

Cloud Data Fusion 中的 Pub/Sub 來源可讓您將即時訊息串流擷取至串流資料管道。接著,您可以轉換、擴充事件資料,並以極低的延遲時間將資料寫入下游儲存空間和數據分析目的地。

事前準備

必要的角色

如要取得從 Pub/Sub 串流來源讀取資料所需的權限,請要求管理員針對用於存取 Pub/Sub 訂閱項目的服務帳戶,授予您 Pub/Sub 編輯者 (roles/pubsub.editor) IAM 角色。如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和組織的存取權」。

這個預先定義的角色具備從 Pub/Sub 串流來源讀取資料所需的權限。如要查看確切的必要權限,請展開「Required permissions」(必要權限) 部分:

所需權限

您必須具備下列權限,才能從 Pub/Sub 串流來源讀取資料:

  • pubsub.snapshots.create
  • pubsub.snapshots.delete
  • pubsub.snapshots.seek
  • pubsub.subscriptions.consume
  • pubsub.topics.attachSubscription

您或許還可透過自訂角色或其他預先定義的角色取得這些權限。

您可以在外掛程式屬性中指定的服務帳戶上授予角色,以便存取 Pub/Sub。如未指定,請將角色授予 Managed Service for Apache Spark 服務帳戶。

如要進一步瞭解如何授予角色,請參閱「管理存取權」。

在串流資料管道中新增 Pub/Sub 來源

  1. 前往執行個體:

    1. In the Google Cloud console, go to the Cloud Data Fusion page.

    2. To open the instance in the Cloud Data Fusion Studio, click Instances, and then click View instance.

      Go to Instances

  2. 在 Cloud Data Fusion 網頁介面中,按一下「Studio」。

  3. 選取「Data Pipeline - Realtime」。

  4. 在「來源」選單中,選取「Pub/Sub」。管道中會出現 Pub/Sub 串流來源節點。

  5. 在 Pub/Sub 節點上,按一下「Properties」(屬性) 來設定來源。詳情請參閱「Pub/Sub 串流來源」。

支援單一 Pub/Sub 來源,不含 Windower 外掛程式

Cloud Data Fusion 6.9.1 版支援即時管道,其中包含單一 Pub/Sub 串流來源,且不含 Windower 外掛程式。

  • Pub/Sub 串流來源內建支援功能,且資料至少會處理一次。不一定要啟用 Spark 檢查點。
  • Pub/Sub 串流來源會在每個批次開始時建立 Pub/Sub 快照,並在每個批次結束時移除。
  • 建立 Pub/Sub 快照會產生相關費用。詳情請參閱「Pub/Sub 定價」。
  • 您可以在 Cloud 稽核記錄中監控快照建立作業。

升級含有 Pub/Sub 串流來源的管道

Cloud Data Fusion 支援直接升級應用程式,適用於 6.9.1 以上版本建立的 Pub/Sub 串流來源串流管道。

Cloud Data Fusion 不支援升級 6.9.0 以下版本中,含有 Pub/Sub 串流來源的資料管道。請改為將這些管道升級至 6.9.1:

  1. 規劃執行個體升級時,請停止將資料發布至主題。
  2. 等待管道完成處理發布的資料。
  3. 資料處理完畢後,請停止管道。
  4. 升級執行個體。
  5. 複製現有管道,並更新至最新外掛程式。
  6. 部署管道。
  7. 執行新的管道來讀取資料。

    新版本會自動使用快照,而非 Spark 檢查點。

  8. 刪除舊管道。

後續步驟