讀取 Pub/Sub 串流來源

Cloud Data Fusion 支援串流資料管道中的 Pub/Sub 來源。

事前準備

角色和權限

如要取得從 Pub/Sub 串流來源讀取資料所需的權限，請管理員在用於存取 Pub/Sub 訂閱項目的服務帳戶中，授予您 Pub/Sub 編輯者 (roles/pubsub.editor) 身分與存取權管理角色。如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和機構的存取權」。

這個預先定義的角色具備從 Pub/Sub 串流來源讀取資料所需的權限。如要查看確切的必要權限，請展開「必要權限」部分：

所需權限

如要從 Pub/Sub 串流來源讀取資料，必須具備下列權限：

  • pubsub.snapshots.create
  • pubsub.snapshots.delete
  • pubsub.snapshots.seek
  • pubsub.subscriptions.consume
  • pubsub.topics.attachSubscription

您或許還可透過自訂角色或其他預先定義的角色取得這些權限。

您會對外掛程式屬性中指定的服務帳戶授予角色，以便存取 Pub/Sub。如未指定，請授予 Dataproc 服務帳戶角色。

如要進一步瞭解如何授予角色，請參閱管理存取權。

在串流資料管道中新增 Pub/Sub 來源

  1. 前往執行個體：

    1. 在 Google Cloud 控制台中，前往 Cloud Data Fusion 頁面。

    2. 如要在 Cloud Data Fusion Studio 中開啟執行個體，請依序按一下「Instances」和「View instance」。

      前往「Instances」(執行個體)

  2. 在 Cloud Data Fusion 網頁介面中，按一下「Studio」。

  3. 選取「資料管道 - 即時」。

  4. 在「來源」選單中，選取「Pub/Sub」。管道中會顯示 Pub/Sub 串流來源節點。

  5. 在 Pub/Sub 節點上，按一下「Properties」(屬性)，設定來源。詳情請參閱 Pub/Sub 串流來源。

支援單一 Pub/Sub 來源，不含 Windower 外掛程式

Cloud Data Fusion 6.9.1 版支援即時管道，但只能使用單一 Pub/Sub 串流來源，且不得使用 Windower 外掛程式。

  • Pub/Sub 串流來源內建支援功能，且資料至少會處理一次。不必啟用 Spark 檢查點。
  • Pub/Sub 串流來源會在每個批次開始時建立 Pub/Sub 快照，並在每個批次結束時移除快照。
  • 建立 Pub/Sub 快照會產生相關費用。 詳情請參閱 Pub/Sub 定價。
  • 您可以在 Cloud 稽核記錄中監控快照建立作業。

升級具有 Pub/Sub 串流來源的管道

Cloud Data Fusion 支援直接升級應用程式，適用於在 6.9.1 以上版本中建立的串流管道，且管道具有 Pub/Sub 串流來源。

如果資料管道在 6.9.0 版或更早版本中含有 Pub/Sub 串流來源，Cloud Data Fusion 就不支援升級。請改為將這些管道升級至 6.9.1：

  1. 規劃升級執行個體時，請停止將資料發布至主題。
  2. 等待管道處理發布的資料。
  3. 資料處理完成後，請停止管道。
  4. 升級執行個體。
  5. 複製現有管道，並更新至最新外掛程式。
  6. 部署管道。

  7. 執行新管道來讀取資料。

    新版會自動使用快照，而非 Spark 檢查點。

  8. 刪除舊管道。

後續步驟