Datastream 總覽

Datastream 是簡單好用的無伺服器變更資料擷取 (CDC) 與複製服務，能以最短的延遲時間穩定同步處理資料。

並能將作業資料庫中的內容順暢複製到 BigQuery、將變更事件串流寫入 Cloud Storage，同時提供可以建立自訂工作流程的 Dataflow 範本，讓您輕鬆整合 Dataflow，將資料載入 Cloud SQL 和 Spanner 等多個目的地。您也能透過 Datastream 直接使用 Cloud Storage 中的事件串流，實現事件導向架構。Datastream 支援 Oracle、MySQL、SQL Server、PostgreSQL (包括 AlloyDB for PostgreSQL)、MongoDB、Salesforce、Salesforce Marketing Cloud (預先發布版)、ServiceNow (預先發布版) 和 Spanner 來源。

Datastream 的優點包括：

  • 流暢設定 ELT (擷取、載入和轉換) 管道，以低延遲的方式複製資料，在 BigQuery 中取得近乎即時的深入分析。
  • 這項服務採用無伺服器架構，因此不需佈建或管理資源，且會視需要自動擴充或縮減資源，停機時間極短。
  • 設定和監控體驗簡單易用，可快速創造價值。
  • 整合各項頂尖資料服務組合，包括 Datastream、Dataflow、Pub/Sub、BigQuery、Knowledge Catalog 等，方便您進行資料整合。 Google Cloud
  • 透過 Knowledge Catalog 集中管理中繼資料和歷程，在 Google Cloud的所有資料來源脈絡中查看 Datastream 資源。
  • 在不同類型的資料庫和應用程式之間同步處理及整合資料串流。
  • 安全性：提供私人連線選項，以及您期望的安全性。Google Cloud
  • 具備公開透明的狀態回報功能和穩健的處理彈性，能有效因應資料與結構定義變更，提供準確又可靠的服務。
  • 支援多種用途，包括分析、資料庫複製、遷移和混合雲設定的同步處理，以及建構事件導向架構。

用途

Datastream 的串流功能可支援多種用途：

  • 以最低延遲時間複製及同步處理貴機構的資料

    您可以在不同類型的資料庫和應用程式之間以可靠的方式同步處理資料，並以低延遲的方式將對來源效能的影響降到最低。在混合式環境中，運用資料串流進行分析、資料庫複製、雲端遷移和事件導向架構。

  • 運用無伺服器架構流暢擴充或縮減規模

    透過無伺服器且易於使用的服務流暢調整資源配置，即可快速設定和執行。您可以專注於從資料中取得最新洞察資料，並回應高優先順序問題，不必管理基礎架構、調整效能或佈建資源。

  • 與 Google Cloud 資料整合套件整合

    運用 Google Cloud 資料整合產品系列，連結貴機構中的所有資料。將 Datastream 與 Dataflow 工作範本整合，從 Cloud Storage bucket 讀取資料，並載入 BigQuery、Spanner 和 Cloud SQL 等多個目的地。

體驗元素

Datastream 主要有三個元素：

  • 私人連線設定可讓 Datastream 透過私人網路與資料來源通訊 (在Google Cloud內部，或透過 VPN 或 Interconnect 連線至外部來源)。這類通訊會出現在虛擬私有雲 (VPC) 對等互連連線中。
  • 連線設定檔代表連線至來源和目的地的連線資訊。這項資訊會用於串流。
  • 串流會使用連線設定檔中的資訊，將 CDC 和回填資料從來源傳輸至目的地。

後續步驟