使用 Apache Beam 和 SpannerIO 連線至 Spanner Omni

Apache Beam 是開放原始碼形式的整合式模型，用於定義批次和串流資料平行處理管線。本文說明如何在 Apache Beam 管道中使用 SpannerIO 連接器，從 Spanner Omni 資料庫讀取資料或將資料寫入其中。

事前準備

如要將 SpannerIO 連線至 Spanner Omni，請確認您符合下列條件：

  • 在 Spanner Omni 環境中初始化資料庫。

  • 使用 Apache Beam 2.69.0 以上版本。

  • 為環境設定驗證憑證。

設定 SpannerIO 以連線至 Spanner Omni

如要將 SpannerIO 連線至 Spanner Omni，請務必使用資料庫詳細資料和連線參數設定 SpannerConfig。請注意，連線至 Spanner Omni 時，SpannerIO 僅支援純文字通訊。

如要設定連線，請按照下列步驟操作：

  1. 指定 Spanner Omni 資料庫執行個體和端點。

  2. 使用 withExperimentalHost 方法啟用實驗版主機支援功能。

  3. 設定管道以使用純文字管道。

下列範例說明如何為 Spanner Omni 建立 SpannerConfig 物件：

SpannerConfig spannerConfig =
    SpannerConfig.create()
        .withDatabaseId("DATABASE_ID")
        // Define the Spanner Omni endpoint
        .withExperimentalHost("http://ENDPOINT")
        // SpannerIO supports only plain-text connections
        .withUsingPlainTextChannel(true);