Menggunakan Apache Beam dan SpannerIO untuk terhubung ke Spanner Omni

Pratinjau

Produk atau fitur ini adalah penawaran pratinjau yang tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum di Persyaratan Khusus Layanan, dan hanya dapat digunakan untuk tujuan pengembangan, pengujian, pembuatan prototipe, dan demonstrasi program software. Alat ini tidak dapat digunakan untuk tujuan pemrosesan data atau komersial apa pun. Produk dan fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Apache Beam adalah model open source terpadu untuk menentukan pipeline pemrosesan paralel data batch dan streaming. Dokumen ini menjelaskan cara menggunakan konektor SpannerIO dalam pipeline Apache Beam untuk membaca dari atau menulis ke database Spanner Omni.

Sebelum memulai

Untuk menghubungkan SpannerIO ke Spanner Omni, pastikan Anda memenuhi persyaratan berikut:

• Lakukan inisialisasi database dalam lingkungan Spanner Omni Anda.

• Gunakan rilis Apache Beam 2.69.0 atau yang lebih baru.

• Siapkan kredensial autentikasi untuk lingkungan Anda.

Mengonfigurasi SpannerIO untuk terhubung ke Spanner Omni

Untuk menghubungkan SpannerIO ke Spanner Omni, Anda harus mengonfigurasi SpannerConfig dengan detail database dan parameter koneksi Anda. Perhatikan bahwa SpannerIO hanya mendukung komunikasi teks biasa saat terhubung ke Spanner Omni.

Untuk mengonfigurasi koneksi, lakukan hal berikut:

1. Tentukan instance dan endpoint database Spanner Omni.

2. Aktifkan dukungan host eksperimental menggunakan metode withExperimentalHost.

3. Konfigurasi pipeline untuk menggunakan saluran teks biasa.

Contoh berikut menunjukkan cara membuat objek SpannerConfig untuk Spanner Omni:

SpannerConfig spannerConfig =
    SpannerConfig.create()
        .withDatabaseId("DATABASE_ID")
        // Define the Spanner Omni endpoint
        .withExperimentalHost("http://ENDPOINT")
        // SpannerIO supports only plain-text connections
        .withUsingPlainTextChannel(true);