Utilizza Apache Beam e SpannerIO per connetterti a Spanner Omni

Apache Beam è un modello unificato open source per definire pipeline di elaborazione parallela dei dati sia in batch sia in streaming. Questo documento descrive come utilizzare il connettore SpannerIO all'interno di una pipeline Apache Beam per leggere o scrivere nei database Spanner Omni.

Prima di iniziare

Per connettere SpannerIO a Spanner Omni, assicurati di soddisfare i seguenti requisiti:

  • Inizializza un database all'interno dell'ambiente Spanner Omni.

  • Utilizza Apache Beam versione 2.69.0 o successive.

  • Configura le credenziali di autenticazione per il tuo ambiente.

Configura SpannerIO per la connessione a Spanner Omni

Per connettere SpannerIO a Spanner Omni, devi configurare SpannerConfig con i dettagli del database e i parametri di connessione. Tieni presente che SpannerIO supporta solo le comunicazioni in testo normale quando si connette a Spanner Omni.

Per configurare la connessione:

  1. Specifica l'istanza e l'endpoint del database Spanner Omni.

  2. Attiva il supporto host sperimentale utilizzando il metodo withExperimentalHost.

  3. Configura la pipeline per utilizzare un canale di testo normale.

L'esempio seguente mostra come creare un oggetto SpannerConfig per Spanner Omni:

SpannerConfig spannerConfig =
    SpannerConfig.create()
        .withDatabaseId("DATABASE_ID")
        // Define the Spanner Omni endpoint
        .withExperimentalHost("http://ENDPOINT")
        // SpannerIO supports only plain-text connections
        .withUsingPlainTextChannel(true);