Usa Apache Beam y SpannerIO para conectarte a Spanner Omni

Vista previa

Este producto o función es una oferta preliminar sujeta a las "Condiciones de la Oferta de la Fase Previa a la DG" en la sección de las Condiciones Generales del Servicio de las Condiciones Específicas del Servicio, y solo se puede usar para desarrollar, probar, crear prototipos y demostrar programas de software. No se puede usar para ningún fin comercial ni de procesamiento de datos. Los productos y las funciones de la fase previa a la DG están disponibles “tal como están” y pueden tener asistencia limitada. Para obtener más información, consulta las descripciones de la etapa de lanzamiento.

Apache Beam es un modelo unificado de código abierto para definir canalizaciones de procesamiento paralelo de datos de transmisión y por lotes. En este documento, se describe cómo usar el conector SpannerIO dentro de una canalización de Apache Beam para leer o escribir en bases de datos de Spanner Omni.

Antes de comenzar

Para conectar SpannerIO a Spanner Omni, asegúrate de cumplir con los siguientes requisitos:

• Inicializa una base de datos en tu entorno de Spanner Omni.

• Usa la versión 2.69.0 o posterior de Apache Beam.

• Configura las credenciales de autenticación para tu entorno.

Configura SpannerIO para conectarte a Spanner Omni

Para conectar SpannerIO a Spanner Omni, debes configurar SpannerConfig con los detalles de tu base de datos y los parámetros de conexión. Ten en cuenta que SpannerIO solo admite comunicaciones de texto sin formato cuando se conecta a Spanner Omni.

Para configurar la conexión, haz lo siguiente:

1. Especifica la instancia y el extremo de la base de datos de Spanner Omni.

2. Habilita la compatibilidad experimental con el host usando el método withExperimentalHost.

3. Configura la canalización para usar un canal de texto sin formato.

En el siguiente ejemplo, se muestra cómo crear un objeto SpannerConfig para Spanner Omni:

SpannerConfig spannerConfig =
    SpannerConfig.create()
        .withDatabaseId("DATABASE_ID")
        // Define the Spanner Omni endpoint
        .withExperimentalHost("http://ENDPOINT")
        // SpannerIO supports only plain-text connections
        .withUsingPlainTextChannel(true);