Pub/Sub Lite es un servicio de mensajería en tiempo real diseñado para ofrecer un coste bajo y una fiabilidad inferior a la de Pub/Sub. Pub/Sub Lite ofrece temas zonales y regionales para el almacenamiento.
El conector de Spark de Pub/Sub Lite admite Pub/Sub Lite como fuente de entrada para el procesamiento estructurado en streaming de Apache Spark en los modos de procesamiento por micro-lotes predeterminado y de procesamiento continuo experimental.
Usar Pub/Sub Lite con Dataproc
Java
El directorio samples del repositorio java-pubsublite-spark en GitHub contiene un ejemplo de Spark en Java que usa Pub/Sub Lite con Dataproc. Para ejecutar el ejemplo, sigue las instrucciones del ejemplo de Spark.
- Para empezar, clona el
java-pubsublite-sparkrepositorio de GitHub:git clone https://github.com/googleapis/java-pubsublite-spark cd java-pubsublite-spark/samples
Python o Scala
El conector está disponible en el repositorio central de Maven.
Puede descargarla y proporcionarla mediante la opción --packages al usar el comando spark-submit o definirla mediante la spark.jars.packages
propiedad de configuración.
Siguientes pasos
- Consulta Usar Pub/Sub Lite con Apache Spark, una guía de inicio rápido que ejecuta una secuencia de comandos de Python en un clúster de Dataproc para leer y escribir datos de Pub/Sub Lite.
- Selecciona la versión de Pub/Sub Lite Spark Connector y descarga su archivo JAR en la página vinculada.