Pub/Sub Lite est un service de messagerie en temps réel conçu à faible coût et offrant une fiabilité inférieure à celle de Pub/Sub. Pub/Sub Lite propose des sujets zonaux et régionaux pour le stockage.
Le connecteur Spark Pub/Sub Lite est compatible avec Pub/Sub Lite en tant que source d'entrée pour Apache Spark Structured Streaming dans les modes de traitement continu par micro-lot par défaut et expérimental.
Utiliser Pub/Sub Lite avec Managed Service pour Apache Spark
Java
Le répertoire samples du dépôt java-pubsublite-spark sur
GitHub contient
un exemple Spark en Java qui utilise Pub/Sub Lite avec
Managed Service pour Apache Spark. Pour exécuter l'exemple, suivez les
instructions de l'exemple Spark.
- Pour commencer, clonez le dépôt GitHub
java-pubsublite-spark:git clone https://github.com/googleapis/java-pubsublite-spark cd java-pubsublite-spark/samples
Python / Scala
Le connecteur est disponible sur le dépôt central Maven.
Vous pouvez le télécharger et le fournir à l'aide de l'option --packages lorsque vous utilisez la commande
spark-submit ou le définir à l'aide de la propriété de configuration spark.jars.packages
.
Étape suivante
- Consultez Utiliser Pub/Sub Lite avec Apache Spark, un démarrage rapide qui exécute un script Python sur un cluster Managed Service pour Apache Spark afin de lire et d'écrire des données depuis et vers Pub/Sub Lite.
- Sélectionnez la version du connecteur Spark Pub/Sub Lite, puis téléchargez son fichier JAR sur la page liée.