Pub/Sub Lite est un service de messagerie en temps réel conçu à faible coût. Il offre une fiabilité inférieure à celle de Pub/Sub. Pub/Sub Lite propose des sujets zonaux et régionaux pour le stockage.
Le connecteur Spark Pub/Sub Lite est compatible avec Pub/Sub Lite en tant que source d'entrée pour Apache Spark Structured Streaming dans les modes de traitement continu par micro-lot par défaut et expérimental.
Utiliser Pub/Sub Lite avec Managed Service pour Apache Spark
Java
Le répertoire samples du dépôt java-pubsublite-spark sur GitHub contient un exemple Spark en Java qui utilise Pub/Sub Lite avec Managed Service pour Apache Spark. Pour exécuter l'exemple, suivez les instructions de l'exemple Spark.
- Pour commencer, clonez le dépôt GitHub
java-pubsublite-spark:git clone https://github.com/googleapis/java-pubsublite-spark cd java-pubsublite-spark/samples
Python / Scala
Le connecteur est disponible sur le dépôt central Maven.
Vous pouvez les télécharger et les fournir à l'aide de l'option --packages lorsque vous utilisez la commande spark-submit ou la définir à l'aide de la propriété de configuration spark.jars.packages.
Étapes suivantes
- Consultez Utiliser Pub/Sub Lite avec Apache Spark, un guide de démarrage rapide qui exécute un script Python sur un cluster Managed Service pour Apache Spark afin de lire et d'écrire des données depuis et vers Pub/Sub Lite.
- Sélectionnez la version du connecteur Spark Pub/Sub Lite, puis téléchargez son fichier JAR sur la page liée.