Pub/Sub Lite ist ein Echtzeit-Messaging-Dienst, der kostengünstig ist und im Vergleich zu Pub/Sub eine geringere Zuverlässigkeit bietet. Pub/Sub Lite bietet zonale und regionale Themen für die Speicherung.
Der Pub/Sub Lite Spark-Connector unterstützt Pub/Sub Lite als Eingabequelle für Apache Spark Structured Streaming im standardmäßigen Mikro-Batch-Verarbeitungsmodus und im experimentellen Modus der kontinuierlichen Verarbeitung.
Pub/Sub Lite mit Managed Service for Apache Spark verwenden
Java
Das Verzeichnis samples im java-pubsublite-spark Repository auf
GitHub enthält
ein Spark-Beispiel in Java, das Pub/Sub Lite mit
Managed Service for Apache Spark verwendet. Folgen Sie der
Anleitung im Spark-Beispiel, um das Beispiel auszuführen.
- Klonen Sie zuerst das GitHub-Repository
java-pubsublite-spark.git clone https://github.com/googleapis/java-pubsublite-spark cd java-pubsublite-spark/samples
Python / Scala
Der Connector ist im Maven Central Repository verfügbar.
Sie können den Befehl über die --packages Option herunterladen und bereitstellen, wenn Sie den
Befehl `spark-submit` verwenden oder ihn über das spark.jars.packages
Konfigurationsattribut festlegen.
Nächste Schritte
- Unter Pub/Sub Lite mit Apache Spark verwenden finden Sie eine Kurzanleitung, in der ein Python-Skript auf einem Managed Service for Apache Spark-Cluster ausgeführt wird, um Daten aus und in Pub/Sub Lite zu lesen und zu schreiben.
- Wählen Sie die Version des Pub/Sub Lite Spark-Connectors aus, und laden Sie dann die JAR-Datei auf die verknüpfte Seite herunter.