O Pub/Sub Lite é um serviço de mensagens em tempo real criado para baixo custo e oferece menor confiabilidade em comparação com o Pub/Sub. O Pub/Sub Lite oferece tópicos zonais e regionais para armazenamento.
O conector do Pub/Sub Lite Spark é compatível com o Pub/Sub Lite como origem de entrada para o Apache Spark Structured Streaming nos modos de processamento contínuo de microlotes padrão e experimental.
Usar o Pub/Sub Lite com o Serviço Gerenciado para Apache Spark
Java
O diretório samples no repositório java-pubsublite-spark no
GitHub contém
um exemplo do Spark em Java que usa o Pub/Sub Lite com o
Serviço Gerenciado para Apache Spark. Para executar o exemplo, siga as
instruções no exemplo do Spark.
- Para começar, clone o repositório
java-pubsublite-sparkdo GitHub:git clone https://github.com/googleapis/java-pubsublite-spark cd java-pubsublite-spark/samples
Python / Escala
O conector está disponível no repositório do Maven Central.
É possível fazer o download e fornecê-lo usando a opção --packages ao usar o
comando spark-submit ou defini-lo usando a propriedade de configuração spark.jars.packages
.
A seguir
- Consulte Como usar o Pub/Sub Lite com o Apache Spark, um guia de início rápido que executa um script Python em um cluster do Serviço Gerenciado para Apache Spark para ler e gravar dados do Pub/Sub Lite.
- Selecione a versão do conector do Spark do Pub/Sub Lite, e faça o download do JAR na página vinculada.