将 Pub/Sub Lite 与 Managed Service for Apache Spark 搭配使用

Pub/Sub 精简版是一种实时消息传递服务，费用低廉，与 Pub/Sub 相比，该服务可靠性较低。Pub/Sub 精简版可为存储提供可用区级和区域级主题。

Pub/Sub 精简版 Spark 连接器 支持将 Pub/Sub 精简版作为 Apache Spark 结构化流（ 默认微批处理和实验性持续 处理模式）的输入源。

将 Pub/Sub 精简版与 Managed Service for Apache Spark 搭配使用

Java

GitHub 上的 java-pubsublite-spark 代码库中的 samples 目录包含一个用 Java 编写的 Spark 示例，该示例将 Pub/Sub 精简版与 Managed Service for Apache Spark 结合使用。要运行此示例，请按照 Spark 示例中的说明操作。

1. 要开始操作，请克隆 java-pubsublite-spark GitHub 代码库：

   git clone https://github.com/googleapis/java-pubsublite-spark
   cd java-pubsublite-spark/samples
   

Python / Scala

此连接器可从 Maven 中央存储库获得。在使用 spark-submit 命令时，您可以使用 --packages 选项下载并提供连接器，或使用 spark.jars.packages 配置属性设置连接器。

后续步骤

• 请参阅 将 Pub/Sub 精简版与 Apache Spark 搭配使用， 该快速入门在 Managed Service for Apache Spark 集群上运行 Python 脚本以 在 Pub/Sub 精简版中读取和写入数据。
• 选择 Pub/Sub 精简版 Spark 连接器版本， 然后在链接页面上下载其 JAR。