Pub/Sub Lite 搭配 Dataproc

Pub/Sub Lite 是即時訊息服務，建構目的是為了降低成本，但與 Pub/Sub 相比，可靠性較低。Pub/Sub Lite 提供可用區和區域主題，用於儲存空間。

Pub/Sub Lite Spark 連接器支援 Pub/Sub Lite 做為 Apache Spark 結構化串流的輸入來源，包括預設微批次處理模式和實驗功能的連續處理模式。

使用 Pub/Sub Lite 搭配 Dataproc

Java

GitHub 上的 java-pubsublite-spark 存放區中的 samples 目錄包含 Java 的 Spark 範例，其中使用 Pub/Sub Lite 搭配 Dataproc。如要執行這個範例，請按照 Spark 範例中的指示操作。

1. 如要開始使用，請複製 java-pubsublite-spark GitHub 存放區：

   git clone https://github.com/googleapis/java-pubsublite-spark
   cd java-pubsublite-spark/samples
   

Python/Scala

您可以從 Maven Central 存放區取得連接器。 使用 spark-submit 指令時，您可以透過 --packages 選項下載並提供這個檔案，也可以使用 spark.jars.packages 設定屬性。

後續步驟

• 請參閱「搭配 Apache Spark 使用 Pub/Sub Lite」快速入門導覽課程，瞭解如何在 Dataproc 叢集上執行 Python 指令碼，從 Pub/Sub Lite 讀取資料，以及將資料寫入 Pub/Sub Lite。
• 選取 Pub/Sub Lite Spark 連接器版本，然後在連結的網頁下載 JAR。