Pub/Sub Lite הוא שירות העברת הודעות בזמן אמת שמבוסס על עלות נמוכה ומציע מהימנות נמוכה יותר בהשוואה ל-Pub/Sub. Pub/Sub Lite מציע נושאים אזוריים ואזוריים לשימוש באחסון.
Pub/Sub Lite Spark Connector תומך ב-Pub/Sub Lite כמקור קלט ל-Apache Spark Structured Streaming במצבי עיבוד ברירת המחדל של מיקרו-אצווה ובמצבי עיבוד רציף ניסיוני.
שימוש ב-Pub/Sub Lite עם Dataproc
Java
הספרייה samples במאגר java-pubsublite-spark ב-GitHub מכילה דוגמה ל-Spark ב-Java שמשתמשת ב-Pub/Sub Lite עם Dataproc. כדי להריץ את הדוגמה, פועלים לפי ההוראות בדוגמה של Spark.
- כדי להתחיל, משכפלים את מאגר GitHub
java-pubsublite-spark:git clone https://github.com/googleapis/java-pubsublite-spark cd java-pubsublite-spark/samples
Python / Scala
המחבר זמין במאגר Maven Central.
אפשר להוריד את הקובץ ולספק אותו באמצעות האפשרות --packages כשמשתמשים בפקודה spark-submit, או להגדיר אותו באמצעות spark.jars.packages
configuration property.
המאמרים הבאים
- אפשר לעיין במאמר שימוש ב-Pub/Sub Lite עם Apache Spark, שכולל מדריך למתחילים להרצת סקריפט Python באשכול Dataproc כדי לקרוא ולכתוב נתונים מ-Pub/Sub Lite ואליו.
- בוחרים את הגרסה של Pub/Sub Lite Spark Connector ומורידים את קובץ ה-JAR שלה בדף המקושר.