Pub/Sub Lite הוא שירות העברת הודעות בזמן אמת שמבוסס על עלות נמוכה ומציע מהימנות נמוכה יותר בהשוואה ל-Pub/Sub. Pub/Sub Lite מציע נושאים אזוריים ואזוריים לשימוש באחסון.
Pub/Sub Lite Spark Connector תומך ב-Pub/Sub Lite כמקור קלט ל-Apache Spark Structured Streaming במצבי עיבוד ברירת המחדל של מיקרו-אצווה ובמצבי עיבוד רציף ניסיוני.
שימוש ב-Pub/Sub Lite עם Managed Service for Apache Spark
Java
הספרייה samples במאגר java-pubsublite-spark ב-GitHub מכילה דוגמה ל-Spark ב-Java שמשתמשת ב-Pub/Sub Lite עם Managed Service for Apache Spark. כדי להריץ את הדוגמה, פועלים לפי ההוראות בדוגמה של Spark.
- כדי להתחיל, משכפלים את מאגר GitHub
java-pubsublite-spark:git clone https://github.com/googleapis/java-pubsublite-spark cd java-pubsublite-spark/samples
Python / Scala
המחבר זמין במאגר Maven Central.
אפשר להוריד אותו ולספק אותו באמצעות האפשרות --packages כשמשתמשים בפקודה spark-submit, או להגדיר אותו באמצעות spark.jars.packages
מאפיין ההגדרה.
המאמרים הבאים
- אפשר לעיין בשימוש ב-Pub/Sub Lite עם Apache Spark, מדריך להתחלה מהירה שמפעיל סקריפט Python באשכול Managed Service for Apache Spark כדי לקרוא ולכתוב נתונים מ-Pub/Sub Lite ואליו.
- בוחרים את הגרסה של Pub/Sub Lite Spark Connector ומורידים את קובץ ה-JAR שלה בדף המקושר.