סקירה כללית של Managed Service for Apache Spark on GKE

השירות המנוהל ל-Apache Spark ב-Google Kubernetes Engine ‏ (GKE) מאפשר להריץ אפליקציות של Big Data באמצעות ה-API של השירות המנוהל ל-Apache Spark jobs באשכולות של GKE. אתם יכולים להשתמש במסוף Google Cloud , ב-Google Cloud CLI או ב-Managed Service for Apache Spark API (בקשת HTTP או ספריות לקוח ב-Cloud) כדי ליצור אשכול וירטואלי של Managed Service for Apache Spark ב-GKE, ואז לשלוח משימת Spark,‏ PySpark,‏ SparkR או Spark-SQL לשירות Managed Service for Apache Spark.

השירות המנוהל ל-Apache Spark ב-GKE תומך בגרסאות של Spark 3.5.

איך פועל Managed Service for Apache Spark ב-GKE

ב-Managed Service for Apache Spark ב-GKE, פורסים אשכולות וירטואליים של Managed Service for Apache Spark באשכול GKE. בניגוד לאשכולות של Managed Service for Apache Spark ב-Compute Engine, אשכולות וירטואליים של Managed Service for Apache Spark ב-GKE לא כוללים מכונות וירטואליות נפרדות של מאסטר ו-worker. במקום זאת, כשיוצרים אשכול וירטואלי של Managed Service for Apache Spark ב-GKE, נוצרים מאגרי צמתים בתוך אשכול GKE. המשימות של Managed Service for Apache Spark ב-GKE פועלות כ-pods במאגרי הצמתים האלה. מאגרי הצמתים ותזמון הפודים במאגרי הצמתים מנוהלים על ידי GKE.