השוואה בין פריסות של שרתים ופריסות של אשכולות ב-Managed Service for Apache Spark

השירות Managed Service for Apache Spark כולל עכשיו את אפשרויות המוצר הקודמות "Managed Service for Apache Spark on Compute Engine" (פריסת אשכול) ו-"Managed Service for Apache Spark" (פריסה בלי שרת).

גם פריסות ללא שרת (serverless) וגם פריסות באשכול מספקות סביבת Spark מנוהלת, מאובטחת, מוכנה לייצור ועם יכולת התאמה רחבה, שתואמת ל-OSS ותומכת באופן מלא בפורמטים של נתונים. עם זאת, יש הבדל באופן שבו הן מנהלות את התשתית הבסיסית ומחייבות על משאבים. כדי לבחור פתרון Spark, כדאי לעיין בתכונות ובתרחישים לדוגמה הבאים.

השוואה בין פריסות של Managed Service for Apache Spark

בטבלה הבאה מפורטים ההבדלים העיקריים בין פריסות של Managed Service for Apache Spark באשכולות לבין פריסות ללא שרת (serverless).

פריסה ללא שרת (serverless) אשכול
מסגרות עיבוד עומסי עבודה באצווה וסשנים אינטראקטיביים: Spark ‫Spark. מסגרות אחרות של קוד פתוח, כמו Hive,‏ Flink,‏ Trino ו-Kafka
ללא שרת (serverless) כן לא
זמן ההפעלה שנות ה-50 ‫120 שניות
בקרה על התשתית לא כן
ניהול המשאבים ללא שרת (serverless) YARN
תמיכה ב-GPU כן כן
סשנים אינטראקטיביים כן לא
קונטיינרים בהתאמה אישית כן לא
גישה למכונה וירטואלית (SSH) לא כן
גרסאות Java ‫Java 17, ‏ 21 ‫Java 17 וגרסאות קודמות

בחירת הפריסה הכי מתאימה של Managed Service for Apache Spark

בקטע הזה נתאר את היתרונות העיקריים של Managed Service for Apache Spark ואת תרחישי השימוש העיקריים, כדי לעזור לכם לבחור את פריסת Managed Service for Apache Spark המתאימה ביותר לעומסי העבודה שלכם ב-Spark – אשכול או ללא שרת (serverless).

סקירה כללית

הפריסות של Managed Service for Apache Spark נבדלות זו מזו ברמת השליטה, בניהול התשתית ובמצב החיוב שכל אחת מהן מציעה.

  • פריסה ללא שרת (serverless): ב-Managed Service for Apache Spark אפשר להריץ משימות Spark כשירות, בתשתית Google Cloudשמנוהלת באופן מלא. אתם משלמים על זמן הריצה של המשימה.
  • פריסת אשכולות: מציעה אשכולות Spark כשירות, ומריצה את Managed Spark בתשתית של Compute Engine. אתם משלמים על זמן הפעולה התקינה של האשכול.

בגלל ההבדלים האלה, כל פריסה של Managed Service for Apache Spark מתאימה לתרחישים הבאים:

פריסה תרחישים לדוגמה
ללא שרת (serverless) סביבות עבודה ייעודיות שונות
עומסי עבודה מתוזמנים באצווה
ניהול קוד בעדיפות גבוהה יותר מניהול תשתית
אשכול סביבות משותפות שפועלות לאורך זמן
עומסי עבודה שדורשים שליטה מפורטת בתשתית
העברת סביבות מדור קודם של Hadoop ו-Spark

ההבדלים העיקריים

תכונה פריסה בלי שרת (serverless) פריסת אשכולות
מודל ניהול סביבת הרצה מנוהלת ללא שרת (serverless). מבוסס-אשכול. אתם מקצים ומנהלים את האשכולות.
שליטה והתאמה אישית פחות שליטה בתשתית, עם התמקדות בשליחת קוד ובציון פרמטרים של Spark. שליטה רבה יותר בהגדרות של האשכולות, בסוגי המכונות ובתוכנות. אפשרות להשתמש ב-VM במודל Spot, ולעשות שימוש חוזר במקומות שמורים ובקיבולת המשאבים של Compute Engine. מתאים לעומסי עבודה שתלויים בצורות ספציפיות של מכונות וירטואליות, כמו ארכיטקטורות של מעבדים (CPU).
תרחישי שימוש שאילתות אד-הוק, ניתוח אינטראקטיבי, צינורות עיבוד נתונים חדשים של Spark ועומסי עבודה עם צרכים בלתי צפויים של משאבים. אשכולות משותפים שפועלים לאורך זמן, העברת עומסי עבודה קיימים של Hadoop ו-Spark עם הגדרות אישיות, עומסי עבודה שדורשים התאמה אישית עמוקה.
תקורה תפעולית פחות תקורה. Google Cloud מנהל את התשתית, ההתאמה לעומס וההקצאה, ומאפשר מודל NoOps. ‫Gemini Cloud Assist מקל על פתרון הבעיות, והכוונון האוטומטי ללא שרת עוזר לספק ביצועים אופטימליים. תקורה גבוהה יותר שדורשת ניהול, התאמה לעומס ותחזוקה של האשכול.
מודל יעילות אין תקורה של משאבי מחשוב לא פעילים: הקצאת משאבי המחשוב מתבצעת רק כשהמשימה פועלת. אין עלויות הפעלה וכיבוי. תמיכה בסשנים אינטראקטיביים משותפים לשיפור היעילות. יעילות שנובעת משיתוף אשכולות בין משימות וצוותים, באמצעות מודל של ריבוי דיירים.
הגדרת הגישה למיקום ‫Managed Service for Apache Spark תומך בעומסי עבודה אזוריים ללא עלות נוספת, כדי לספק אמינות וזמינות נוספות. האשכולות הם אזוריים. אפשר לבחור את האזור באופן אוטומטי במהלך יצירת האשכול.
עלות החיוב מתבצע רק על משך הזמן של ביצוע משימת Spark, לא כולל הפעלה ופירוק, על סמך המשאבים שנצרכו. החיוב מתבצע לפי יחידות המחשוב של הנתונים (DCU) שנעשה בהן שימוש ועלויות תשתית אחרות. החיוב מתבצע על משך הזמן שבו האשכול פועל, כולל ההפעלה והפירוק, על סמך מספר הצמתים. כולל את דמי הרישיון של Managed Service for Apache Spark ואת עלות התשתית.
הנחות תמורת התחייבות לשימוש (CUD) הנחות תמורת התחייבות להוצאה ב-BigQuery חלות על משימות ב-Managed Service for Apache Spark. הנחות ה-CUD ב-Compute Engine חלות על כל השימוש במשאבים.
שליטה בתמונות ובזמן ריצה המשתמשים יכולים להצמיד לגרסאות זמן ריצה משניות של Managed Service for Apache Spark, וגרסאות משניות עוד יותר מנוהלות על ידי Managed Service for Apache Spark. המשתמשים יכולים להצמיד לגרסאות תמונה משניות ומשניות-משניות של Managed Service for Apache Spark.
ניהול משאבים ללא שרת (serverless) YARN
תמיכה ב-GPU כן כן
סשנים אינטראקטיביים כן לא
מאגרי תגים בהתאמה אישית כן לא
גישה למכונה וירטואלית (SSH) לא כן
גרסאות של Java Java 17, 21 גרסאות קודמות נתמכות
זמן ההפעלה שנות ה-50 ‫120 שניות

מתי לבחור בפריסה ללא שרת (serverless)

פריסה ללא שרת (serverless) של Managed Service for Apache Spark מסירה את המורכבות של ניהול האשכולות, ומאפשרת לכם להתמקד בקוד של Spark. לכן, הוא בחירה מצוינת לשימוש בתרחישים הבאים של עיבוד נתונים:

  • ניתוח אד-הוק וניתוח אינטראקטיבי: למדעני נתונים ולאנליסטים שמריצים שאילתות אינטראקטיביות וניתוח חקירתי באמצעות Spark, המודל בלי שרת (serverless) מספק דרך מהירה להתחיל בלי להתמקד בתשתית.
  • אפליקציות וצינורות עיבוד נתונים שמבוססים על Spark: כשמפתחים אפליקציות או צינורות עיבוד נתונים חדשים ב-Spark, אפשר להשתמש ב-Managed Service for Apache Spark כדי להסיר את העומס התפעולי של ניהול האשכולות, וכך להאיץ משמעותית את הפיתוח.
  • עומסי עבודה עם ביקוש לא סדיר או לא צפוי: במשימות Spark לסירוגין או במשימות עם דרישות משאבים משתנות, התאמה אוטומטית לעומס (autoscaling) ללא שרתים ותמחור לפי שימוש (החיובים חלים על צריכת המשאבים של המשימה) יכולים להפחית משמעותית את העלויות.
  • התמקדות בפרודוקטיביות של המפתחים: השירות Managed Service for Apache Spark מייתר את הצורך בהקצאה ובניהול של אשכולות, וכך מאיץ את היצירה של לוגיקה עסקית, מספק תובנות מהר יותר ומגביר את הפרודוקטיביות.
  • תפעול פשוט יותר ופחות עלויות תקורה: ניהול התשתית של Managed Service for Apache Spark מפחית את העומס התפעולי ואת העלויות.

מתי כדאי לבחור בפריסת אשכול

אתם יכולים להשתמש בפריסת אשכולות של Managed Service for Apache Spark כדי להריץ את Apache Spark ומסגרות אחרות לעיבוד נתונים בקוד פתוח. הוא מציע רמה גבוהה של שליטה וגמישות, ולכן הוא הבחירה המועדפת בתרחישים הבאים:

  • העברת עומסי עבודה קיימים של Hadoop ו-Spark: תמיכה בהעברת אשכולות מקומיים של Hadoop או Spark אל Google Cloud. לשכפל הגדרות קיימות עם שינויים מינימליים בקוד, במיוחד כשמשתמשים בגרסאות ישנות יותר של Spark.
  • התאמה אישית ושליטה מעמיקות: מאפשרות להתאים אישית את סוגי המכונות באשכול, את גודלי הדיסקים ואת הגדרות הרשת. רמת השליטה הזו חיונית לכוונון הביצועים ולניצול אופטימלי של המשאבים במשימות מורכבות וארוכות.
  • אשכולות קבועים שפועלים לאורך זמן: תמיכה במשימות Spark קבועות שפועלות לאורך זמן ובאשכולות קבועים לכמה צוותים ופרויקטים.
  • סביבה מגוונת של קוד פתוח: סביבה מאוחדת להרצת צינורות עיבוד נתונים שמריצים כלים של סביבת Hadoop, כמו Hive,‏ Pig או Presto, עם עומסי העבודה של Spark.
  • תאימות לאבטחה: מאפשרת שליטה בתשתית כדי לעמוד בתקני אבטחה או תאימות ספציפיים, כמו הגנה על פרטים אישיים מזהים (PII) או מידע רפואי מוגן (PHI).
  • תשתית גמישה: מציע VM במודל Spot ואת היכולת לעשות שימוש חוזר במקומות שמורים ובקיבולת המשאבים של Compute Engine כדי לאזן את השימוש במשאבים וליישם את אסטרטגיית תשתית הענן שלכם.

סיכום

ההחלטה אם להשתמש בפריסה של Managed Service for Apache Spark באשכול או בלי שרת (serverless) תלויה בדרישות של עומס העבודה, בהעדפות התפעוליות וברמת השליטה הרצויה.

  • בחרו ב-Managed Service for Apache Spark ללא שרת (serverless) כדי ליהנות מקלות השימוש, מהחיסכון בעלויות בעומסי עבודה לסירוגין ומהיכולת להאיץ את הפיתוח של אפליקציות Spark חדשות על ידי הסרת התקורה של ניהול התשתית.
  • בחרו באשכולות של Managed Service for Apache Spark כשאתם צריכים שליטה מקסימלית, כשאתם צריכים להעביר עומסי עבודה של Hadoop או Spark, או כשאתם צריכים סביבת אשכולות משותפת, קבועה ומותאמת אישית.

אחרי שתעריכו את הגורמים שמפורטים בקטע הזה, בחרו את פריסת Managed Service for Apache Spark היעילה והמשתלמת ביותר להרצת Spark כדי לממש את מלוא הפוטנציאל של הנתונים שלכם.