השירות Managed Service for Apache Spark כולל עכשיו את אפשרויות המוצר הקודמות Managed Service for Apache Spark on Compute Engine (פריסת אשכול) ו-Managed Service for Apache Spark (פריסה בלי שרת).
גם פריסות ללא שרת (serverless) וגם פריסות באשכול מספקות סביבת Spark מנוהלת, מאובטחת, מוכנה לייצור ועם יכולת התאמה רחבה, שתואמת ל-OSS עם תמיכה מלאה בפורמטים של נתונים. עם זאת, יש הבדל באופן שבו הן מנהלות את התשתית הבסיסית ומחייבות על משאבים. כדי לבחור פתרון Spark, כדאי לעיין בתכונות ובתרחישים לדוגמה הבאים.
השוואה בין פריסות של Managed Service for Apache Spark
בטבלה הבאה מפורטים ההבדלים העיקריים בין פריסות של אשכולות ופריסות ללא שרת (serverless) ב-Managed Service for Apache Spark.
| פריסה | ללא שרת (serverless) | אשכול |
|---|---|---|
| מסגרות עיבוד | עומסי עבודה באצווה וסשנים אינטראקטיביים: Spark | Spark. מסגרות אחרות של קוד פתוח, כמו Hive, Flink, Trino ו-Kafka |
| ללא שרת (serverless) | כן | לא |
| זמן ההפעלה | 50 שניות | 120 שניות |
| שליטה בתשתית | לא | כן |
| ניהול המשאבים | ללא שרת (serverless) | YARN |
| תמיכה ב-GPU | כן | כן |
| סשנים אינטראקטיביים | כן | לא |
| מאגרים בהתאמה אישית | כן | לא |
| גישה למכונה וירטואלית (SSH) | לא | כן |
| גרסאות של Java | Java 17, 21 | Java 17 וגרסאות קודמות |
בחירת הפריסה הכי מתאימה של Managed Service for Apache Spark
בקטע הזה מפורטים היתרונות העיקריים של Managed Service for Apache Spark ותרחישי השימוש העיקריים, כדי לעזור לכם לבחור את פריסת Managed Service for Apache Spark הטובה ביותר – אשכול או ללא שרת (serverless) – לעומסי העבודה שלכם ב-Spark.
סקירה כללית
הפריסות של Managed Service for Apache Spark נבדלות זו מזו ברמת השליטה, בניהול התשתית ובמצב החיוב שכל אחת מהן מציעה.
- פריסה ללא שרת (serverless): ב-Managed Service for Apache Spark אפשר להריץ משימות Spark כשירות, בתשתית Google Cloudשמנוהלת באופן מלא. אתם משלמים על זמן הריצה של המשימה.
- פריסת אשכולות: מציעה אשכולות Spark כשירות, ומריצה את Managed Spark בתשתית של Compute Engine. אתם משלמים על זמן הפעולה התקינה של האשכול.
בגלל ההבדלים האלה, כל פריסה של Managed Service for Apache Spark מתאימה לתרחישי השימוש הבאים:
| פריסה | תרחישים לדוגמה |
|---|---|
| ללא שרת (serverless) | סביבות עבודה ייעודיות שונות עומסי עבודה מתוזמנים באצווה ניהול קוד בעדיפות גבוהה יותר מניהול תשתית |
| אשכול | סביבות משותפות שפועלות לאורך זמן עומסי עבודה שדורשים שליטה מפורטת בתשתית העברת סביבות מדור קודם של Hadoop ו-Spark |
ההבדלים העיקריים
| תכונה | פריסה בלי שרת (serverless) | פריסת אשכולות |
|---|---|---|
| מודל הניהול | סביבת הרצה מנוהלת ללא שרת (serverless). | מבוסס-אשכול. אתם מקצים ומנהלים את האשכולות. |
| שליטה והתאמה אישית | פחות שליטה בתשתית, עם התמקדות בשליחת קוד ובציון פרמטרים של Spark. | שליטה רבה יותר בהגדרות של האשכולות, בסוגי המכונות ובתוכנות. אפשרות להשתמש במכונות וירטואליות (VM) במודל Spot, ולעשות שימוש חוזר במקומות שמורים ובקיבולת המשאבים של Compute Engine. מתאים לעומסי עבודה שתלויים בצורות ספציפיות של מכונות וירטואליות, כמו ארכיטקטורות של מעבדים (CPU). |
| תרחישי שימוש | שאילתות אד-הוק, ניתוח אינטראקטיבי, צינורות עיבוד נתונים חדשים של Spark ועומסי עבודה עם צרכים בלתי צפויים של משאבים. | אשכולות משותפים שפועלים לאורך זמן, העברת עומסי עבודה קיימים של Hadoop ו-Spark עם הגדרות אישיות, עומסי עבודה שדורשים התאמה אישית עמוקה. |
| תקורה תפעולית | פחות תקורה. Google Cloud מנהלת את התשתית, ההתאמה לעומס וההקצאה, ומאפשרת מודל NoOps. Gemini Cloud Assist מקל על פתרון הבעיות, והכוונון האוטומטי ללא שרת עוזר לספק ביצועים אופטימליים. |
תקורה גבוהה יותר שדורשת ניהול, התאמה לעומס ותחזוקה של האשכול. |
| מודל יעילות | אין תקורה של משאבי מחשוב לא פעילים: הקצאת משאבי המחשוב מתבצעת רק כשהמשימה פועלת. אין עלויות הפעלה וכיבוי. תמיכה בסשנים אינטראקטיביים משותפים לשיפור היעילות. | יעילות שנובעת משיתוף אשכולות בין משימות וצוותים, באמצעות מודל של ריבוי דיירים. |
| הגדרת הגישה למיקום | Managed Service for Apache Spark תומך בעומסי עבודה אזוריים ללא עלות נוספת, כדי לספק אמינות וזמינות נוספות. | האשכולות הם אזוריים. אפשר לבחור את האזור באופן אוטומטי במהלך יצירת האשכול. |
| עלות | החיוב מתבצע רק על משך הזמן של ביצוע משימת Spark, לא כולל הפעלה ופירוק, על סמך המשאבים שנצרכו. החיוב מתבצע לפי יחידות המחשוב של הנתונים (DCU) שנעשה בהן שימוש ועלויות תשתית אחרות. | החיוב הוא על משך הזמן שבו האשכול פועל, כולל ההפעלה והפירוק, על סמך מספר הצמתים. כולל את דמי הרישיון של Managed Service for Apache Spark ואת עלות התשתית. |
| הנחות תמורת התחייבות לשימוש (CUD) | הנחות תמורת התחייבות להוצאה ב-BigQuery חלות על משימות ב-Managed Service for Apache Spark. | הנחות ה-CUD ב-Compute Engine חלות על כל השימוש במשאבים. |
| שליטה בתמונות ובזמן הריצה | המשתמשים יכולים להצמיד לגרסאות זמן ריצה משניות של Managed Service for Apache Spark, וגרסאות משניות עוד יותר מנוהלות על ידי Managed Service for Apache Spark. | המשתמשים יכולים להצמיד לגרסאות תמונה משניות ומשניות-משניות של Managed Service for Apache Spark. |
| ניהול משאבים | ללא שרת (serverless) | YARN |
| תמיכה ב-GPU | כן | כן |
| סשנים אינטראקטיביים | כן | לא |
| מאגרים בהתאמה אישית | כן | לא |
| גישה למכונה וירטואלית (SSH) | לא | כן |
| גרסאות של Java | Java 17, 21 |
גרסאות קודמות נתמכות |
| זמן הפעלה | 50 שניות | 120 שניות |
מתי לבחור בפריסה ללא שרת (serverless)
פריסה ללא שרת (serverless) של Managed Service for Apache Spark מסירה את המורכבות של ניהול האשכולות, ומאפשרת לכם להתמקד בקוד של Spark. לכן, הוא בחירה מצוינת לשימוש בתרחישים הבאים של עיבוד נתונים:
- ניתוח אד-הוק וניתוח אינטראקטיבי: למדעני נתונים ולאנליסטים שמריצים שאילתות אינטראקטיביות וניתוח חקירתי באמצעות Spark, המודל בלי שרת (serverless) מספק דרך מהירה להתחיל בלי להתמקד בתשתית.
- אפליקציות וצינורות עיבוד נתונים שמבוססים על Spark: כשמפתחים אפליקציות או צינורות עיבוד נתונים חדשים ב-Spark, אפשר להשתמש ב-Managed Service for Apache Spark כדי להסיר את העומס התפעולי של ניהול האשכולות, וכך להאיץ משמעותית את הפיתוח.
- עומסי עבודה עם דרישות לא סדירות או לא צפויות: במשימות Spark לסירוגין או במשימות עם דרישות משתנות למשאבים, התאמה אוטומטית לעומס ללא שרתים ותמחור לפי שימוש (החיובים חלים על צריכת המשאבים של המשימה) יכולים להפחית משמעותית את העלויות.
- התמקדות בפרודוקטיביות של המפתחים: Managed Service for Apache Spark מייתר את הצורך בהקצאה ובניהול של אשכולות, וכך מאיץ את היצירה של לוגיקה עסקית, מספק תובנות מהר יותר ומגביר את הפרודוקטיביות.
- תפעול פשוט יותר ופחות הוצאות כלליות: ניהול התשתית של Managed Service for Apache Spark מפחית את העומס התפעולי ואת העלויות.
מתי כדאי לבחור בפריסת אשכול
אתם יכולים להשתמש בפריסת אשכולות של Managed Service for Apache Spark כדי להריץ את Apache Spark ומסגרות אחרות לעיבוד נתונים בקוד פתוח. הוא מציע רמה גבוהה של שליטה וגמישות, ולכן הוא הבחירה המועדפת בתרחישים הבאים:
- העברת עומסי עבודה קיימים של Hadoop ו-Spark: תמיכה בהעברת אשכולות מקומיים של Hadoop או Spark אל Google Cloud. לשכפל הגדרות קיימות עם שינויים מינימליים בקוד, במיוחד כשמשתמשים בגרסאות ישנות יותר של Spark.
- התאמה אישית ושליטה ברמה גבוהה: אפשר להתאים אישית את סוגי המכונות באשכול, את גודלי הדיסקים ואת הגדרות הרשת. רמת השליטה הזו חיונית לכוונון הביצועים ולאופטימיזציה של ניצול המשאבים במשימות מורכבות וארוכות.
- אשכולות קבועים שפועלים לאורך זמן: תמיכה במשימות Spark קבועות שפועלות לאורך זמן ובאשכולות קבועים לכמה צוותים ופרויקטים.
- סביבה מגוונת של קוד פתוח: סביבה מאוחדת להרצת צינורות עיבוד נתונים שמריצים כלים של סביבת Hadoop, כמו Hive, Pig או Presto, עם עומסי העבודה של Spark.
- תאימות אבטחה: מאפשרת שליטה בתשתית כדי לעמוד בתקני אבטחה או תאימות ספציפיים, כמו הגנה על פרטים אישיים מזהים (PII) או מידע רפואי מוגן (PHI).
- תשתית גמישה: אפשר להשתמש ב-VM במודל Spot, וגם לעשות שימוש חוזר בהזמנות ובקיבולת המשאבים של Compute Engine כדי לאזן את השימוש במשאבים וליישם את אסטרטגיית תשתית הענן שלכם.
סיכום
ההחלטה אם להשתמש בפריסה של אשכול או בפריסה ללא שרת (serverless) ב-Managed Service for Apache Spark תלויה בדרישות של עומס העבודה, בהעדפות התפעוליות וברמת השליטה הרצויה.
- כדאי לבחור ב-Managed Service for Apache Spark ללא שרת (serverless) כי הוא קל לשימוש, חסכוני בעומסי עבודה לסירוגין ומאפשר להאיץ את הפיתוח של אפליקציות Spark חדשות על ידי הסרת התקורה של ניהול התשתית.
- בחרו באשכולות של Managed Service for Apache Spark כשאתם צריכים שליטה מקסימלית, כשאתם צריכים להעביר עומסי עבודה של Hadoop או Spark, או כשאתם צריכים סביבת אשכולות משותפת, קבועה ומותאמת אישית.
אחרי שתעריכו את הגורמים שמפורטים בקטע הזה, בחרו את פריסת Managed Service for Apache Spark היעילה והמשתלמת ביותר להרצת Spark כדי לממש את מלוא הפוטנציאל של הנתונים שלכם.