באמצעות Managed Service for Apache Spark ללא שרת (serverless), אתם יכולים להריץ עומסי עבודה של אצווה וסשנים אינטראקטיביים ב-Spark בתשתית מנוהלת לחלוטין. השאלות והתשובות הבאות עוסקות בנושאים נפוצים שקשורים לפריסה, להגדרה ולתפעול. אלא אם צוין אחרת, המידע הזה רלוונטי רק לפריסות ללא שרת (serverless), ולא לפריסות של אשכולות.
מתי כדאי להשתמש בפריסה ללא שרת (serverless) של Managed Service for Apache Spark במקום בפריסת אשכול של Managed Service for Apache Spark?
פריסה ללא שרת (serverless) של Managed Service for Apache Spark:
- תמיכה בעומסי עבודה של Spark באצווה ובסשנים אינטראקטיביים ב-PySpark kernel ב-Jupyter Notebooks.
- יוצר ומנהל את התשתית של עומס העבודה והסשן האינטראקטיבי.
פריסת אשכול של Managed Service for Apache Spark:
תמיכה בשליחה של סוגים שונים של משימות Spark, ומשימות שמבוססות על רכיבים אחרים בקוד פתוח, כמו Flink, Hadoop, Hive, Pig, Presto ועוד.
לא יוצר ומנהל תשתית. אתם יוצרים ומנהלים את האשכולות של Managed Service for Apache Spark.
מה אפשר לעשות עם פריסה ללא שרת (serverless) של Managed Service for Apache Spark?
להריץ משימות סטרימינג באמצעות ספריות הסטרימינג של Spark. הערה: סטרימינג הוא לא שירות מנוהל, ולכן צריך לנהל את נקודות הבדיקה וההפעלות מחדש.
לאמן מודלים באמצעות Spark MLlib.
אתם יכולים להשתמש ב-notebooks אינטראקטיביים של SQL כדי לחקור נתונים, ליצור תרשימים ולנתח סדרת זמנים ונתונים גיאוגרפיים.
תזמור של עומסי עבודה ב-Managed Service for Apache Spark באמצעות Managed Service for Apache Airflow, שירות מנוהל של Apache Airflow.
איך מגדירים תוכנית לביצוע עומס עבודה?
אפשר להריץ עומסי עבודה בו-זמנית או ברצף. תוכנית הביצוע משפיעה על מכסת המשאבים ב- Google Cloud . אפשר להריץ במקביל כמה עומסי עבודה שרוצים, בהתאם למכסות של משאבי ה-Batch.
האם אפשר להשתמש בתמונה מותאמת אישית בפריסה ללא שרת (serverless) של Managed Service for Apache Spark?
- כן. אתם יכולים להשתמש בקובץ אימג' של קונטיינר בהתאמה אישית במקום בקובץ ברירת המחדל. שימוש בקונטיינרים בהתאמה אישית ב-Managed Service for Apache Spark
האם אפשר להגדיר משאבי זיכרון ודיסק לעומסי עבודה ב-Managed Service for Apache Spark?
כן. אתם יכולים לציין את רמות הדיסק והמחשוב של מנהל ההתקן וה-executor, ואת כמות משאבי הדיסק והמחשוב של מנהל ההתקן וה-executor שיוקצו כשאתם שולחים עומס עבודה (ראו מאפייני הקצאת משאבים).
איך מציינים את טווח כתובות ה-IP של רשת ה-VPC ב-Managed Service for Apache Spark?
עומסי העבודה של Managed Service for Apache Spark פועלים בסביבה שלכם.
כל מנהל התקן של Spark וכל מפעיל של Spark בעומס עבודה של Serverless Spark צורך כתובת IP פנימית אחת ברשת ה-VPC של Managed Service for Apache Spark.
/16 הוא טווח כתובות CIDR טיפוסי שצוין על ידי המשתמש עבור רשת VPC של Managed Service for Apache Spark.
אתם יכולים להגביל את טווח כתובות ה-IP של הרשת בהתאם למספר עומסי העבודה שאתם מתכננים להריץ בו-זמנית.
האם Managed Service for Apache Spark תומך במיקום אחסון הנתונים?
כן. אתם מציינים את האזור שבו עומס העבודה שלכם מעובד. מאתרים את מערכי הנתונים של הקלט והפלט באזור שצוין.
איך Managed Service for Apache Spark בוחר אזור בתוך האזור שציינתם כדי להריץ את עומס העבודה?
השירות Managed Service for Apache Spark בוחר את האזור ב-Compute Engine שבו הוא מריץ עומס עבודה, על סמך הקיבולת והזמינות. אם אזור מסוים לא זמין אחרי שעומס העבודה מתחיל, עומס העבודה נכשל וצריך לשלוח אותו מחדש.
איך עומסי העבודה של Managed Service for Apache Spark משתמשים במשאבי המחשוב?
כל עומס עבודה פועל במשאבי המחשוב שלו. כששולחים כמה אצוות, הן לא משתפות משאבי מחשוב ולא משתמשות בהם מחדש.
שיטות מומלצות:
בצעו אופטימיזציה של עומס העבודה למשימות שפועלות לטווח בינוני, ולא למשימות שפועלות לטווח קצר.
לשמור ב-Cloud Storage נתונים שעומסי עבודה שונים ניגשים אליהם.
איפה אפשר למצוא מידע על הודעות, תכונות, תיקוני באגים, בעיות ידועות והוצאה משימוש של Managed Service for Apache Spark?
הערות המוצר של Managed Service for Apache Spark
האם עומסי עבודה בו-זמניים מתחרים על משאבים?
עומסי עבודה של Managed Service for Apache Spark מתחרים על משאבים רק אם מכסת המשאבים לא מספיקה כדי להריץ את כל עומסי העבודה שפועלים בו-זמנית. אחרת, עומסי העבודה מבודדים לחלוטין זה מזה.
איך מוקצית המכסה של Managed Service for Apache Spark?
אצוות של Managed Service for Apache Spark צורכות משאבים של Google Cloud . מידע נוסף זמין במאמר מכסות ב-Dataproc ללא שרת (Serverless).
האם צריך להגדיר שרת היסטוריה קבוע ב-Managed Service for Apache Spark?
לא חובה להגדיר שרת היסטוריה מתמיד (PHS) לשימוש עם Managed Service for Apache Spark.אתם יכולים להשתמש ב-PHS כדי לצפות ביומני אירועים של Spark וביומנים אחרים בקטגוריה ספציפית של Cloud Storage, עד לתקופת השמירה (TTL) הרגילה של 90 יום בקטגוריית ה-Staging והקטגוריה הזמנית של Managed Service for Apache Spark, וגם אחרי שהתקופה הזו מסתיימת.
אילו יומנים זמינים ב-Managed Service for Apache Spark?
יומני מנהלי ההתקנים והמבצעים של Spark זמינים ב-Cloud Logging במהלך ביצוע עומס העבודה של Spark ואחריו. בנוסף, אפליקציות Spark מופיעות בממשק האינטרנט של Persistent History Server (PHS) בזמן שעומס העבודה פועל (בוחרים באפשרות PHS > Incomplete Applications בממשק המשתמש של PHS).
אם מגדירים PHS של Managed Service for Apache Spark, הוא מספק גישה קבועה ליומני האירועים של Spark שנשמרו ב-Cloud Storage, שנותנים תובנות לגבי הפעלת אפליקציית Spark, כמו אירועי DAG ואירועי executor.
אפשר להגדיר את מספר ה-executors לעומס העבודה ב-Spark?
כן. אפשר להגדיר את מספר ה-executors של עומס עבודה ב-Spark באמצעות המאפיין spark.executor.instances. עם זאת, המספר הכולל של הליבות שעומס העבודה יכול להשתמש בהן חשוב יותר ממספר ה-executors, כי Spark מריץ משימה אחת לכל ליבה. לדוגמה, אם לעומס עבודה יש ארבעה מבצעים עם שתי ליבות לכל אחד, הוא יריץ 4 * 2 = 8 משימות בו-זמנית. הוא גם יריץ את אותו מספר משימות לעומס עבודה שיש לו שני מבצעים עם ארבע ליבות כל אחד. מכיוון שמספר הליבות בכל עומס עבודה זהה, הם יריצו את אותו מספר משימות. אתם יכולים להשתמש במאפיין spark.executor.cores כדי להגדיר את מספר הליבות לכל מפעיל בעומס העבודה של Managed Service for Apache Spark.
באילו מדדי Spark משתמש Managed Service for Apache Spark להתאמה אוטומטית לעומס?
Managed Service for Apache Spark בודק את המדדים maximum-needed ו-running של ההקצאה הדינמית של Spark כדי לקבוע אם להגדיל או להקטין את המשאבים.
מידע נוסף זמין במאמר התאמה אוטומטית לעומס (autoscaling) ב-Managed Service for Apache Spark.
האם אפשר להגדיר את ההתנהגות של ההתאמה האוטומטית לעומס (autoscaling) ב-Managed Service for Apache Spark באמצעות מאפייני Spark?
כן. התאמה אוטומטית לעומס ב-Managed Service for Apache Spark מבוססת על הקצאה דינמית של Spark, והיא מופעלת כברירת מחדל. אפשר לשנות את המאפיינים של Spark ואת המאפיינים של הקצאה דינמית של Spark:
spark.executor.instancesspark.dynamicAllocation.initialExecutorsspark.dynamicAllocation.minExecutorsspark.dynamicAllocation.maxExecutors
למה צריך לארוז את הקוד בקובץ JAR כדי לשלוח את עומס העבודה של Spark?
Spark כתוב ב-Scala, כלומר גם תהליכי ה-driver וגם תהליכי ה-worker פועלים כתהליכי JVM. בשפות JVM, קובץ JAR הוא הדרך העיקרית לארוז קוד. אתם מעבירים את קובץ ה-JAR ל-Managed Service for Apache Spark כשאתם שולחים עומס עבודה.