מעקב ופתרון בעיות בעומסי עבודה באצווה

במאמר הזה נסביר איך להשתמש בכלים ובקבצים כדי לעקוב אחרי עומסי עבודה באצווה ב-Managed Service for Apache Spark ולפתור בעיות שקשורות אליהם.

פתרון בעיות בעומסי עבודה במסוף Google Cloud

אם משימת אצווה נכשלת או שהביצועים שלה נמוכים, מומלץ קודם לפתוח את הדף Job details‏ (Batch details) שלה. כדי לעשות את זה, לוחצים על Job ID של האצווה בכרטיסייה Serverless Spark בדף Jobs במסוף Google Cloud .

שימוש בכרטיסייה "סיכום": מרכז פתרון הבעיות שלכם

הכרטיסייה Summary נבחרת כברירת מחדל כשפותחים את הדף Job details של המשימה באצווה. בכרטיסייה הזו מוצגים מדדים קריטיים ויומנים מסוננים, שיעזרו לכם לבצע הערכה ראשונית מהירה של תקינות האצווה. אחרי ההערכה הראשונית, אתם יכולים לבצע ניתוח מעמיק יותר באמצעות כלים מיוחדים שזמינים בדף Job details של ה-batch, כמו ממשק המשתמש של Spark, ה-Logs Explorer ו-Gemini Cloud Assist.

מדדים עיקריים של בקשות באצווה

הכרטיסיות Summary ו-Monitoring בדף Job details של Batch כוללות תרשימים שמציגים ערכי מדדים חשובים של עומסי עבודה ב-Batch. תרשימי המדדים מאוכלסים אחרי שהמשימה מסתיימת, ומציעים אינדיקציה חזותית לבעיות פוטנציאליות כמו תחרות על משאבים, חלוקת נתונים לא מאוזנת (partition skew) או לחץ על הזיכרון.

לוח הבקרה של מדדי Batch.

טבלת המדדים

בטבלה הבאה מפורטים מדדי עומס העבודה של Spark שמוצגים בדף הפרטים Job details של משימת האצווה במסוף Google Cloud , ומתואר איך ערכי המדדים יכולים לספק תובנות לגבי הסטטוס והביצועים של עומס העבודה.

מדד מה מוצג בדוח?
מדדים ברמת ה-Executor
היחס בין זמן ה-GC של JVM לזמן הריצה המדד הזה מציג את היחס בין זמן ה-GC (איסוף) של JVM לבין זמן הריצה לכל מבצע. יחסים גבוהים יכולים להצביע על דליפות זיכרון במשימות שפועלות על מנהלי משימות מסוימים או על מבני נתונים לא יעילים, מה שעלול להוביל לשיעור נטישה גבוה של אובייקטים.
בייטים שנשפכו לדיסק המדד הזה מציג את המספר הכולל של בייטים בדיסק שנשפכו בין מנהלי משימות שונים. אם מופיע ערך גבוה של בייטים שנשפכו לדיסק, יכול להיות שיש חלוקת נתונים לא מאוזנת. אם המדד עולה לאורך זמן, זה יכול להצביע על כך שיש שלבים עם עומס על הזיכרון או דליפות זיכרון.
בייטים שנקראו ונכתבו המדד הזה מציג את הבייטים שנכתבו לעומת הבייטים שנקראו לכל מבצע. פערים גדולים בבייטים שנקראו או נכתבו יכולים להצביע על תרחישים שבהם איחודים משוכפלים מובילים להגברת הנתונים במבצעים ספציפיים.
רשומות שנקראו ונכתבו המדד הזה מציג את הרשומות שנקראו ונכתבו לכל מפעיל. מספר גדול של רשומות שנקראו עם מספר קטן של רשומות שנכתבו יכול להצביע על צוואר בקבוק בלוגיקת העיבוד במבצעים ספציפיים, מה שמוביל לקריאת רשומות בזמן ההמתנה. אם יש מנהלי משימות שבאופן עקבי מתעכבים בקריאות ובכתיבות, יכול להיות שיש תחרות על משאבים בצמתים האלה או חוסר יעילות בקוד הספציפי של מנהל המשימות.
היחס בין זמן הכתיבה של Shuffle לזמן הריצה המדד מציג את משך הזמן שה-executor השקיע בזמן הריצה של ה-shuffle בהשוואה לזמן הריצה הכולל. אם הערך הזה גבוה בחלק מהמבצעים, יכול להיות שיש חלוקת נתונים לא מאוזנת או סריאליזציה לא יעילה של נתונים. אפשר לזהות שלבים עם זמני כתיבה ארוכים של ערבוב בממשק המשתמש של Spark. חפשו משימות חריגות בשלבים האלה, שלוקח יותר זמן מהממוצע להשלים אותן. בודקים אם למבצעים עם זמני כתיבה גבוהים של ערבוב יש גם פעילות קלט/פלט גבוהה בדיסק. יכול להיות שסריאליזציה יעילה יותר ושלבי חלוקה למחיצות נוספים יעזרו. כתיבה של רשומות גדולות מאוד בהשוואה לקריאה של רשומות יכולה להצביע על שכפול נתונים לא מכוון, שנובע מצירופים לא יעילים או מטרנספורמציות שגויות.
מדדים ברמת האפליקציה
התקדמות בשלבים המדד הזה מציג את מספר השלבים שנכשלו, שממתינים ושפועלים. מספר גדול של שלבים שנכשלו או שלבים בהמתנה יכול להצביע על חלוקת נתונים לא מאוזנת. בודקים אם יש מחיצות נתונים ומאתרים את הסיבה לכשל בשלב באמצעות הכרטיסייה Stages בממשק המשתמש של Spark.
מבצעי Spark באצווה המדד הזה מציג את מספר ה-executors שעשויים להיות נחוצים, לעומת מספר ה-executors שפועלים. הבדל גדול בין מספר ה-executors הנדרשים למספר ה-executors שפועלים יכול להצביע על בעיות בהתאמה לעומס (autoscaling).
מדדים ברמת המכונה הווירטואלית
זיכרון בשימוש המדד הזה מציג את אחוז הזיכרון של המכונה הווירטואלית שנמצא בשימוש. אם האחוז של המאסטר גבוה, יכול להיות שהדרייבר נמצא תחת לחץ זיכרון. בצמתים אחרים של מכונות וירטואליות, אחוז גבוה יכול להצביע על כך שהזיכרון של ה-executors עומד להיגמר, מה שעלול להוביל לזליגה גבוהה לדיסק ולזמן ריצה איטי יותר של עומס העבודה. משתמשים בממשק המשתמש של Spark כדי לנתח את ה-executors ולבדוק אם יש זמן GC ארוך ומספר גבוה של משימות שנכשלו. בנוסף, כדאי לנפות באגים בקוד Spark כדי לזהות שמירה במטמון של מערכי נתונים גדולים ושידור מיותר של משתנים.

יומני משימות

בדף Job details של המשימה באצווה יש כרטיסייה בשם Job logs (ותקציר של היומנים) שבה מופיעות אזהרות ושגיאות שסוננו מהיומנים של המשימה (עומס העבודה באצווה). התכונה הזו מאפשרת לזהות במהירות בעיות קריטיות בלי לנתח באופן ידני קובצי יומן נרחבים. כדי לצמצם את התוצאות, אפשר לבחור את רמת החומרה (Severity) של היומן (לדוגמה, Error) מהתפריט הנפתח ולהוסיף מסנן (Filter) טקסט. כדי לבצע ניתוח מעמיק יותר, לוחצים על הסמל View in Logs Explorer כדי לפתוח את היומנים של ה-batch שנבחר ב-Logs Explorer.

צפייה ביומני Batch ב-Cloud Logging
צפייה ביומני אצווה ב-Cloud Logging

דוגמה: Logs Explorer נפתח אחרי שבוחרים באפשרות Errors בבורר Severity בדף Job details של המשימה באצווה במסוף Google Cloud .

‫Batch logs explorer.

ממשק המשתמש של Spark

ממשק המשתמש של Spark אוסף פרטי ביצוע של Apache Spark מעומסי עבודה באצווה של Managed Service for Apache Spark. התכונה Spark UI מופעלת כברירת מחדל, והשימוש בה לא כרוך בתשלום.

הנתונים שנאספים על ידי התכונה "ממשק המשתמש של Spark" נשמרים למשך 90 ימים. אתם יכולים להשתמש בממשק האינטרנט הזה כדי לעקוב אחרי עומסי העבודה ב-Spark ולנפות בהם באגים, בלי ליצור שרת היסטוריה קבוע.

ההרשאות והתפקידים הנדרשים בניהול הזהויות והרשאות הגישה (IAM)

כדי להשתמש בתכונה Spark UI עם עומסי עבודה באצווה, נדרשות ההרשאות הבאות:

  • הרשאת איסוף נתונים: dataproc.batches.sparkApplicationWrite. צריך להקצות את ההרשאה הזו לחשבון השירות שמריץ עומסי עבודה באצווה. ההרשאה הזו כלולה בתפקיד Managed Service for Apache Spark Worker, שמוענק באופן אוטומטי לחשבון השירות שמשמש כברירת המחדל של Compute Engine, שבו Managed Service for Apache Spark משתמש כברירת מחדל (ראו חשבון השירות של Managed Service for Apache Spark). עם זאת, אם אתם מציינים חשבון שירות בהתאמה אישית לעומס העבודה באצווה, אתם צריכים להוסיף את ההרשאה dataproc.batches.sparkApplicationWrite לחשבון השירות הזה (בדרך כלל, על ידי הקצאת התפקיד Worker של Managed Service for Apache Spark לחשבון השירות).

  • הרשאת גישה לממשק המשתמש של Spark:‏ dataproc.batches.sparkApplicationRead. כדי לגשת לממשק המשתמש של Spark במסוףGoogle Cloud , צריך לתת למשתמש את ההרשאה הזו. ההרשאה הזו כלולה בתפקידים Dataproc Viewer,‏ Dataproc Editor ו-Dataproc Administrator. כדי לפתוח את ממשק המשתמש של Spark במסוף Google Cloud , צריך להיות לכם אחד מהתפקידים האלה או תפקיד בהתאמה אישית שכולל את ההרשאה הזו.

פתיחת ממשק המשתמש של Spark

הדף Spark UI זמין בעומסי העבודה באצווה במסוף Google Cloud .

  1. נכנסים לדף Jobs של Managed Service for Apache Spark במסוף Google Cloud .

    לדף Managed Service for Apache Spark Jobs

  2. בוחרים בכרטיסייה Serverless Spark ולוחצים על מזהה משימה של משימה באצווה כדי לפתוח את הדף Job details.

  3. לוחצים על View in Spark UI (לצד מזהה האפליקציה של Spark) או על View Spark UI.

הקישור View in Spark UI מושבת במקרים הבאים:

יומנים של Managed Service for Apache Spark

כברירת מחדל, הרישום ביומן מופעל ב-Managed Service for Apache Spark, ויומני עומסי העבודה נשמרים אחרי שהעומס מסתיים. השירות Managed Service for Apache Spark אוסף יומני עומסי עבודה ב-Cloud Logging. אפשר לגשת ליומנים של Managed Service for Apache Spark דרך המשאב Cloud Dataproc Batch ב-Logs Explorer.

שאילתות ביומנים של Managed Service for Apache Spark

ב-Logs Explorer במסוף Google Cloud יש חלונית שאילתות שעוזרת ליצור שאילתה כדי לבדוק את היומנים של עומסי העבודה באצווה. כדי ליצור שאילתה לבדיקת יומני עומסי העבודה של Batch:

  1. כניסה לדף Logs Explorer

  2. הפרויקט הנוכחי שלכם נבחר. כדי לבחור פרויקט אחר, לוחצים על Refine scope Project.

  3. מגדירים שאילתה של יומני Batch.

    • משתמשים בתפריטי הסינון כדי לסנן לפי עומס עבודה באצווה.

      1. בקטע All resources, בוחרים את המשאב Cloud Managed Service for Apache Spark Batch.

        1. בחלונית Select resource, בוחרים את LOCATION של האצווה ואז את BATCH ID. הפרמטרים האלה של האצווה מופיעים בכרטיסייה Serverless Spark בדף Jobs של Managed Service for Apache Spark במסוף Google Cloud .

        2. לוחצים על אישור.

        3. בקטע Select log names, מזינים dataproc.googleapis.com בתיבה Search log names כדי להגביל את סוגי היומנים לשאילתה. בוחרים שם אחד או יותר של קובץ יומן מהרשימה.

    • משתמשים בעורך השאילתות כדי לסנן יומנים ספציפיים למכונות וירטואליות.

      1. מציינים את סוג המשאב ואת שם המשאב של המכונה הווירטואלית, כמו בדוגמה הבאה: 

        resource.type="cloud_dataproc_batch"
labels."dataproc.googleapis.com/resource_name"="VM_NAME_PREFIX-BATCH_UUID-VM_SUFFIX"
        הערות:

        • ‫VM_NAME_PREFIX: משתמשים ב-gdpic-rm לעומסי עבודה באצווה שפועלים ב-Managed Service for Apache Spark בגרסה 3.0 ובגרסאות מאוחרות יותר של זמן הריצה. משתמשים ב-gdpic-srvls-batch לעומסי עבודה באצווה שפועלים בגרסאות מוקדמות יותר של זמן הריצה.
        • ‫BATCH_UUID: ה-Job UUID של ה-batch מופיע בדף Job details (Batch details) של ה-batch במסוף Google Cloud , שנפתח כשלוחצים על מזהה משימה של ה-batch בכרטיסייה Serverless Spark בדף Jobs.

        ביומני האצווה מופיע גם ה-UUID של האצווה בשם המשאב של ה-VM. דוגמה מתוך batch driver.log:

  4. לוחצים על Run query.

סוגי יומנים ושאילתות לדוגמה ב-Managed Service for Apache Spark

ברשימה הבאה מתוארים סוגי היומנים השונים של Managed Service for Apache Spark, ומוצגות שאילתות לדוגמה ב-Logs Explorer לכל סוג יומן.

  1. ‫dataproc.googleapis.com/output: קובץ היומן הזה מכיל פלט של עומס עבודה באצווה. ‫Managed Service for Apache Spark מעביר בסטרימינג את הפלט של האצווה למרחב השמות output, ומגדיר את שם הקובץ כ-JOB_ID.driver.log.

    שאילתה לדוגמה ב-Logs Explorer ליומני פלט: 

    resource.type="cloud_dataproc_batch"
resource.labels.location="REGION"
resource.labels.batch_id="BATCH_ID"
logName="projects/PROJECT_ID/logs/dataproc.googleapis.com%2Foutput"

  2. ‫dataproc.googleapis.com/spark: מרחב השמות spark צובר את יומני Spark של הדימונים והמבצעים שפועלים במכונות הווירטואליות של מאסטר האשכולות וה-worker ב-Managed Service for Apache Spark. כל רשומה ביומן כוללת תווית רכיב של master,‏ worker או executor כדי לזהות את מקור היומן, באופן הבא:

    • ‫executor: יומנים ממבצעי קוד משתמש. בדרך כלל, אלה יומנים מבוזרים.
    • ‫master: יומנים ממנהל המשאבים הראשי של Spark Standalone, שדומים ליומני ResourceManager של Managed Service for Apache Spark YARN.
    • ‫worker: יומנים מה-worker של מנהל המשאבים העצמאי של Spark, שדומים ליומני NodeManager של Managed Service for Apache Spark YARN.

    שאילתה לדוגמה ב-Logs Explorer לכל היומנים במרחב השמות spark: 

    resource.type="cloud_dataproc_batch"
resource.labels.location="REGION"
resource.labels.batch_id="BATCH_ID"
logName="projects/PROJECT_ID/logs/dataproc.googleapis.com%2Fspark"

    שאילתה לדוגמה ב-Logs Explorer ליומני רכיבים עצמאיים של Spark במרחב השמות spark: 

    resource.type="cloud_dataproc_batch"
resource.labels.location="REGION"
resource.labels.batch_id="BATCH_ID"
logName="projects/PROJECT_ID/logs/dataproc.googleapis.com%2Fspark"
jsonPayload.component="COMPONENT"

  3. ‫dataproc.googleapis.com/startup: מרחב השמות startup כולל את יומני ההפעלה של האצווה (האשכול). היומנים כוללים את כל סקריפטי האתחול. הרכיבים מזוהים לפי תווית, לדוגמה:

    startup-script[855]: ... activate-component-spark[3050]: ... enable spark-worker
    שאילתה לדוגמה ב-Logs Explorer ליומני הפעלה במכונה וירטואלית ספציפית: 
    resource.type="cloud_dataproc_batch"
resource.labels.location="REGION"
resource.labels.batch_id="BATCH_ID"
logName="projects/PROJECT_ID/logs/dataproc.googleapis.com%2Fstartup"
labels."dataproc.googleapis.com/resource_name"="VM_NAME_PREFIX-BATCH_UUID-VM_SUFFIX"

  4. dataproc.googleapis.com/agent: מרחב השמות agent צובר את יומני הפעילות של סוכני Managed Service for Apache Spark. כל רשומה ביומן כוללת תווית של שם קובץ שמזהה את מקור היומן.

    שאילתה לדוגמה ב-Logs Explorer ליומני סוכנים שנוצרו על ידי worker VM ספציפי: 

    resource.type="cloud_dataproc_batch"
resource.labels.location="REGION"
resource.labels.batch_id="BATCH_ID"
logName="projects/PROJECT_ID/logs/dataproc.googleapis.com%2Fagent"
labels."dataproc.googleapis.com/resource_name"="VM_NAME_PREFIX-BATCHUUID-wWORKER#"

  5. ‫dataproc.googleapis.com/autoscaler: מרחב השמות autoscaler צובר את יומני ההתאמה האוטומטית לעומס של Managed Service for Apache Spark.

    שאילתה לדוגמה ב-Logs Explorer ליומנים של מידרוג אוטומטי שנוצרו על ידי worker VM ספציפי: 

    resource.type="cloud_dataproc_batch"
resource.labels.location="REGION"
resource.labels.batch_id="BATCH_ID"
logName="projects/PROJECT_ID/logs/dataproc.googleapis.com%2Fautoscaler"
labels."dataproc.googleapis.com/resource_name"="VM_NAME_PREFIX-BATCHUUID-wWORKER#"

מידע נוסף מופיע במאמר יומנים של Managed Service for Apache Spark.

למידע על יומני הביקורת של Managed Service for Apache Spark, קראו את המאמר יומני הביקורת של Managed Service for Apache Spark.

מדדי עומס עבודה

ב-Managed Service for Apache Spark יש מדדים של Spark ושל אצווה, שאפשר לראות ב-Metrics Explorer או בדף Job details של האצווה במסוף Google Cloud .

מדדי אצווה

מדדי המשאבים של Managed Service for Apache Spark batch מספקים תובנות לגבי משאבי אצווה, כמו מספר מנהלי האצווה. למדדים של Batch יש את הקידומת dataproc.googleapis.com/batch.

דוגמה למדד Batch ב-Metrics Explorer.

מדדי Spark

כברירת מחדל, Managed Service for Apache Spark מאפשר לאסוף את המדדים הזמינים של Spark, אלא אם משתמשים במאפייני איסוף המדדים של Spark כדי להשבית או לשנות את האיסוף של מדד אחד או יותר של Spark.

המדדים הזמינים של Spark כוללים מדדים של מנהל ההתקן והמבצע של Spark, ומדדי מערכת. למדדים הזמינים של Spark יש את הקידומת custom.googleapis.com/.

דוגמה למדד Spark ב-Metrics Explorer.

הגדרת התראות לגבי מדדים

אתם יכולים ליצור התראות על מדדים של Managed Service for Apache Spark כדי לקבל הודעות על בעיות בעומסי העבודה.

יצירת תרשימים

אתם יכולים ליצור תרשימים שממחישים את מדדי עומס העבודה באמצעות Metrics Explorer במסוףGoogle Cloud . לדוגמה, אפשר ליצור תרשים שבו מוצג disk:bytes_used, ואז לסנן לפי batch_id.

Cloud Monitoring

כדי לקבל תובנות לגבי התקינות והביצועים של עומסי העבודה ב-Managed Service for Apache Spark, אפשר להשתמש במטא-נתונים ובמדדים של עומסי העבודה ב-Monitoring. מדדי עומס העבודה כוללים מדדי Spark, מדדי אצווה ומדדי פעולות.

אתם יכולים להשתמש ב-Cloud Monitoring במסוף Google Cloud כדי לבחון מדדים, להוסיף תרשימים, ליצור לוחות בקרה וליצור התראות.

יצירת מרכזי בקרה

אתם יכולים ליצור לוח בקרה כדי לעקוב אחרי עומסי עבודה באמצעות מדדים מכמה פרויקטים וממוצרים שונים של Google Cloud . מידע נוסף זמין במאמר יצירה וניהול של לוחות בקרה בהתאמה אישית.

שרת היסטוריה קבוע

השירות המנוהל ל-Apache Spark יוצר את משאבי המחשוב שנדרשים להרצת עומס עבודה, מריץ את עומס העבודה במשאבים האלה ומוחק את המשאבים כשהרצת עומס העבודה מסתיימת. המדדים והאירועים של עומס העבודה לא נשמרים אחרי שהעומס מסתיים. עם זאת, אתם יכולים להשתמש בשרת היסטוריה מתמשכת (PHS) כדי לשמור את היסטוריית האפליקציות של עומסי העבודה (יומני אירועים) ב-Cloud Storage.

כדי להשתמש ב-PHS עם עומס עבודה באצווה, צריך לבצע את הפעולות הבאות:

  1. יצירת שרת היסטוריה קבוע (PHS) של Managed Service for Apache Spark.

  2. ציינו את ה-PHS כשאתם שולחים עומס עבודה.

  3. משתמשים ב-Component Gateway כדי להתחבר ל-PHS ולראות את פרטי האפליקציה, שלבי התזמון, פרטים ברמת המשימה ומידע על הסביבה ועל ה-executor.

כוונון אוטומטי

  • הפעלת Autotuning ב-Managed Service for Apache Spark: אתם יכולים להפעיל את Autotuning ב-Managed Service for Apache Spark כשאתם שולחים כל עומס עבודה חוזר של Spark באצווה באמצעות מסוף Google Cloud , ה-CLI של gcloud או ה-API של Managed Service for Apache Spark.

המסוף

כדי להפעיל את הכוונון האוטומטי בכל עומס עבודה חוזר של Spark באצווה, מבצעים את הפעולות הבאות:

  1. נכנסים לדף Jobs של Managed Service for Apache Spark במסוף Google Cloud .

    לדף Managed Service for Apache Spark Jobs

  2. כדי ליצור עומס עבודה באצווה, לוחצים על Submit job כדי לפתוח את הדף Submit a job.

  3. בקטע Select compute type for job, מוודאים שהאפשרות Serverless Spark מסומנת.

  4. בקטע Serverless job details:

    1. מציינים מזהה משימה או מאשרים את מזהה ברירת המחדל.
    2. בוחרים פרופיל זמן ריצה (או משאירים את הגדרת ברירת המחדל של השירות לאזור שלכם), ואז לוחצים על Configure בכרטיס Summary (או לוחצים על Create new profile בתפריט Runtime profile) כדי לפתוח את חלונית ההגדרות של פרופיל זמן הריצה.
    3. בחלונית ההגדרות של פרופיל סביבת זמן הריצה, מרחיבים את Additional configuration ולוחצים על Edit לצד Other customizations.
    4. בחלונית Other customizations, בקטע Autotuning, לוחצים על המתג Enable וממלאים את השדה Cohort ID, שמזהה את ה-batch כאחד מסדרה של עומסי עבודה חוזרים. הניתוח בעזרת Gemini מופעל על עומסי העבודה השני והבאים אחריו שנשלחים עם מזהה הקבוצה הזה. לדוגמה, אפשר לציין את הערך tpch-query1 כמזהה הקבוצה של עומס עבודה מתוזמן שמריץ שאילתת TPC-H יומית.
    5. לוחצים על Save בחלונית Other customizations, ואז לוחצים על Use configuration (או על Save new profile) בחלונית ההגדרות של פרופיל זמן הריצה.

  5. ממלאים את הקטעים Files and artifacts ו-Job execution and properties בדף Submit a job לפי הצורך, ולוחצים על Submit. מידע נוסף מופיע במאמר שליחת עומס עבודה באצווה.

gcloud

מריצים את הפקודה הבאה של ה-CLI של gcloud‏ gcloud dataproc batches submit באופן מקומי בחלון הטרמינל או ב-Cloud Shell כדי להפעיל את הכוונון האוטומטי בכל עומס עבודה חוזר של Spark באצווה:

gcloud dataproc batches submit COMMAND \
    --region=REGION \
    --cohort=COHORT \
    other arguments ...

מחליפים את מה שכתוב בשדות הבאים:

  • ‫COMMAND: הסוג של עומס העבודה ב-Spark, למשל Spark, ‏PySpark, ‏Spark-Sql או Spark-R.
  • ‫REGION: האזור שבו יופעל עומס העבודה.
  • ‫COHORT: שם הקבוצה, שמזהה את האצווה כאחת מסדרה של עומסי עבודה חוזרים. הניתוח בעזרת Gemini מופעל על עומסי העבודה השני והבאים אחריו שנשלחים עם שם הקבוצה הזו. לדוגמה, אפשר לציין את הערך TPCH Query 1 בתור שם הקבוצה של עומס עבודה מתוזמן שמריץ שאילתת TPC-H יומית.

API

כדי להפעיל את הכוונון האוטומטי בכל עומס עבודה חוזר של Spark באצווה, צריך לכלול את השם של RuntimeConfig.cohort בבקשה של batches.create. הכוונון האוטומטי מופעל על עומסי העבודה השני והבאים בתור שנשלחים עם שם הקבוצה הזה. לדוגמה, אפשר לציין את השם TPCH-Query1 לקבוצה של עומס עבודה מתוזמן שמריץ שאילתת TPC-H יומית.

דוגמה:

...
runtimeConfig:
  cohort: TPCH-Query1
...