צפייה במדדים של צינור המכירות

אחרי שמגדירים, בונים ומריצים צינור עיבוד נתונים, אפשר לראות את המדדים שקשורים למשימה או למשימות של צינור עיבוד הנתונים בכלי Metrics Explorer. בנוסף, אפשר ליצור מדדים מותאמים אישית שמבוססים על יומנים והתראות באמצעות Cloud Logging כדי לעקוב אחרי אירועים כמו כשלים בצינור עיבוד הנתונים.

בדף הזה נסביר איך:

• הצגת מדדים סטנדרטיים של צינורות נתונים ב-Agent Platform ב-Metrics Explorer

• יצירה של מדדים מותאמים אישית וצפייה בהם ב-Logs Explorer (גרסת Preview)

יש עלויות שקשורות ליצירה ולצפייה במדדים מותאמים אישית ב-Cloud Logging. מידע נוסף זמין במאמר תמחור של Cloud Logging.

הצגת מדדים סטנדרטיים של Agent Platform Pipelines ב-Metrics Explorer

תצוגה מקדימה

השימוש בתכונה הזו כפוף לתנאי השימוש במוצרים בגרסת טרום-GA, שמפורטים בחלק "תנאי שירות הכלליים" בתנאים הספציפיים של השירות. השימוש בתכונות בגרסת טרום-GA הוא "כפי שהן" (As is), ויכול להיות שהתמיכה בהן תהיה מוגבלת. מידע נוסף זמין בקטע תיאור שלבי ההשקה.

אפשר לראות את המדדים הבאים שקשורים לצינורות של Agent Platform ב-Metrics Explorer:

• מדדים ברמת משימת צינור עיבוד הנתונים:

  • אפשר להשתמש במדד Vertex Pipelines Job - PipelineJob duration כדי לראות את משך זמן הריצה של הפעלות צינור עיבוד הנתונים.

  • משתמשים במדד Location - Executing PipelineJobs כדי לראות את מספר ההרצות של צינורות העברת הנתונים.

• מדדים ברמת המשימה בצינור עיבוד הנתונים:

  • משתמשים ב-Vertex Pipelines Job - Completed PipelineTasks כדי לראות כמה משימות בצינור העברת הנתונים הושלמו.

  • משתמשים בסמל Location - Executing PipelineTasks כדי לראות את מספר המשימות בצינור עיבוד הנתונים שהופעלו בהרצות של צינור עיבוד הנתונים.

הצגת משך זמן הריצה של משימות בצינור

כדי לראות את המדד Vertex Pipelines Job - PipelineJob duration במסוף Google Cloud :

1. עוברים אל Metrics Explorer:

   לדף Metrics Explorer

2. ברשימה Metric בוחרים באפשרות Vertex Pipelines Job > Pipelinejob > PipelineJob duration.

3. לוחצים על אישור.

4. אופציונלי: כדי לסנן את השאילתה, לוחצים על מסנן ומציינים קריטריון אחד או יותר. לדוגמה:

   • כדי לראות את משך זמן הריצה של משימת צינור ספציפית, משתמשים במסנן pipeline_job_id.

   • כדי לראות את משך זמן הריצה של משימות בצינורות (pipeline) במיקום ספציפי, משתמשים במסנן location.

   • כדי לראות את משך זמן הריצה של משימות בצינורות במצב PIPELINE_STATE_CANCELLED,PIPELINE_STATE_CANCELLING, PIPELINE_STATE_FAILED, PIPELINE_STATE_PENDING, PIPELINE_STATE_RUNNING או PIPELINE_STATE_SUCCEEDED, משתמשים במסנן run_state.

הצגת מספר ההרצות של הפייפליין

כדי לראות את המדד Location - Executing PipelineJobs במסוף Google Cloud :

1. עוברים אל Metrics Explorer:

   לדף Metrics Explorer

2. ברשימה Metric, בוחרים באפשרות Location > Executing_vertexai_pipeline_jobs > Executing PipelineJobs.

3. לוחצים על אישור.

4. אופציונלי: כדי לסנן את השאילתה, לוחצים על מסנן ומציינים קריטריון אחד או יותר. לדוגמה, כדי לראות את מספר המשרות בצינור למקום ספציפי, משתמשים במסנן location.

הצגת מספר המשימות בצינור שהושלמו

כדי לראות את המדד Vertex Pipelines Job - Completed PipelineTasks במסוף Google Cloud :

1. עוברים אל Metrics Explorer:

   לדף Metrics Explorer

2. ברשימה Metric בוחרים באפשרות Vertex Pipelines Job > Pipelinejob > Completed PipelineTasks.

3. לוחצים על אישור.

4. אופציונלי: כדי לסנן את השאילתה, לוחצים על מסנן ומציינים קריטריון אחד או יותר. לדוגמה:

   • כדי לראות את מספר המשימות שהושלמו בהרצת צינור ספציפית, משתמשים במסנן pipeline_job_id.

   • כדי לראות את מספר המשימות שהושלמו בהרצות של צינורות נתונים במיקום ספציפי, משתמשים במסנן location.

הצגת מספר המשימות בצינור עיבוד הנתונים שהופעלו

כדי לראות את המדד Location - Executing PipelineTasks במסוף Google Cloud :

1. עוברים אל Metrics Explorer:

   לדף Metrics Explorer

2. ברשימה Metric בוחרים באפשרות Location > Executing_vertexai_pipeline_tasks > Executing PipelineTasks.

3. לוחצים על אישור.

4. אופציונלי: כדי לסנן את השאילתה, לוחצים על מסנן ומציינים קריטריון אחד או יותר. לדוגמה, כדי לראות את מספר המשימות בצינור שבוצעו במיקום ספציפי, משתמשים במסנן location.

יצירה של מדדים מותאמים אישית וצפייה בהם ב-Logs Explorer

אתם יכולים להשתמש ב-Logs Explorer במסוף Google Cloud כדי ליצור מדדים מבוססי-יומן בהתאמה אישית, שיעקבו אחרי דפוסים ביומני צינור הנתונים וינתחו אותם.

דוגמאות למדדים מותאמים אישית

בקטע הזה מופיעות דוגמאות למדדים מותאמים אישית שאפשר ליצור. למשל:

• יצירת מדד מותאם אישית למשימות של צינורות שלא הצליחו

• יצירת מדד מותאם אישית למצב הסופי של צינורות המכירה

• צפייה בשיעור הכישלונות של משימות בצינור

יצירת מדד מותאם אישית למשימות של צינורות שלא הצליחו

כדי ליצור מדד מונה מותאם אישית שמבוסס על יומן ומנטר משימות של צינורות שלא הצליחו, מבצעים את הפעולות הבאות:

1. עוברים אל Logs Explorer:

   כניסה לדף Logs Explorer

2. בוחרים את הפרויקט המתאים Google Cloud .

3. בתפריט הנפתח Resource (משאב), בוחרים באפשרות Vertex Pipelines Job (משימת צינורות נתונים של Vertex).

4. בתפריט הנפתח מיקום, בוחרים את המיקום של צינור הנתונים.

5. בתפריט הנפתח All pipeline_job_id (כל מזהי משימות צינור עיבוד הנתונים), בוחרים את המזהה של משימת צינור עיבוד הנתונים.

6. לוחצים על אישור.

7. לוחצים על יצירת מדד.

8. במסך יצירת מדד של יומנים:

   1. מגדירים את סוג המדד: בוחרים באפשרות מונה.

   2. מגדירים את השדות הבאים בקטע פרטים:

      • שם מדד היומן: מזינים שם למדד היומן, למשל, pipelinejob_failed. צריך לבחור שם ייחודי בין מדדי היומן בפרויקט Google Cloud . יש הגבלות מסוימות על השמות. מידע נוסף זמין במאמר פתרון בעיות.
      • תיאור: מזינים תיאור למדד.
      • יחידות: משאירים את השדה הזה ריק או מזינים את הספרה 1.

   3. מגדירים את מסנן המדדים בקטע Filter selection. יוצרים מסנן שאוסף רק את הרשומות ביומן שרוצים לספור במדד באמצעות שפת השאילתות של הרישום ביומן, לדוגמה:

      resource.type="aiplatform.googleapis.com/PipelineJob"
      jsonPayload.state="PIPELINE_STATE_FAILED"
      

      אפשר גם להשתמש בביטויים רגולריים כדי ליצור את המסננים של המדד.

      כדי לפתוח חלונית שבה מוצגים רשומות היומן שתואמות למסנן, לוחצים על תצוגה מקדימה של היומנים.

   4. אופציונלי: מוסיפים תווית בקטע תוויות. הוראות ליצירת תוויות מופיעות במאמר יצירת תווית.

   5. כדי ליצור את המדד, לוחצים על יצירת מדד.

יצירת מדד מותאם אישית למצב הסופי של צינור הנתונים

כדי ליצור מדד מונה מותאם אישית שמבוסס על יומן ומנטר את המצב הסופי של משימות צינור העיבוד, מבצעים את הפעולות הבאות:

1. מנווטים אל Logs Explorer:

   כניסה לדף Logs Explorer

2. בוחרים את הפרויקט המתאים Google Cloud .

3. בתפריט הנפתח Resource (משאב), בוחרים באפשרות Vertex Pipelines Job (משימת צינורות נתונים של Vertex).

4. בתפריט הנפתח מיקום, בוחרים את המיקום של צינור הנתונים.

5. בתפריט הנפתח All pipeline_job_id (כל מזהי משימות צינור עיבוד הנתונים), בוחרים את המזהה של משימת צינור עיבוד הנתונים.

6. לוחצים על אישור.

7. לוחצים על יצירת מדד.

8. במסך יצירת מדד של יומנים:

   1. מגדירים את סוג המדד: בוחרים באפשרות מונה.

   2. מגדירים את השדות הבאים בקטע פרטים:

      • שם מדד היומן: מזינים שם למדד היומן, למשל, Pipeline_state_final. צריך לבחור שם ייחודי בין מדדי היומן בפרויקט Google Cloud . יש הגבלות מסוימות על השמות. מידע נוסף זמין במאמר פתרון בעיות.
      • תיאור: מזינים תיאור למדד.
      • יחידות: משאירים את השדה הזה ריק או מזינים את הספרה 1.

   3. מגדירים את מסנן המדדים בקטע Filter selection. יוצרים מסנן שאוסף רק את הרשומות ביומן שרוצים לספור במדד באמצעות שפת השאילתות של הרישום ביומן, לדוגמה:

      resource.type="aiplatform.googleapis.com/PipelineJob"
      jsonPayload.state="PIPELINE_STATE_SUCCEEDED" OR
      "PIPELINE_STATE_FAILED" OR "PIPELINE_STATE_CANCELLED"
      

      אפשר גם להשתמש בביטויים רגולריים כדי ליצור את המסננים של המדד.

      כדי לפתוח חלונית שבה מוצגים רשומות היומן שתואמות למסנן, לוחצים על תצוגה מקדימה של היומנים.

   4. אופציונלי: מוסיפים תווית בקטע תוויות. הוראות ליצירת תוויות מופיעות במאמר יצירת תווית.

   5. כדי ליצור את המדד, לוחצים על יצירת מדד.

צפייה בשיעור הכשלים של משימות בצינור

שיעור הכשלים בעבודות של צינורות העברת נתונים מחושב כיחס בין מספר העבודות של צינורות העברת נתונים במצב הסופי לבין מספר העבודות של צינורות העברת נתונים שנכשלו. כדי ליצור לוח בקרה למעקב אחרי שיעור הכשלים בעבודות של צינורות העברת נתונים, מבצעים את הפעולות הבאות:

1. יוצרים מדד למעקב אחרי משימות בצינור עיבוד הנתונים במצב הסופי. מידע נוסף זמין במאמר יצירת מדד מותאם אישית למצב הסופי של צינור.

2. יוצרים מדד למעקב אחרי עבודות בצינור במצב 'נכשל'. מידע נוסף זמין במאמר יצירת מדד מותאם אישית לעבודות בצינור שנכשלו.

3. בקטע Monitoring במסוף Google Cloud , עוברים לדף Metrics Explorer.

   כניסה לדף Metrics Explorer

4. בכרטיסייה הגדרה, מבצעים את הפעולות הבאות:

   1. לוחצים על הוספת מדד נוסף.

   2. בוחרים באפשרות הצגת מדדים כיחס. כשבוחרים באפשרות הזו:

      • החלונית Time series A (סדרת זמנים א') נקראת עכשיו Numerator (מונה).

      • השם של החלונית Time series B משתנה ל-Denominator.

   3. בחלונית מונה, לוחצים על בחירת מדד כדי לבחור את המדד שנוצר עבור משימות צינור שלא הצליחו.

   4. בחלונית מכנה, לוחצים על בחירת מדד כדי לבחור את המדד שנוצר לעבודות של צינורות להעברת נתונים של מצב סופי.

   5. (אופציונלי) מגדירים את המונה והמכנה על ידי הוספת מסננים או על ידי עדכון של שדות הקיבוץ ופרמטרים של התאמה.

      מידע נוסף על הוספת מסננים או על עדכון של שדות הקיבוץ ופרמטרים של התאמה זמין במאמר יצירת תרשים של יחס בין מדדים.

      הערה: שני המדדים שנבחרו כמונה ומכנה חייבים להיות מאותו סוג משאב. אם בוחרים את אותו מדד כמונה ומכנה, צריך להשתמש במסננים או בקבוצות שונים כדי שהמונה יהיה שונה מהמכנה.

   אחרי שבוחרים את המונה ואת המכנה, שיעור הכשלים בעבודת הצינור מוצג בתרשים.

   • אחרי שיוצרים את התרשים של שיעור הכשלים בעבודת הצינור, אפשר להוסיף אותו למרכז הבקרה המותאם אישית. מידע נוסף מופיע במאמר שמירת תרשים לעיון עתידי.

   • כדי להעתיק את כתובת ה-URL שמכילה את הגדרות הגרף, לוחצים על סמל האליפסה בפינה השמאלית העליונה של הגרף ואז על שיתוף באמצעות כתובת URL.