מעקב אחרי אשכול Ray ב-Gemini Enterprise Agent Platform

בדף הזה מוסבר איך לצפות ביומני המעקב שמשויכים לאשכולות Ray ולעקוב אחרי מדדי Ray ב-Agent Platform. יש גם הנחיות לניפוי באגים באשכולות Ray.

צפייה ביומנים

כשמבצעים משימות באמצעות אשכול Ray ב-Gemini Enterprise Agent Platform, נוצרים באופן אוטומטי יומני מעקב שנשמרים ב-Cloud Logging ובלוח הבקרה של Ray בקוד פתוח. בקטע הזה מוסבר איך לגשת ליומנים שנוצרו דרך מסוף Google Cloud .

לפני שמתחילים, חשוב לקרוא את סקירת Ray ב-Agent Platform ולהגדיר את כל הכלים הנדרשים.

לוח הבקרה של Ray OSS

אפשר לראות את קובצי היומן של Ray בקוד פתוח דרך לוח הבקרה של Ray OSS:

  1. נכנסים לדף Ray on Agent Platform במסוף Google Cloud .

    כניסה לדף Ray on Agent Platform

  2. בשורה של האשכול שיצרתם, בוחרים בתפריט more actions.

  3. לוחצים על הקישור ללוח הבקרה של Ray OSS. לוח הבקרה ייפתח בכרטיסייה אחרת.

  4. עוברים לתצוגה Logs (יומנים) בפינה השמאלית העליונה בתפריט:

    יומנים של מרכז הבקרה של Ray

  5. לוחצים על כל צומת כדי לראות את קובצי היומן שמשויכים לצומת הזה.

מסוף Cloud Logging

  1. במסוף Google Cloud , נכנסים לדף Logs Explorer:

    כניסה אל Logs Explorer

    אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שכותרת המשנה שלה היא Logging.

  2. בוחרים פרויקט, תיקייה או ארגון קיימים ב- Google Cloud .

  3. כדי להציג את כל יומני Ray, מזינים את השאילתה הבאה בשדה עורך השאילתות ולוחצים על Run query:

    resource.labels.task_name="ray-cluster-logs"

  4. כדי לצמצם את היומנים לקלאסטר Ray ספציפי, מוסיפים את השורה הבאה לשאילתה ולוחצים על Run query:

    labels."ml.googleapis.com/ray_cluster_id"=CLUSTER_NAME

    מחליפים את CLUSTER_NAME בשם של אשכול Ray. במסוף Google Cloud , עוברים אל Gemini Enterprise Agent Platform > Ray on Agent Platform. שם תופיע רשימה של שמות אשכולות בכל אזור.

  5. כדי לצמצם עוד יותר את היומנים לקובץ יומן ספציפי כמו raylet.out, לוחצים על שם היומן בקטע שדות יומן -> שם היומן.

  6. אפשר לקבץ רשומות דומות ביומן:

    1. בתוצאות השאילתה, לוחצים על רשומה ביומן כדי להרחיב את היומן.

    2. ב-jsonPayload, לוחצים על הערך tailed_path. יופיע תפריט נפתח.

    3. לוחצים על הצגת רשומות תואמות.

השבתת היומנים

כברירת מחדל, Ray ב-Vertex AI Cloud Logging מופעל.

  • כדי להשבית את הייצוא של יומני Ray ל-Cloud Logging, משתמשים בפקודה הבאה של Agent Platform SDK for Python:

    vertex_ray.create_ray_cluster(..., enable_logging=False, ...)

אפשר לראות את קובצי היומן של Ray בלוח הבקרה של Ray גם אם התכונה Cloud Logging של Ray בפלטפורמת Agent מושבתת.

מעקב אחרי מדדים

אפשר לראות את המדדים של Ray on Agent Platform בדרכים שונות באמצעות Google Cloud Monitoring (GCM). אפשרות אחרת היא לייצא את המדדים מ-GCM לשרת Grafana שלכם.

מעקב אחרי מדדים ב-GCM

יש שתי דרכים להציג את מדדי Ray on Agent Platform ב-GCM.

  • משתמשים בתצוגה הישירה בקטע Metrics Explorer.

  • מייבאים את מרכז הבקרה של Grafana.

Metrics Explorer

כדי להשתמש בתצוגה הישירה ב-Metrics Explorer:

  1. נכנסים למסוף Google Cloud Monitoring.
  2. בקטע ניתוח, בוחרים באפשרות Metrics Explorer.
  3. בקטע Active Resources (משאבים פעילים), בוחרים באפשרות Prometheus Target (יעד Prometheus). מופיע התפריט Active Metric Categories.

  4. בוחרים באפשרות קרן.

    מופיעה רשימת מדדים:

    בחירת מדד
  5. בוחרים את המדדים שרוצים לעקוב אחריהם. למשל:
    1. בוחרים באחוז השימוש במעבד כמדד למעקב:
      יעד ניצול
    2. בוחרים מסנן. לדוגמה, בוחרים באפשרות cluster:
      הוספת המסנן הנדרש משתמשים במזהה האשכול כדי לעקוב רק אחרי המדדים שלמעלה עבור אשכול ספציפי. כדי למצוא את מזהה האשכול:

      1. נכנסים לדף Ray במסוף Google Cloud .

        מעבר אל Ray

      2. חשוב לוודא שאתם נמצאים בפרויקט שבו אתם רוצים ליצור את הניסוי.
        Agent Platform select project
      3. מתחת לשם מופיעה רשימה של מזהי אשכולות.
      בחירת מדד
    3. בוחרים את שיטת הצבירה כדי לראות את המדדים. כלומר, אתם יכולים לבחור להציג מדדים לא מצטברים, שבהם מוצג ניצול המעבד של כל תהליך Ray:
      מדדים לא מצטברים

מרכז הבקרה של GCM

כדי לייבא לוח בקרה של Grafana ל-Ray ב-Agent Platform, פועלים לפי ההנחיות במאמר בנושא לוח בקרה של Cloud Monitoring, ייבוא לוח בקרה משלכם של Grafana.

לוח הבקרה למעקב

כל מה שצריך הוא קובץ JSON של לוח בקרה ב-Grafana. ‫OSS Ray תומך בהגדרה ידנית באמצעות קובץ ה-JSON של לוח הבקרה של Grafana שמוגדר כברירת מחדל.

מעקב אחרי מדדים

מ-Grafana בבעלות המשתמש

אם כבר מופעל שרת Grafana, אפשר גם לייצא את כל מדדי Prometheus של אשכול Ray בפלטפורמת הסוכנים של Gemini Enterprise לשרת Grafana הקיים. כדי לעשות את זה, פועלים לפי ההנחיות בנושא שאילתות ב-GMP באמצעות Grafana. כך תוכלו להוסיף מקור נתונים חדש של Grafana לשרת Grafana הקיים שלכם ולהשתמש בכלי לסנכרון מקורות נתונים כדי לסנכרן את מקור הנתונים החדש של Grafana Prometheus עם מדדים של Ray בפלטפורמת הסוכן.

חשוב להגדיר ולאמת את מקור הנתונים החדש של Grafana באמצעות הכלי לסנכרון מקורות נתונים. פועלים לפי השלבים שמפורטים במאמר בנושא הגדרה ואימות של מקור נתונים ב-Grafana.

אחרי הסנכרון, תוכלו ליצור ולהוסיף כל לוח בקרה שדרוש לכם על סמך המדדים של Ray on Agent Platform.

כברירת מחדל, אוספי המדדים של Ray ב-Agent Platform מופעלים. כך משביתים אותם באמצעות Agent Platform SDK for Python:

vertex_ray.create_ray_cluster(..., enable_metrics_collection=False, ...)

ניפוי באגים באשכולות Ray

כדי לנפות באגים באשכולות Ray, משתמשים במעטפת האינטראקטיבית של צומת הראש:

מסוף Google Cloud

כדי לגשת אל המעטפת האינטראקטיבית של צומת הראש:

  1. נכנסים לדף Ray on Agent Platform במסוף Google Cloud .
    מעבר אל Ray ב-Agent Platform
  2. חשוב לוודא שאתם בפרויקט הנכון.
    Agent Platform select project
  3. בוחרים את האשכול שרוצים לבדוק. יופיע הקטע מידע בסיסי.
  4. בקטע Access links (קישורי גישה), לוחצים על הקישור Head node interactive shell (מעטפת אינטראקטיבית של צומת ראשי). מופיעה המעטפת האינטראקטיבית של צומת הראש.
  5. פועלים לפי ההוראות שמפורטות במאמר בנושא מעקב אחר אימון וניפוי באגים באמצעות מעטפת אינטראקטיבית.

המאמרים הבאים