רישום אוטומטי של נתונים לניסוי

רישום אוטומטי הוא תכונה ב-Vertex AI SDK שרושמת באופן אוטומטי פרמטרים ומדדים מהרצות של אימון מודלים ב-Vertex AI Experiments. כך אפשר לחסוך זמן ומאמץ כי לא צריך לרשום את הנתונים האלה באופן ידני. הרישום האוטומטי ביומן תומך רק ברישום ביומן של פרמטרים ומדדים.

נתונים של רישום אוטומטי

יש שתי אפשרויות לרישום אוטומטי של נתונים ב-Vertex AI Experiments.

  1. לאפשר ל-Vertex AI SDK ליצור באופן אוטומטי משאבי ExperimentRun.
  2. מציינים את משאב ExperimentRun שאליו רוצים לכתוב פרמטרים ומדדים שנרשמים באופן אוטומטי.

נוצר באופן אוטומטי

‫Vertex AI SDK ל-Python מטפל ביצירת משאבי ExperimentRun בשבילכם. למשאבי ExperimentRun שנוצרו באופן אוטומטי יהיה שם הפעלה בפורמט הבא: {ml-framework-name}-{timestamp}-{uid}, לדוגמה: tensorflow-2023-01-04-16-09-20-86a88.

בדוגמה הבאה נעשה שימוש בשיטה init, מתוך aiplatform פונקציות של חבילת.

Python

from typing import Optional, Union

from google.cloud import aiplatform


def autologging_with_auto_run_creation_sample(
    experiment_name: str,
    project: str,
    location: str,
    experiment_tensorboard: Optional[Union[str, aiplatform.Tensorboard]] = None,
):
    aiplatform.init(
        experiment=experiment_name,
        project=project,
        location=location,
        experiment_tensorboard=experiment_tensorboard,
    )

    aiplatform.autolog()

    # Your model training code goes here

    aiplatform.autolog(disable=True)
  • ‫experiment_name: מציינים שם לניסוי. כדי לראות את רשימת הניסויים, בוחרים באפשרות Experiments בסרגל הניווט של הקטע במסוף Google Cloud .
  • ‫experiment_tensorboard: (אופציונלי) מציינים שם למופע של Vertex AI TensorBoard.
  • project: . אפשר למצוא את מזהי הפרויקטים האלה בדף welcome במסוף Google Cloud .
  • ‫location: ראו רשימה של מיקומים זמינים

בהגדרת משתמש

אתם יכולים לספק שמות משלכם ל-ExperimentRun ולרשום ביומן מדדים ופרמטרים מכמה הפעלות של אימון מודלים באותו ExperimentRun. כל המדדים מהמודל עד להרצת המודל הנוכחית שמוגדרת על ידי קריאה ל-aiplatform.start_run("your-run-name") עד שמתבצעת קריאה ל-aiplatform.end_run().

בדוגמה הבאה נעשה שימוש בשיטה init, מתוך aiplatform Package functions.

Python

from typing import Optional, Union

from google.cloud import aiplatform


def autologging_with_manual_run_creation_sample(
    experiment_name: str,
    run_name: str,
    project: str,
    location: str,
    experiment_tensorboard: Optional[Union[str, aiplatform.Tensorboard]] = None,
):
    aiplatform.init(
        experiment=experiment_name,
        project=project,
        location=location,
        experiment_tensorboard=experiment_tensorboard,
    )

    aiplatform.autolog()

    aiplatform.start_run(run=run_name)

    # Your model training code goes here

    aiplatform.end_run()

    aiplatform.autolog(disable=True)
  • ‫experiment_name: מציינים את שם הניסוי.
  • ‫run_name: מציינים שם להרצת הניסוי. רשימת הניסויים מופיעה במסוף Google Cloud אחרי שבוחרים באפשרות ניסויים בסרגל הניווט של הקטע.
  • project: . מזהי הפרויקטים האלה מופיעים בדף welcome במסוף Google Cloud .
  • ‫location: ראו רשימה של מיקומים זמינים
  • ‫experiment_tensorboard: (אופציונלי) מציינים שם למופע של Vertex AI TensorBoard.

הרישום האוטומטי ב-Vertex AI SDK משתמש ברישום האוטומטי של MLFlow בהטמעה שלו. כשמפעילים רישום אוטומטי ביומן, מדדי הערכה ופרמטרים מהמסגרות הבאות נרשמים ביומן של ExperimentRun:

  • Fastai
  • גלואון
  • Keras
  • LightGBM
  • ‫Pytorch Lightning
  • ‫Scikit-learn
  • Spark
  • Statsmodels
  • XGBoost

הצגת פרמטרים ומדדים שנרשמים אוטומטית ביומן

אפשר להשתמש ב-Vertex AI SDK ל-Python כדי להשוות בין הרצות ולקבל נתונים על הרצות. בGoogle Cloud מסוף קל להשוות בין ההרצות האלה.

דוגמה רלוונטית ל-notebook

פוסט בבלוג