השוואה וניתוח של ריצות

אתם יכולים להשתמש ב-Agent Platform SDK ל-Python כדי לראות את נתוני ההרצות של Vertex AI Experiments ולהשוות בין ההרצות.

• קבלת נתוני ריצות
• השוואה בין ריצות

Google Cloud במסוף מוצגת הדמיה של הנתונים שמשויכים להרצות האלה.

• איך רואים את נתוני הניסוי
• השוואה בין הרצות של ניסויים

קבלת נתונים של הרצות ניסויים

הדגימות האלה כוללות מדדי הפעלה, פרמטרים של הפעלה, מדדים של סדרות זמן של זמן ריצה, ארטיפקטים ומדדי סיווג של הפעלה מסוימת של ניסוי.

מדדי סיכום

Python

from typing import Dict, Union

from google.cloud import aiplatform


def get_experiment_run_metrics_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> Dict[str, Union[float, int]]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_metrics()

• ‫run_name: מציינים את השם המתאים של הריצה עבור הסשן הזה.
• ‫experiment: השם או המופע של הניסוי. כדי לראות את רשימת הניסויים, בוחרים באפשרות Experiments בסרגל הניווט של הקטע במסוף Google Cloud .
• project: . אפשר למצוא אותם בדף welcome במסוף Google Cloud .
• ‫location: ראו רשימה של מיקומים זמינים.

פרמטרים

Python

from typing import Dict, Union

from google.cloud import aiplatform


def get_experiment_run_params_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> Dict[str, Union[float, int, str]]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_params()

• ‫run_name: מציינים את השם המתאים של הריצה עבור הסשן הזה.
• ‫experiment: השם או המופע של הניסוי. כדי לראות את רשימת הניסויים, בוחרים באפשרות Experiments בסרגל הניווט של הקטע במסוף Google Cloud .
• project: . אפשר למצוא אותם בדף welcome במסוף Google Cloud .
• ‫location: ראו רשימה של מיקומים זמינים.

מדדים של פעולות על ציר הזמן

Python

from typing import Union

from google.cloud import aiplatform


def get_experiment_run_time_series_metric_data_frame_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> "pd.DataFrame":  # noqa: F821
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_time_series_data_frame()

• ‫run_name: מציינים את השם המתאים של הריצה עבור הסשן הזה.
• ‫experiment: השם או המופע של הניסוי. כדי לראות את רשימת הניסויים, בוחרים באפשרות Experiments בסרגל הניווט של הקטע במסוף Google Cloud .
• project: . אפשר למצוא אותם בדף welcome במסוף Google Cloud .
• ‫location: ראו רשימה של מיקומים זמינים.

ממצא

Python

from typing import List, Union

from google.cloud import aiplatform
from google.cloud.aiplatform.metadata import artifact


def get_experiment_run_artifacts_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> List[artifact.Artifact]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name,
        experiment=experiment,
        project=project,
        location=location,
    )

    return experiment_run.get_artifacts()

• ‫run_name: מציינים את השם המתאים של הריצה עבור הסשן הזה.
• ‫experiment: השם או המופע של הניסוי. כדי לראות את רשימת הניסויים, בוחרים באפשרות Experiments בסרגל הניווט של הקטע במסוף Google Cloud .
• project: . אפשר למצוא אותם בדף welcome במסוף Google Cloud .
• ‫location: ראו רשימה של מיקומים זמינים.

מדדי סיווג

Python

from typing import Dict, List, Union

from google.cloud import aiplatform


def get_experiment_run_classification_metrics_sample(
    run_name: str,
    experiment: Union[str, aiplatform.Experiment],
    project: str,
    location: str,
) -> List[Dict[str, Union[str, List]]]:
    experiment_run = aiplatform.ExperimentRun(
        run_name=run_name, experiment=experiment, project=project, location=location
    )

    return experiment_run.get_classification_metrics()

• ‫run_name: מציינים את השם המתאים של הריצה עבור הסשן הזה.
• ‫experiment: השם או המופע של הניסוי. כדי לראות את רשימת הניסויים, בוחרים באפשרות Experiments בסרגל הניווט של הקטע במסוף Google Cloud .
• project: . אפשר למצוא אותם בדף welcome במסוף Google Cloud .
• ‫location: ראו רשימה של מיקומים זמינים.

השוואה בין הרצות

באמצעות Agent Platform SDK for Python, אפשר לאחזר את הנתונים שמשויכים לניסוי. הנתונים של הרצות הניסוי מוחזרים ב-DataFrame.

השוואה בין הרצות

הנתונים של הרצות הניסוי מוחזרים ב-DataFrame.

Python

from google.cloud import aiplatform


def get_experiments_data_frame_sample(
    experiment: str,
    project: str,
    location: str,
):
    aiplatform.init(experiment=experiment, project=project, location=location)

    experiments_df = aiplatform.get_experiment_df()

    return experiments_df

• ‫experiment_name: מציינים שם לניסוי. רשימת הניסויים מופיעה במסוף Google Cloud אחרי שבוחרים באפשרות Experiments (ניסויים) בסרגל הניווט.
• project: . אפשר למצוא את המזהים האלה בדף welcome במסוף Google Cloud .
• ‫location: ראו רשימה של מיקומים זמינים.

מסוףGoogle Cloud

אפשר להשתמש במסוף Google Cloud כדי לראות את הפרטים של הפעלות הניסוי ולהשוות בין הפעלות הניסוי.

צפייה בנתוני הרצת הניסוי

1. נכנסים לדף Experiments במסוף Google Cloud .
   מעבר לדף 'ניסויים'
   מופיעה רשימה של ניסויים שמשויכים לפרויקט.
2. בוחרים את הניסוי שמכיל את ההרצה שרוצים לבדוק.
   מוצגת רשימה של הרצות, תרשימים של נתוני סדרות זמן וטבלה של נתוני מדדים ופרמטרים. שימו לב, במקרה הזה, נבחרו שלוש הרצות, אבל רק שני קווים מופיעים בתרשימי הנתונים של סדרת הזמן. אין שורה שלישית כי לניסוי השלישי אין נתוני סדרות עיתיות להצגה.
   
   
3. לוחצים על שם ההרצה כדי לעבור לדף הפרטים שלה.
   
   יופיעו סרגל הניווט ותרשימי נתונים של סדרות זמן.
   
4. כדי לראות את המדדים, הפרמטרים, הארטיפקטים והפרטים של הריצה שנבחרה, לוחצים על הלחצנים המתאימים בסרגל הניווט.
   • מדדים
     
   • פרמטרים
     
   • פריטי מידע
     
     כדי לראות את שושלת הנתונים של פריט מידע, לוחצים על הקישור Open artifact in Metadata Store (פתיחת פריט המידע במאגר המטא-נתונים). יוצג תרשים שושלת הנתונים שמשויך להרצה.
     
   • פרטים
     

כדי לשתף את הנתונים עם אחרים, משתמשים בכתובות ה-URL שמשויכות לתצוגות. לדוגמה, כדי לשתף את רשימת ההרצות של ניסוי מסוים:

השוואה בין הרצות של ניסויים

אפשר לבחור ריצות כדי להשוות בין ניסויים שונים וגם בין ריצות שונות באותו ניסוי.

1. נכנסים לדף Experiments במסוף Google Cloud .
   מעבר לדף 'ניסויים'
   תופיע רשימה של ניסויים.
2. בוחרים את הניסוי שמכיל את ההרצות שרוצים להשוות. תוצג רשימה של הפעלות.
3. בוחרים את הריצות של הניסוי שרוצים להשוות. לוחצים על השוואה.
   
   כברירת מחדל, התרשימים מציגים השוואה בין מדדי סדרות הזמנים של הרצות הניסוי שנבחרו.
4. כדי להוסיף עוד הרצות מכל ניסוי בפרויקט, לוחצים על הוספת הרצה.

כדי לשתף את הנתונים עם אחרים, משתמשים בכתובות ה-URL שמשויכות לתצוגות. לדוגמה, שיתוף תצוגת ההשוואה של נתוני מדדים של סדרות זמן:

במאמר יצירה וניהול של הרצות ניסויים מוסבר איך לעדכן את הסטטוס של הרצה.

המאמרים הבאים

• מעקב אחר הפעלות וארטיפקטים