מעקב אחרי כיתות

ה-SDK של Agent Platform ל-Python כולל מחלקות שעוזרות ביצירת תצוגה חזותית, במדידות ובמעקב. אפשר לחלק את הכיתות האלה לשלושה סוגים:

  • מחלקות שמשתמשות במטא-נתונים כדי לעקוב אחרי משאבים בתהליך העבודה של למידת מכונה (ML)
  • מחלקות שמשמשות לניסויים ב-Agent Platform
  • Classes that are used for a Agent Platform Vertex AI TensorBoard

בנושאים הבאים מופיע סקירה כללית של המחלקות שקשורות למעקב ולניטור של תהליך עבודה של ML ב-Agent Platform SDK ל-Python.

מחלקות של מטא-נתונים

אתם יכולים להשתמש ב-Agent Platform SDK for Python כדי ליצור מטא-נתונים של ML בפלטפורמת Gemini Enterprise Agent Platform, שיעזרו לכם לעקוב אחרי המטא-נתונים בתהליך העבודה של ה-ML ולנתח אותם. מידע נוסף זמין במאמר מבוא למטא-נתונים של Gemini Enterprise Agent Platform ML.

Artifact {: id="artifact-class"}

המחלקות Artifact מייצגות את המטא-נתונים בארטיפקט ב-Gemini Enterprise Agent Platform. ארטיפקט הוא ישות נפרדת או חלק נתונים שנוצר על ידי תהליך עבודה של למידת מכונה. דוגמאות לארטיפקטים: מערך נתונים, מודל וקובץ קלט. מידע נוסף זמין במאמר בנושא מעקב אחר הפעלות וארטיפקטים.

כשיוצרים משאב Artifact, צריך לציין את הסכימה שלו. לכל סוג של ארטיפקט יש סכימה ייחודית. לדוגמה, סכימת system.Dataset מייצגת מערך נתונים וסכימת system.Metrics מייצגת מדדי הערכה. מידע נוסף מופיע במאמר בנושא איך משתמשים בסכימות מערכת.

בדוגמת הקוד הבאה אפשר לראות איך ליצור משאב Artifact שמייצג מודל:

model_artifact = aiplatform.Artifact.create(
        schema_title="system.Model",
        display_name=PREPROCESSED_DATASET_NAME,
        uri=PREPROCESSED_DATASET_URI,
)

Execution

הסיווג Execution מייצג את המטא-נתונים בהרצה ב-Gemini Enterprise Agent Platform. ביצוע הוא שלב בתהליך עבודה של למידת מכונה. דוגמאות לביצוע הן עיבוד נתונים, אימון והערכת מודל. הפעלה יכולה לצרוך ארטיפקטים, כמו מערך נתונים, וליצור ארטיפקט, כמו מודל.

משתמשים ב-‎ aiplatform.start_execution כדי ליצור משאב Execution. אחרי שיוצרים משאב Execution, משתמשים באותה שיטה aiplatform.start_execution עם הפרמטר resume שמוגדר לערך True כדי להפעיל אותו מחדש.

בדוגמת קוד לדוגמה הבאה אפשר לראות איך יוצרים משאב Execution:

with aiplatform.start_execution(schema_title='system.ContainerExecution',
                                display_name='trainer') as execution:
    execution.assign_input_artifacts([my_artifact])
    model = aiplatform.Artifact.create(uri='gs://my-uri', schema_title='system.Model')
    execution.assign_output_artifacts([model])

Vertex AI Experiments classes

אתם יכולים להשתמש ב-Agent Platform SDK for Python כדי ליצור ולהריץ ניסויים ב-Agent Platform. אפשר להשתמש בניסויים בפלטפורמת הסוכנים כדי לעקוב אחרי מדדים ופרמטרים שנרשמו ביומן, וכך לנתח את תהליך העבודה של למידת המכונה ולבצע בו אופטימיזציה. מידע נוסף זמין במאמר מבוא לניסויים בפלטפורמת הסוכנים.

כדי לקבל מידע נוסף על השימוש במחלקות Experiment ו-ExperimentRun, אפשר לנסות את אחד ממדריכי הווידאו הבאים:

Experiment

המחלקות Experiment מייצגות ניסוי ב-Gemini Enterprise Agent Platform. אפשר להשתמש בניסוי כדי לנתח את הפעלות הניסוי והפעלות צינור הנתונים עם הגדרות שונות, כמו כמה פריטי קלט ופרמטרים היפר.

יש שתי דרכים ליצור משאב Experiment:

  1. הדרך המומלצת ליצור Experiment היא לציין שם לניסוי כפרמטר כשקוראים ל-aiplatform.init:

    # In a real world scenario it's likely you would specify more parameters
# when you call aiplatform.init. This sample shows only how to use the
# parameter used to create an Experiment.

# Specify a name for the experiment
EXPERIMENT_NAME = "your-experiment-name"

# Create the experiment
aiplatform.init(experiment=EXPERIMENT_NAME)

  2. אפשר גם ליצור Experiment באמצעות שיחה למספר aiplatform.Experiment.create. ‫aiplatform.Experiment.create יוצר את המשאב Experiment אבל לא מגדיר אותו כסביבה גלובלית. לכן אי אפשר להריץ את הניסוי עם aiplatform.start_run. בדוגמת הקוד הבאה אפשר לראות איך משתמשים ב-aiplatform.Experiment.create כדי ליצור ניסוי ואז להריץ אותו:

    # Specify a name for the experiment
EXPERIMENT_NAME = "your-experiment-name"
EXPERIMENT_RUN_NAME = "your-run"

# Create the experiment
experiment = aiplatform.Experiment.create(experiment_name=EXPERIMENT_NAME)
experiment_run = aiplatform.ExperimentRun.create(EXPERIMENT_RUN_NAME, experiment=EXPERIMENT_NAME)

ExperimentRun

המחלקה ExperimentRun מייצגת הרצה של ניסוי.

בדוגמת קוד לדוגמה הבאה אפשר לראות איך ליצור ולהתחיל הרצה של ניסוי, ואז להשתמש בה כדי לקבל מידע על הניסוי. כדי למחוק את הרצת הניסוי, צריך לקבל הפניה למופע ExperimentRun ולהפעיל את השיטה delete.

# Specify your project name, location, experiment name, and run name
PROJECT_NAME = "my-project"
LOCATION = "us-central1"
EXPERIMENT_NAME = "experiment-1"
RUN_NAME = "run-1"

# Create the experiment to run
aiplatform.init(experiment=EXPERIMENT_NAME,
                project=PROJECT_NAME,
                location=LOCATION)

# Create and run an ExperimentRun resource. Next, you can use it to get
# information about your experiment. For example, you can log parameters and
# metrics with specified key-value pairs.
with aiplatform.start_run(RUN_NAME):
     aiplatform.log_params({'learning_rate': 0.1, 'dropout_rate': 0.2})
     aiplatform.log_metrics({'accuracy': 0.9, 'recall': 0.8})

# Get a reference to the ExperimentRun resource, get the parameters logged to
# the run, get the summary metrics logged to the run, then delete it.
with aiplatform.start_run(RUN_NAME, resume=True) as run:
     run.get_params()
     run.get_metrics()
     run.delete()

Vertex AI TensorBoard classes

‫Agent Platform SDK ל-Python כולל מחלקות לעבודה עם גרסה מנוהלת של Vertex AI TensorBoard בקוד פתוח. ‫Vertex AI TensorBoard הוא כלי שמשמש למעקב אחרי מדידות והמחשות חזותיות במהלך תהליך העבודה של למידת מכונה. מידע נוסף זמין במאמר תחילת העבודה עם Vertex AI TensorBoard.

כדי לקבל מידע נוסף על שימוש ב-Agent Platform SDK ל-Python לעבודה עם Vertex AI TensorBoard, אפשר לנסות אחד מהמדריכים הבאים ל-Notebook:

Tensorboard

המחלקות Tensorboard מייצגות משאב מנוהל שמאחסן ניסויים של Vertex AI TensorBoard. כדי להציג את הניסויים, צריך קודם ליצור מופע של Tensorboard. אפשר ליצור יותר ממופע אחד של Tensorboard בפרויקט Google Cloud .

בדוגמת הקוד הבאה אפשר לראות איך יוצרים מופע של Tensorboard:

# Specify your project name, location, and the name of your Tensorboard
PROJECT_NAME = "my-project"
LOCATION = "us-central1"
TENSORBOARD_NAME = "my-tensorboard"

aiplatform.init(project=PROJECT_NAME, location=LOCATION)

tensorboard = aiplatform.Tensorboard.create(
    display_name=TENSORBOARD_NAME,
    project=PROJECT_NAME,
    location=LOCATION,
)

TensorboardExperiment

‫TensorboardExperiment מייצג קבוצה של אובייקטים מסוג TensorboardRun. מופע של TensorboardRun מייצג את התוצאות של הרצת משימת אימון ב-Tensorboard.

TensorboardRun

מופע של המחלקה TensorboardRun ממופה להרצת משימת אימון ב-Tensorboard עם קבוצה מוגדרת של היפר-פרמטרים, הגדרת מודל, מערך נתונים ועוד.

TensorboardTimeSeries

הסיווג TensorboardTimeSeries מייצג סדרה שנוצרה בהרצות אימון.

המאמרים הבאים