הרצת משימת אימון עם מעקב אחר ניסויים

‫Gemini Enterprise Agent Platform מספקת שירות אימון מנוהל שמאפשר לכם להפעיל אימון של מודלים גדולים. אתם יכולים להפעיל מעקב אחרי ניסויים באמצעות Agent Platform SDK for Python כדי לתעד פרמטרים ומדדי ביצועים כששולחים את משימת האימון המותאמת אישית.

התכונה הזו לא זמינה כשאתם:

  • שליחת משימת אימון דרך Google Cloud המסוף או Google Cloud CLI,
  • להשתמש ב-TPU במשימת האימון,
  • להשתמש באימון מבוזר במשימת האימון.

יש תמיכה במאגרי תגים מוכנים מראש להדרכה וגם במאגרי תגים בהתאמה אישית. נדרש: מותקנת גרסה של Agent Platform SDK ל-Python שגבוהה מ-1.24.1 עבור google-cloud-aiplatform. אם אתם מתאמנים באמצעות TensorFlow, ודאו שמותקנת גרסת protobuf ישנה יותר מ-4.0 כדי למנוע התנגשויות.

יש שתי אפשרויות לרישום נתונים ב-Vertex AI Experiments: רישום אוטומטי ורישום ידני.

מומלץ להשתמש ברישום אוטומטי ביומן אם אתם משתמשים באחת מהמסגרות הנתמכות האלה: Fastai, ‏ Gluon, ‏ Keras, ‏ LightGBM, ‏ Pytorch Lightning, ‏ Scikit-learn, ‏ Spark, Statsmodels, ‏ XGBoost. אם המסגרת שלכם לא נתמכת, או אם יש מדדים מותאמים אישית שאתם רוצים לרשום ביומן של הרצת הניסוי, אתם יכולים להתאים ידנית את סקריפט האימון כדי לרשום פרמטרים, מדדים וארטיפקטים ביומן.

נתוני AutoLog

כדי להפעיל את הכניסה האוטומטית, פשוט מגדירים את enable_autolog=True, כמו שמוסבר במאמר from_local_script. יש לכם אפשרות ליצור הרצת ניסוי או לא. אם לא מציינים שם לניסוי, המערכת יוצרת שם בשבילכם.

ה-SDK של Agent Platform ל-Python מטפל ביצירת משאבי ExperimentRun בשבילכם.

Python

def create_custom_job_with_experiment_autologging_sample(
    project: str,
    location: str,
    staging_bucket: str,
    display_name: str,
    script_path: str,
    container_uri: str,
    service_account: str,
    experiment: str,
    experiment_run: Optional[str] = None,
) -> None:
    aiplatform.init(project=project, location=location, staging_bucket=staging_bucket, experiment=experiment)

    job = aiplatform.CustomJob.from_local_script(
        display_name=display_name,
        script_path=script_path,
        container_uri=container_uri,
        enable_autolog=True,
    )

    job.run(
        service_account=service_account,
        experiment=experiment,
        experiment_run=experiment_run,
    )

רישום נתונים באופן ידני

משתמשים באפשרות 'רישום נתונים באופן ידני' כדי לשלב את סקריפט האימון.

כך משנים את סקריפט האימון:

import os
import pickle
import pandas as pd
from sklearn.linear_model import LinearRegression
# To use manual logging APIs, import aiplatform
from google.cloud import aiplatform

# Create Dataset
data = {'A': [1.1,2.2,4.1,5.2],
        'B': [200, 212.12, 22, 123],
        'Y': [1,0,1,0]}
df = pd.DataFrame(data)
X = df[['A', 'B']]
Y = df['Y']

# Train model
model = LinearRegression().fit(X, Y)

# Save the model to gcs
model_dir = os.getenv('AIP_MODEL_DIR')
model_gcs = model_dir.replace('gs://', '/gcs/')
model_name = 'model.joblib'
os.mkdir(model_gcs)
f = open(os.path.join(model_gcs, model_name), 'wb')
pickle.dump(model, f)

f = open(os.path.join(model_gcs, model_name), 'wb')
    pickle.dump(model, f)

# Call aiplatform's logging APIs to save data to Vertex AI Experiments.
params = model.get_params()
aiplatform.log_params(params)
metrics = {"training_accuracy": model.score(X,Y)}
aiplatform.log_metrics(metrics)

אתם יכולים ליצור ניסוי או לא. אם לא מציינים שם לניסוי, המערכת יוצרת שם בשבילכם.

מידע נוסף על רישום נתונים באופן ידני בניסוי

Python

def create_custom_job_with_experiment_sample(
    project: str,
    location: str,
    staging_bucket: str,
    display_name: str,
    script_path: str,
    container_uri: str,
    service_account: str,
    experiment: str,
    experiment_run: Optional[str] = None,
) -> None:
    aiplatform.init(
        project=project,
        location=location,
        staging_bucket=staging_bucket,
        experiment=experiment
    )

    job = aiplatform.CustomJob.from_local_script(
        display_name=display_name,
        script_path=script_path,
        container_uri=container_uri,
    )

    job.run(
        service_account=service_account,
        experiment=experiment,
        experiment_run=experiment_run,
    )
  • project: . אפשר למצוא את מזהי הפרויקטים האלה בדף welcome במסוף Google Cloud .
  • ‫location: ראו רשימה של מיקומים זמינים
  • ‫staging_bucket: השם שנתתם לקטגוריה, למשל my_bucket.
  • ‫display_name: השם שהוגדר על ידי המשתמש של CustomJob.
  • ‫script_path: הנתיב, ביחס לספריית העבודה במערכת הקבצים המקומית, לסקריפט שמשמש כנקודת הכניסה לקוד האימון.
  • ‫container_uri: ה-URI של קובץ האימג' של קונטיינר האימון יכול להיות קונטיינר אימון מוכן מראש של Gemini Enterprise Agent Platform או קונטיינר בהתאמה אישית. אם אתם משתמשים במאגר תגים בהתאמה אישית, ודאו שgoogle-cloud-aiplatform>=1.24.0 מותקן.
  • ‫service_account: ראו יצירת חשבון שירות עם ההרשאות הנדרשות.
  • ‫experiment: מציינים שם לניסוי. כדי לראות את רשימת הניסויים, בוחרים באפשרות Experiments בסרגל הניווט של הקטע במסוף Google Cloud .
  • ‫experiment_run: מציינים שם להרצה. אם לא מציינים, המערכת תיצור ריצה באופן אוטומטי.

הצגת פרמטרים ומדדים שנרשמים אוטומטית ביומן

אפשר להשתמש ב-Agent Platform SDK for Python כדי להשוות בין הרצות ולקבל נתונים על הרצות. בGoogle Cloud מסוף קל להשוות בין ההרצות האלה.

המאמרים הבאים

דוגמה רלוונטית ל-notebook