הוספת הרצת צינור לניסוי

אפשר להשתמש במסוף Google Cloud או ב-Agent Platform SDK ל-Python כדי להוסיף הרצת צינור לפרויקט ניסוי או להרצת ניסוי.

מסוףGoogle Cloud

כדי להריץ צינור ML ולקשר אותו לניסוי, ואופציונלית להרצת ניסוי, באמצעות מסוף Google Cloud , פועלים לפי ההוראות הבאות. אפשר ליצור ניסויים רק באמצעות Agent Platform SDK for Python (ראו יצירה וניהול של ניסויים).
  1. במסוף Google Cloud , בקטע Agent Platform, עוברים לדף Pipelines.
    מעבר אל Pipelines
  2. בתפריט הנפתח אזור, בוחרים את האזור שבו רוצים ליצור הפעלה של צינור.
  3. לוחצים על Create run כדי לפתוח את החלונית Create pipeline run.
  4. מציינים את הפרטים הבאים של הפעלה.
    • בשדה File (קובץ), לוחצים על Choose (בחירה) כדי לפתוח את בורר הקבצים. עוברים אל קובץ ה-JSON של צינור העברת הנתונים שרוצים להפעיל, בוחרים את צינור העברת הנתונים ולוחצים על פתיחה.
    • שם צינור הנתונים מוגדר כברירת מחדל לשם שציינתם בהגדרת צינור הנתונים. אפשר גם לציין שם צינור אחר.
    • מציינים שם הפעלה כדי לזהות באופן ייחודי את ההפעלה של צינור העברת הנתונים.
  5. כדי לציין שהרצת צינור עיבוד הנתונים הזו משתמשת בחשבון שירות בהתאמה אישית, במפתח הצפנה בניהול הלקוח או ברשת VPC עם שירותי Peering, לוחצים על אפשרויות מתקדמות (אופציונלי).
    כדי להגדיר אפשרויות מתקדמות כמו חשבון שירות מותאם אישית, צריך לפעול לפי ההוראות הבאות.
    • כדי לציין חשבון שירות, בוחרים חשבון שירות מהתפריט הנפתח Service account.
      אם לא מציינים חשבון שירות, Agent Platform Pipelines מריץ את הצינור באמצעות חשבון השירות שמוגדר כברירת מחדל ב-Compute Engine.
      מידע נוסף על הגדרת חשבון שירות לשימוש עם Agent Platform Pipelines
    • כדי להשתמש במפתח הצפנה בניהול הלקוח (CMEK), בוחרים באפשרות Use a customer-managed encryption key. מופיעה הרשימה הנפתחת בחירת מפתח בניהול הלקוח. ברשימה הנפתחת Select a customer-managed key, בוחרים את המפתח שרוצים להשתמש בו.
    • כדי להשתמש ברשת VPC מקושרת בהרצת צינור העיבוד הזה, מזינים את השם של רשת ה-VPC בתיבה Peered VPC network (רשת VPC מקושרת).
  6. לוחצים על Continue.
    מופיעה החלונית Cloud Storage וPipeline parameters.
    • חובה: מזינים את ספריית הפלט של Cloud Storage, לדוגמה: gs://location_of_directory.
    • אופציונלי: מציינים את הפרמטרים שרוצים להשתמש בהם בהרצת הצינור הזה.
  7. לוחצים על שליחה כדי ליצור את ההרצה של צינור העיבוד.
  8. אחרי ששולחים את צינור הנתונים, הוא מופיע בטבלה של מסוף Google Cloud צינור הנתונים.
  9. בשורה שמשויכת לצינור, לוחצים על  הצגת אפשרויות נוספות > הוספה לניסוי
    • בוחרים ניסוי קיים או יוצרים ניסוי חדש.
    • אופציונלי: אם יש הפעלות של ניסוי שמשויכות לניסוי, הן יופיעו בתפריט הנפתח. בוחרים ניסוי קיים.
  10. לוחצים על Save.

השוואה בין הרצה של צינור עיבוד נתונים לבין הרצות של ניסויים באמצעות מסוף Google Cloud

  1. נכנסים לדף Experiments במסוף Google Cloud .
    מעבר לדף 'ניסויים'
    רשימת הניסויים מופיעה בדף ניסויים.
  2. בוחרים את הניסוי שאליו רוצים להוסיף את ההרצה של הצינור.
    תופיע רשימה של הפעלות.
  3. בוחרים את הריצות שרוצים להשוות ולוחצים על השוואה
    .
  4. לוחצים על הלחצן הוספת הפעלה. תוצג רשימה של הפעלות.
  5. בוחרים את הפעלת הצינור שרוצים להוסיף. הריצה נוספת.

‫Agent Platform SDK for Python {:#sdk-add-pipeline-run}

בדוגמאות הבאות נעשה שימוש ב-API של PipelineJob.

שיוך של הפעלת צינור עיבוד נתונים לניסוי

בדוגמה הזו מוסבר איך לשייך הרצת צינור לעיבוד נתונים לניסוי. אם רוצים להשוות בין הרצות של צינורות, צריך לשייך את ההרצות של צינורות לניסוי. מידע נוסף מופיע במאמר init במאמרי העזרה של Agent Platform SDK for Python.

Python

from typing import Any, Dict, Optional

from google.cloud import aiplatform


def log_pipeline_job_to_experiment_sample(
    experiment_name: str,
    pipeline_job_display_name: str,
    template_path: str,
    pipeline_root: str,
    project: str,
    location: str,
    parameter_values: Optional[Dict[str, Any]] = None,
):
    aiplatform.init(project=project, location=location)

    pipeline_job = aiplatform.PipelineJob(
        display_name=pipeline_job_display_name,
        template_path=template_path,
        pipeline_root=pipeline_root,
        parameter_values=parameter_values,
    )

    pipeline_job.submit(experiment=experiment_name)
  • ‫experiment_name: מציינים שם לניסוי. כדי לראות את רשימת הניסויים, בוחרים באפשרות Experiments בסרגל הניווט של הקטע במסוף Google Cloud .
  • ‫pipeline_job_display_name: השם שהמשתמש הגדיר לפייפליין הזה.
  • ‫template_path: הנתיב של קובץ JSON או YAML של PipelineJob או PipelineSpec. זה יכול להיות נתיב מקומי או URI של Cloud Storage. דוגמה: "gs://project.name"
  • ‫pipeline_root: שורש הפלט של צינור עיבוד הנתונים. ברירת המחדל היא קטגוריית staging.
  • parameter_values: המיפוי משמות של פרמטרים בזמן ריצה לערכים שלהם ששולטים בהרצת צינור הנתונים.
  • project: . אפשר למצוא את המזהים האלה בדף welcome במסוף Google Cloud .
  • ‫location: ראו רשימה של מיקומים זמינים.

שיוך של הפעלת צינור להפעלת ניסוי

הדוגמה שסופקה כוללת שיוך של הפעלת צינור להפעלת ניסוי.

תרחישים לדוגמה:

  • כשמבצעים אימון של מודל מקומי ואז מריצים הערכה של המודל הזה (ההערכה מתבצעת באמצעות צינור). במקרה כזה, כדאי לכתוב את מדדי ההערכה מהרצת צינור הנתונים אל ExperimentRun
  • כשמריצים מחדש את אותו צינור כמה פעמים. לדוגמה, אם משנים את פרמטרים של הקלט או אם רכיב אחד נכשל וצריך להפעיל אותו מחדש.

כשמשייכים הרצת צינור להרצת ניסוי, הפרמטרים והמדדים לא מוצגים באופן אוטומטי וצריך לרשום אותם ידנית באמצעות ממשקי ה-API לרישום ביומן.

הערה: אם הפרמטר האופציונלי resume מצוין כ-TRUE, ההפעלה שהתחילה קודם תתחדש. אם לא מציינים ערך, resume מוגדר כברירת מחדל ל-FALSE ונוצרת הרצה חדשה.

מידע נוסף מופיע בinit,‏ start_run וlog במסמכי העזר של Agent Platform SDK ל-Python.

Python

from google.cloud import aiplatform


def log_pipeline_job_sample(
    experiment_name: str,
    run_name: str,
    pipeline_job: aiplatform.PipelineJob,
    project: str,
    location: str,
):
    aiplatform.init(experiment=experiment_name, project=project, location=location)

    aiplatform.start_run(run=run_name, resume=True)

    aiplatform.log(pipeline_job=pipeline_job)
  • ‫experiment_name: מציינים שם לניסוי. כדי לראות את רשימת הניסויים, בוחרים באפשרות Experiments בסרגל הניווט של הקטע במסוף Google Cloud .
  • ‫run_name: מציינים שם להרצה.
  • ‫pipeline_job: Agent Platform PipelineJob
  • project: . אפשר למצוא אותם בדף welcome במסוף Google Cloud .
  • ‫location: ראו רשימה של מיקומים זמינים

הצגת רשימה של הפעלות צינור עיבוד הנתונים במסוף Google Cloud

  1. במסוף Google Cloud , בקטע Agent Platform, עוברים לדף Pipelines.

    כניסה לדף Pipelines

  2. חשוב לוודא שאתם נמצאים בפרויקט הנכון.

  3. רשימה של ניסויים והרצות שמשויכים להרצות של צינור הנתונים של הפרויקט מופיעה בעמודות Experiment ו-Experiment run, בהתאמה.

Agent PlatformList of experiments

Codelab

המאמרים הבאים

דוגמה רלוונטית ל-notebook