הפעלת צינור עיבוד נתונים

בעזרת Agent Platform Pipelines אפשר להריץ צינורות עיבוד נתונים של למידת מכונה (ML) שנוצרו באמצעות Kubeflow Pipelines SDK או TensorFlow Extended, בלי שרת (serverless). במאמר הזה מוסבר איך להריץ פייפליין של ML.

אפשר גם ליצור הרצות של צינורות עיבוד נתונים באמצעות תבניות מוכנות מראש בגלריית התבניות. מידע נוסף על גלריית התבניות זמין במאמר שימוש בתבנית מוכנה מראש מגלריית התבניות.

אתם יכולים להשתמש בניסויים ב-Gemini Enterprise Agent Platform כדי לעקוב אחרי הרצות של צינורות עיבוד נתונים, לנתח ולהשוות ביניהן, על ידי שיוך של הרצות צינורות עיבוד הנתונים לניסוי או להרצה של ניסוי. השוואה בין הפרמטרים, הפלט והמדדים לבדיקת הביצועים של הרצות צינור עיבוד הנתונים מאפשרת לזהות את הגדרת צינור עיבוד הנתונים שהכי מתאימה לתרחיש לדוגמה שלכם. מידע נוסף זמין במאמר מבוא לניסויים ב-Gemini Enterprise Agent Platform.

לפני שמתחילים

לפני שמריצים צינור עיבוד נתונים באמצעות Agent Platform Pipelines, צריך להגדיר את הפרויקט וסביבת הפיתוח ב-Google Cloud :

  1. פיתוח צינור עיבוד נתונים

  2. כדי להריץ צינור עיבוד נתונים באמצעות Agent Platform SDK ל-Python, צריך להתקין את Vertex SDK.

יצירת הרצה של צינור עיבוד נתונים

כדי להריץ פייפליין של ML באמצעות מסוף Google Cloud או Python, פועלים לפי ההוראות הבאות.

המסוף

כדי להריץ פייפליין של ML באמצעות מסוף Google Cloud , פועלים לפי ההוראות הבאות.

  1. במסוף Google Cloud , בקטע Agent Platform, נכנסים לדף Pipelines.

    כניסה לדף Pipelines

  2. ברשימה הנפתחת Region, בוחרים את האזור שבו רוצים ליצור את הרצת צינור עיבוד הנתונים.

  3. לוחצים על Create run כדי לפתוח את החלונית Create pipeline run.

  4. בקטע Run details:

    1. לוחצים על מקור הריצה. אלה האפשרויות הזמינות:

      • בחירה מתוך צינורות עיבוד נתונים קיימים: כדי ליצור הרצה של צינור עיבוד נתונים על סמך תבנית קיימת של צינור עיבוד נתונים, לוחצים על בחירה מתוך צינורות עיבוד נתונים קיימים ומזינים את הפרטים הבאים:

        1. בוחרים את המאגר שמכיל את קובץ ההגדרה של הרכיב או של צינור עיבוד הנתונים.

        2. בוחרים את Pipeline or component ואת Version.

        3. מציינים שם הרצה כדי לזהות באופן ייחודי את הרצת צינור עיבוד הנתונים.

      • בחירת צינור עיבוד נתונים מ-Template Gallery: כדי ליצור הרצה של צינור עיבוד נתונים שמבוססת על תבנית של צינור עיבוד נתונים שנוצרה על ידי Google מ-Template Gallery, לוחצים על Select a Template Gallery pipeline ומזינים את הפרטים הבאים:

        1. ברשימה Template Gallery pipeline, בוחרים את תבנית צינור עיבוד הנתונים.

        2. אופציונלי: משנים את ברירת המחדל של Run name שמזהה באופן ייחודי את הרצת צינור עיבוד הנתונים.

      • העלאת קובץ: כדי להעלות הגדרת צינור עיבוד נתונים שעברה הידור, לוחצים על העלאת קובץ ומזינים את הפרטים הבאים:

        1. לוחצים על עיון כדי לפתוח את בורר הקבצים. עוברים לקובץ ה-YAML של ה-pipeline המקומפל שרוצים להריץ, בוחרים את ה-pipeline ולוחצים על Open.

        2. כברירת מחדל, בשדה Pipeline or component name מופיע השם שצוין בהגדרת צינור עיבוד הנתונים. אם רוצים, אפשר לציין שם אחר לצינור עיבוד הנתונים.

        3. מציינים שם הרצה כדי לזהות באופן ייחודי את הרצת צינור עיבוד הנתונים.

      • ‫Import from Cloud Storage: כדי לייבא קובץ הגדרת צינור עיבוד נתונים מ-Cloud Storage, לוחצים על Import from Cloud Storage ומזינים את הפרטים הבאים:

        1. לוחצים על Browse כדי לעבור לקטגוריה של Cloud Storage שמכילה את אובייקט הגדרת צינור עיבוד הנתונים, בוחרים את הקובץ ולוחצים על Select.

          לחלופין, מזינים את ה-URI של Cloud Storage או את כתובת ה-URL מסוג HTTP/HTTPS של קובץ הגדרת הצינור.

        2. מציינים את שם הצינור או הרכיב.

        3. מציינים שם הרצה כדי לזהות באופן ייחודי את הרצת צינור עיבוד הנתונים.

  1. Optional: To schedule recurring pipeline runs, specify the **Run schedule**, as follows:

      1. Select **Recurring**.

      1. Under **Start time**, specify when the schedule becomes active.

          * To schedule the first run to occur immediately after schedule creation, select **Immediately**.

          * To schedule the first run to occur at a specific time and date, select **On**.

      1. In the **Frequency** field, specify the frequency to schedule and execute the
      pipeline runs, using a cron schedule expression based on
      [unix-cron](https://man7.org/linux/man-pages/man5/crontab.5.html).

      1. Under **Ends**, specify when the schedule ends.

          * To indicate that the schedule creates pipeline runs indefinitely, select **Never**.

          * To indicate that the schedule ends on a specific date and time, select **On**, and specify the end date and time for the schedule.

      1. Optional: To specify that the pipeline run uses a custom service account,
      Customer-managed encryption keys (CMEK), or a peered VPC network, click
      **Advanced options**, and then follow these instructions:

          *  To specify a service account, select a service account from the
            **Service account** drop-down list.

              If you don't specify a service account,
              Agent Platform Pipelines runs your pipeline using the default
              Compute Engine service account.

              Learn more about [configuring a service account for use with
              Agent Platform Pipelines](/gemini-enterprise-agent-platform/machine-learning/pipelines/configure-project#service-account).

          *  To use a CMEK, select **Use a customer-managed encryption key**. The **Select a customer-managed key** drop-down list appears. In the **Select a customer-managed key** drop-down list, select the key that you want to use.

          *  To use a peered VPC network in this pipeline run, enter the VPC
          network name in the **Peered VPC network** box.

  1. Click **Continue**.
  1. בקטע Runtime configuration, מגדירים את הרצת צינור עיבוד הנתונים:

    1. בקטע Cloud storage location, לוחצים על Browse כדי לבחור את הקטגוריה ב-Cloud Storage שבה יישמרו פריטי המידע שנוצרו בפלט של צינור עיבוד הנתונים, ואז לוחצים על Select.

    2. אופציונלי: כדי להגדיר את מדיניות הכשלים ואת המטמון להרצת צינור עיבוד הנתונים, לוחצים על Advanced options ופועלים לפי ההוראות הבאות:

      • בקטע Failure policy, מציינים את מדיניות הכשלים של כל הצינור. מידע נוסף על כללי מדיניות בנושא כשלים בצינור עיבוד נתונים

        • כדי להגדיר את צינור עיבוד הנתונים כך שימשיך לתזמן משימות אחרי שמשימה אחת נכשלת, בוחרים באפשרות Run all steps to completion. האפשרות הזו מסומנת כברירת מחדל.

        • כדי להגדיר שהצינור ייכשל אחרי שמשימה אחת נכשלת, בוחרים באפשרות Fail this run as soon as one step fails.

      • בקטע Caching configuration, מציינים את הגדרת המטמון לכל צינור עיבוד הנתונים.

        • כדי להשתמש בהגדרות המטמון ברמת המשימה בשביל משימה בצינור עיבוד הנתונים, בוחרים באפשרות Do not override task-level cache configuration.

        • כדי להפעיל את השמירה במטמון לכל המשימות בצינור עיבוד הנתונים ולבטל את הגדרות המטמון ברמת המשימה, בוחרים באפשרות Enable read from cache for all steps (fastest).

        • כדי להשבית את השמירה במטמון לכל המשימות בצינור עיבוד הנתונים ולבטל את כל הגדרות המטמון ברמת המשימה, בוחרים באפשרות Disable read from cache for all steps (fastest).

    3. אופציונלי: אם לצינור עיבוד הנתונים יש פרמטרים, מציינים את הפרמטרים של הרצת צינור עיבוד הנתונים בקטע Pipeline parameters.

  2. כדי ליצור את הרצת צינור עיבוד הנתונים, לוחצים על Submit.

Python

כדי להריץ פייפליין ML באמצעות Agent Platform SDK ל-Python, צריך לפעול לפי ההוראות הבאות. לפני שמריצים את דוגמת הקוד הבאה, צריך להגדיר אימות.

מגדירים אימות

כדי להגדיר אימות, צריך ליצור מפתח לחשבון שירות ולהגדיר משתנה סביבה לנתיב של המפתח לחשבון השירות.

  1. יוצרים חשבון שירות:

    1. במסוף Google Cloud , נכנסים לדף Create service account.

      כניסה לדף Create service account

    2. כותבים שם בשדה Service account name.
    3. אופציונלי: בשדה Service account description, כותבים תיאור.
    4. לוחצים על יצירה.
    5. לוחצים על השדה Select a role. בקטע All roles, בוחרים באפשרות Agent Platform User.
    6. לוחצים על Done כדי ליצור את חשבון השירות.

      חשוב לא לסגור את חלון הדפדפן. תצטרכו אותו בשלב הבא.

  2. יוצרים מפתח לחשבון השירות לצורך אימות:

    1. במסוף Google Cloud , לוחצים על כתובת האימייל של חשבון השירות שנוצר.
    2. לוחצים על Keys.
    3. לוחצים על Add key ואז על Create new key.
    4. לוחצים על Create. למחשב שלכם תתבצע הורדה של קובץ JSON עם המפתח.
    5. לוחצים על Close.
  3. נותנים לחשבון השירות החדש גישה לחשבון השירות שמשמש להפעלת צינורות עיבוד הנתונים.
    1. לוחצים על כדי לחזור לרשימת חשבונות השירות.
    2. לוחצים על השם של חשבון השירות שמשמש להרצת צינורות עיבוד הנתונים. מופיע הדף Service account details.

      אם פעלתם לפי ההוראות במדריך להגדרת הפרויקט ל-Gemini Enterprise Agent Platform Pipelines, זה אותו חשבון שירות שיצרתם בקטע הגדרת חשבון שירות עם הרשאות מפורטות. אחרת, Gemini Enterprise Agent Platform משתמשת בחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine כדי להריץ צינורות עיבוד נתונים. חשבון השירות שמוגדר כברירת מחדל ב-Compute Engine נקרא כך: PROJECT_NUMBER-compute@developer.gserviceaccount.com

    3. לוחצים על הכרטיסייה Permissions.
    4. לוחצים על הענקת גישה. מופיע החלונית Add principals.
    5. בתיבה New principals, מזינים את כתובת האימייל של חשבון השירות שיצרתם בשלב הקודם.
    6. ברשימה הנפתחת Role, בוחרים באפשרות Service accounts > Service account user.
    7. לוחצים על שמירה.
  4. מגדירים את משתנה הסביבה GOOGLE_APPLICATION_CREDENTIALS לנתיב של קובץ ה-JSON שמכיל את המַפְתח של חשבון השירות. המשתנה הזה חל רק על סשן המעטפת הנוכחי, כך שאם פותחים סשן חדש צריך להגדיר את המשתנה שוב.

    למשל: Linux או macOS

    מחליפים את [PATH] בנתיב של קובץ ה-JSON שמכיל את המַפְתח של חשבון השירות.

    export GOOGLE_APPLICATION_CREDENTIALS="[PATH]"

    לדוגמה:

    export GOOGLE_APPLICATION_CREDENTIALS="/home/user/Downloads/service-account-file.json"

    למשל: Windows

    מחליפים את [PATH] בנתיב של קובץ ה-JSON שמכיל את המַפְתח של חשבון השירות, ואת [FILE_NAME] בשם הקובץ.

    באמצעות PowerShell:

    $env:GOOGLE_APPLICATION_CREDENTIALS="[PATH]"

    לדוגמה:

    $env:GOOGLE_APPLICATION_CREDENTIALS="C:\Users\username\Downloads\[FILE_NAME].json"

    בשורת הפקודה:

    set GOOGLE_APPLICATION_CREDENTIALS=[PATH]

הפעלת צינור עיבוד נתונים

כדי להריץ את PipelineJob ב-Gemini Enterprise Agent Platform, צריך ליצור משאב PipelineJob ואז להפעיל את השיטה submit.

סוגי קלט מיוחדים שנתמכים ב-KFP

כשיוצרים הרצה של צינור עיבוד נתונים, אפשר גם להעביר את ה-placeholders הבאים שנתמכים על ידי KFP SDK כקלט:

  • {{$.pipeline_job_name_placeholder}}

  • {{$.pipeline_job_resource_name_placeholder}}

  • {{$.pipeline_job_id_placeholder}}

  • {{$.pipeline_task_name_placeholder}}

  • {{$.pipeline_task_id_placeholder}}

  • {{$.pipeline_job_create_time_utc_placeholder}}

  • {{$.pipeline_root_placeholder}}

מידע נוסף זמין בקטע סוגי קלט מיוחדים במאמרי העזרה של Kubeflow Pipelines גרסה 2.

from google.cloud import aiplatform
job = aiplatform.PipelineJob(display_name = DISPLAY_NAME,
                             template_path = COMPILED_PIPELINE_PATH,
                             job_id = JOB_ID,
                             pipeline_root = PIPELINE_ROOT_PATH,
                             parameter_values = PIPELINE_PARAMETERS,
                             enable_caching = ENABLE_CACHING,
                             encryption_spec_key_name = CMEK,
                             labels = LABELS,
                             credentials = CREDENTIALS,
                             project = PROJECT_ID,
                             location = LOCATION,
                             failure_policy = FAILURE_POLICY)
job.submit(service_account=SERVICE_ACCOUNT,
           network=NETWORK,
           reserved_ip_ranges=RESERVED_IP_RANGES)

מחליפים את מה שכתוב בשדות הבאים:

  • ‫DISPLAY_NAME: שם הצינור, שיופיע במסוף Google Cloud .
  • ‫COMPILED_PIPELINE_PATH: הנתיב לקובץ ה-YAML של ה-pipeline שעבר הידור. הוא יכול להיות URI של Cloud Storage, כתובת URL מסוג HTTP/HTTPS או נתיב מקומי.

    אופציונלי: כדי לציין גרסה מסוימת של צינור עיבוד נתונים שעבר הידור, מוסיפים את תג הגרסה באחד מהפורמטים הבאים:

    • ‫COMPILED_PIPELINE_PATH:TAG, כאשר TAG הוא תג הגרסה.

    • ‫COMPILED_PIPELINE_PATH@SHA256_TAG, כאשר SHA256_TAG הוא ערך ה-hash של sha256 בגרסת צינור עיבוד הנתונים.

  • ‫JOB_ID: (אופציונלי) מזהה ייחודי להרצה הזו של צינור עיבוד הנתונים. אם לא מציינים מזהה משימה, המערכת יוצרת מזהה משימה באמצעות שם צינור עיבוד הנתונים וחותמת הזמן של תחילת ההרצה של צינור עיבוד הנתונים.

  • ‫PIPELINE_ROOT_PATH: (אופציונלי) כדי לקבוע ידנית את נתיב הבסיס של הפייפליין שצוין בהגדרה של הפייפליין, מציינים נתיב שאליו יש גישה למשימה של הפייפליין, כמו URI של קטגוריה של Cloud Storage.

  • ‫PIPELINE_PARAMETERS: (אופציונלי) הפרמטרים של צינור עיבוד הנתונים שיועברו להרצה הזו. לדוגמה, יוצרים dict() שבו שמות הפרמטרים הם המפתחות של המילון וערכי הפרמטרים הם הערכים של המילון.

  • ‫ENABLE_CACHING: (אופציונלי) מציין אם הרצת צינור עיבוד הנתונים הזו משתמשת בשמירה במטמון של ההרצה. שמירת הביצוע במטמון מפחיתה את העלויות על ידי דילוג על משימות בצינור עיבוד הנתונים שבהן הפלט ידוע לקבוצת הקלט הנוכחית. אם לא צוין הארגומנט להפעלת השמירה במטמון, המערכת תשתמש בשמירת ההפעלה במטמון בהרצה הזו של צינור עיבוד הנתונים. מידע נוסף על שמירת הרצה במטמון

  • ‫CMEK: (אופציונלי) השם של מפתחות ההצפנה בניהול הלקוח שבהם רוצים להשתמש להרצה הזו של צינור עיבוד הנתונים.

  • ‫LABELS: (אופציונלי) התוויות שהמשתמש הגדיר כדי לארגן את ה-PipelineJob הזה. מידע נוסף על תוויות של משאבים זמין במאמר יצירה וניהול של תוויות במאמרי העזרה של מנהל המשאבים.

    ‫Agent Platform Pipelines מצרף באופן אוטומטי את התווית הבאה להרצת הצינור:

    vertex-ai-pipelines-run-billing-id: pipeline_run_id

    כאשר pipeline_run_id הוא המזהה הייחודי של הפעלת צינור עיבוד הנתונים.

    התווית הזו מקשרת בין השימוש במשאבי Google Cloud שנוצרו על ידי הרצת צינור עיבוד הנתונים בדוחות החיוב.

  • ‫CREDENTIALS: (אופציונלי) פרטי כניסה בהתאמה אישית ליצירת PipelineJob. מבטל את פרטי הכניסה שהוגדרו ב-aiplatform.init.

  • ‫PROJECT_ID: (אופציונלי) הפרויקט ב- Google Cloud שבו רוצים להריץ את צינור עיבוד הנתונים. אם לא מגדירים את הפרמטר הזה, המערכת משתמשת בפרויקט שמוגדר ב-aiplatform.init.

  • ‫LOCATION: (אופציונלי) האזור שבו רוצים להריץ את צינור עיבוד הנתונים. מידע נוסף על האזורים שבהם אפשר להשתמש ב-Agent Platform Pipelines זמין במדריך למיקומים של Gemini Enterprise Agent Platform. אם לא מגדירים את הפרמטר הזה, המערכת משתמשת במיקום ברירת המחדל שמוגדר ב-aiplatform.init.

  • ‫FAILURE_POLICY: (אופציונלי) ציון מדיניות הכשל לכל הצינור. אלה ההגדרות הזמינות:

    • כדי להגדיר שהצינור ייכשל אחרי שמשימה אחת נכשלת, מזינים fast.

    • כדי להגדיר את צינור עיבוד הנתונים כך שימשיך לתזמן משימות אחרי שמשימה אחת נכשלת, מזינים slow.

    אם לא מגדירים את הפרמטר הזה, מדיניות הכישלון מוגדרת כ-slow כברירת מחדל. מידע נוסף על כללי מדיניות בנושא כשלים בצינור עיבוד נתונים

  • ‫SERVICE_ACCOUNT: (אופציונלי) השם של חשבון השירות שבו משתמשים להרצת צינור עיבוד הנתונים. אם לא תציינו חשבון שירות, המערכת תריץ את הצינור באמצעות חשבון השירות שמוגדר כברירת מחדל ב-Compute Engine.

  • ‫NETWORK: (אופציונלי) השם של רשת ה-VPC המקושרת שבה משתמשים להרצת צינור עיבוד הנתונים.

  • ‫RESERVED_IP_RANGES: אופציונלי. רשימה של שמות לטווחי ה-IP השמורים ברשת ה-VPC שמשמשת לעומס העבודה של הרצת הצינור, לדוגמה: ['vertex-ai-ip-range'].

המאמרים הבאים