תיוג משאבים באמצעות צינורות של Gemini Enterprise Agent Platform

בהתאם לסוג הרכיב, המשאב והגרסה של Google Cloud Pipeline Components SDK, צינורות של Agent Platform מעבירים באופן אוטומטי את התוויות מהרצת צינורות אל המשאבים שנוצרו מ- Google Cloud Pipeline Components, או שמחייבים אתכם להוסיף תוויות למשאבים שנוצרו. במקרה של רכיבים שהוגדרו על ידי המשתמש, צריך לכתוב את קוד הרכיב כדי לצרף את התוויות ממשתנה סביבה. מידע נוסף זמין במאמר בנושא משאבים שנוצרו מרכיבים שהוגדרו על ידי המשתמש.

מקורות מידע עם תוויות אוטומטיות

‫Agent Platform Pipelines מתייג באופן אוטומטי את המשאבים הבאים, ללא קשר לגרסת Pipeline Components SDK: Google Cloud

‫CustomJob משאבים

התוויות מועברות באופן אוטומטי מריצת צינורות לעיבוד נתונים בפלטפורמת הסוכן למשאבי CustomJob. התמיכה הזו קיימת ברכיבים הבאים בכל הגרסאות של Google Cloud Pipeline Components SDK:

משאבים עם תיוג אוטומטי ב- Google Cloud Pipeline Components SDK v1.0.31 ואילך

אם משתמשים ב-Pipeline Components SDK בגרסה 1.0.31 ואילך, המערכת של Agent Platform Pipelines מתייגת באופן אוטומטי את המשאבים הבאים: Google Cloud

‫BatchPredictionJob משאבים

אם אתם משתמשים בגרסה 1.0.31 ואילך של Google Cloud Pipeline Components SDK, המערכת מעבירה באופן אוטומטי את התוויות מהרצת צינור העיבוד אל משאבי BatchPredictionJob שנוצרו מרכיב ModelBatchPredictOp.

משאבים של Gemini Enterprise endpoint

אם אתם משתמשים בגרסה 1.0.31 ואילך של Google Cloud Pipeline Components SDK, התוויות מועברות באופן אוטומטי מריצת הצינור של Agent Platform אל משאבי Gemini Enterprise API endpoint שנוצרו מרכיב EndpointCreateOp.

‫HyperparameterTuningJob משאבים

אם אתם משתמשים בגרסה 1.0.31 ואילך של Google Cloud Pipeline Components SDK, המערכת מעבירה באופן אוטומטי את התוויות מהרצת צינור העיבוד אל משאבי HyperparameterTuningJob שנוצרו מרכיב HyperparameterTuningJobRunOp.

משאבי מערכי נתונים ב-Gemini Enterprise API

אם אתם משתמשים בגרסה 1.0.31 ואילך של Google Cloud Pipeline Components SDK, מערכת Agent Platform Pipelines מעבירה באופן אוטומטי תוויות מהרצת צינור הנתונים למשאבי מערך הנתונים של Gemini Enterprise API שנוצרו מרכיבי Gemini Enterprise API הבאים:

Google Cloud משאבי משימות ב-BigQuery

אם משתמשים בגרסה 1.0.31 ואילך של Pipeline Components SDK‏, צינורות של Agent Platform מעבירים באופן אוטומטי תוויות מהרצת צינורות אל משאבי משימות BigQuery שנוצרו מכל אחד מרכיבי BigQuery ML. Google Cloud Google Cloud

Google Cloud משאבי משימות של Managed Service for Apache Spark

אם משתמשים בגרסה 1.0.31 ואילך של Google Cloud Pipeline Components SDK, התוויות מועברות אוטומטית מריצת צינור הנתונים של Agent Platform אל משאבי Google Cloud Managed Service for Apache Spark Job שנוצרו מכל אחד מרכיבי Managed Service for Apache Spark.

TrainingPipeline ומשאבים של Model

אם אתם משתמשים בגרסה 1.0.31 ואילך של Google Cloud Pipeline Components SDK, מערכת Agent Platform Pipelines מעבירה באופן אוטומטי תוויות מהרצת צינור העיבוד לTrainingPipeline ולמשאבי Model שנוצרו מהרכיבים הבאים של AutoML:

Google Cloud משאבי טבלה ב-BigQuery

אם אתם משתמשים בגרסה 1.0.31 ואילך של Google Cloud Pipeline Components SDK,‏ Agent Platform Pipelines מעבירה באופן אוטומטי תוויות מהרצת צינורות הנתונים שלכם Google Cloud משאבי טבלאות BigQuery שנוצרו מהרכיב ForecastingPreprocessingOp.

משאבים ללא תוויות אוטומטיות

Agent Platform Pipelines לא מסווגת אוטומטית את המשאבים הבאים, ללא קשר לגרסת Google Cloud Pipeline Components SDK:

Google Cloud משאבי Dataflow

רכיב Agent Platform Pipelines לא מתייג באופן אוטומטי משאבי Dataflow שנוצרו על ידי הרכיב DataflowPythonJobOp. אפשר לכלול הוראות בקוד כדי לתת תווית למשאבים.

אפשר להשתמש בדוגמת הקוד הבאה כדי להפיץ תוויות לחיוב מהרצת צינור עיבוד הנתונים לכל משאב Google Cloud Dataflow שנוצר באמצעות הרכיב DataflowPythonJobOp:

  import argparse
  import apache_beam as beam
  ...
  def run(argv=None):
    parser = argparse.ArgumentParser()
    # Don't add `--labels` to the argument list, so that they will be passed to the pipeline_options 
    parser.add_argument('--input', …)
    parser.add_argument('--output', …)
  ...
    known_args, pipeline_args = parser.parse_known_args(argv)
    pipeline_options = PipelineOptions(pipeline_args)
    with beam.Pipeline(options=pipeline_options) as p:

משאבים שנוצרו מרכיבים שהוגדרו על ידי המשתמש

‫Agent Platform Pipelines לא מתייג באופן אוטומטי Google Cloud משאבים שנוצרו מרכיבים שהוגדרו על ידי המשתמש. אתם יכולים לכלול הוראות בקוד כדי לאחזר את התוויות ממשתנה הסביבה VERTEX_AI_PIPELINES_RUN_LABELS ולצרף את התוויות האלה Google Cloud למשאבים שנוצרו באמצעות הרכיב בזמן הריצה.

משתנה הסביבה VERTEX_AI_PIPELINE_RUN_LABELS מכיל את התוויות בפורמט JSON כצמדי מפתח/ערך.

לדוגמה: { "label1_key": "label1_value", "label2_key": "label2_value", ...}

אם אתם משתמשים ב-Agent Platform SDK ל-Python, אתם יכולים להשתמש בדוגמת הקוד הבאה בקוד הרכיב כדי להעביר תוויות ממשתנה הסביבה למשאב חדש שנוצר מהרכיב:

import os
import json
from google.cloud import aiplatform

aiplatform.init(
  project='PROJECT_ID',
  location='LOCATION'
)

aiplatform.RESOURCE.create(
  ...
  json.loads(os.getenv("VERTEX_AI_PIPELINES_RUN_LABELS"))
)

מחליפים את מה שכתוב בשדות הבאים:

  • ‫PROJECT_ID: Google Cloud הפרויקט שמכיל את ההרצה של צינור הנתונים.

  • ‫LOCATION: המיקום של הפעלת צינור העיבוד.

  • ‫RESOURCE: Google Cloud משאב שנוצר מהרכיב, לדוגמה, CustomJob או Model.

אפשר גם להשתמש בכלי gcp_labels_util.attach_system_labels אם רוצים להשתמש ב-Python כדי לנתח את משתנה הסביבה. אפשר להשתמש בכלי הזה רק אם יש לכם גישה לספריית רכיבי הצינור ואתם משתמשים ב-Python. Google Cloud מידע נוסף זמין במאגר GitHub של פונקציית השירות.

משאבים שלא תומכים בתוויות

הפלטפורמה Agent Platform Pipelines לא תומכת בהפצה של תוויות לחיוב למשאבים הבאים:

מקורות מידע על ML Metadata

החיוב על משאבי ML Metadata מתבצע ברמת המאגר. אי אפשר להשתמש בתוויות לחיוב כדי להבין את העלות ברמת המשאב.

משאבים של Cloud Storage

‫Agent Platform Pipelines לא מעביר תוויות לחיוב למשאבי Cloud Storage, כמו קטגוריות של Cloud Storage.

המאמרים הבאים