בהתאם לסוג הרכיב, המשאב והגרסה של Google Cloud Pipeline Components SDK, צינורות של Agent Platform מעבירים באופן אוטומטי את התוויות מהרצת צינורות אל המשאבים שנוצרו מ- Google Cloud Pipeline Components, או שמחייבים אתכם להוסיף תוויות למשאבים שנוצרו. במקרה של רכיבים שהוגדרו על ידי המשתמש, צריך לכתוב את קוד הרכיב כדי לצרף את התוויות ממשתנה סביבה. מידע נוסף זמין במאמר בנושא משאבים שנוצרו מרכיבים שהוגדרו על ידי המשתמש.
מקורות מידע עם תוויות אוטומטיות
Agent Platform Pipelines מתייג באופן אוטומטי את המשאבים הבאים, ללא קשר לגרסת Pipeline Components SDK: Google Cloud
CustomJob משאבים
התוויות מועברות באופן אוטומטי מריצת צינורות לעיבוד נתונים בפלטפורמת הסוכן למשאבי CustomJob. התמיכה הזו קיימת ברכיבים הבאים בכל הגרסאות של Google Cloud Pipeline Components SDK:
משאבים עם תיוג אוטומטי ב- Google Cloud Pipeline Components SDK v1.0.31 ואילך
אם משתמשים ב-Pipeline Components SDK בגרסה 1.0.31 ואילך, המערכת של Agent Platform Pipelines מתייגת באופן אוטומטי את המשאבים הבאים: Google Cloud
BatchPredictionJob משאבים
אם אתם משתמשים בגרסה 1.0.31 ואילך של Google Cloud Pipeline Components SDK, המערכת מעבירה באופן אוטומטי את התוויות מהרצת צינור העיבוד אל משאבי BatchPredictionJob שנוצרו מרכיב ModelBatchPredictOp.
משאבים של Gemini Enterprise endpoint
אם אתם משתמשים בגרסה 1.0.31 ואילך של Google Cloud Pipeline Components SDK, התוויות מועברות באופן אוטומטי מריצת הצינור של Agent Platform אל משאבי Gemini Enterprise API endpoint שנוצרו מרכיב EndpointCreateOp.
HyperparameterTuningJob משאבים
אם אתם משתמשים בגרסה 1.0.31 ואילך של Google Cloud Pipeline Components SDK, המערכת מעבירה באופן אוטומטי את התוויות מהרצת צינור העיבוד אל משאבי HyperparameterTuningJob שנוצרו מרכיב HyperparameterTuningJobRunOp.
משאבי מערכי נתונים ב-Gemini Enterprise API
אם אתם משתמשים בגרסה 1.0.31 ואילך של Google Cloud Pipeline Components SDK, מערכת Agent Platform Pipelines מעבירה באופן אוטומטי תוויות מהרצת צינור הנתונים למשאבי מערך הנתונים של Gemini Enterprise API שנוצרו מרכיבי Gemini Enterprise API הבאים:
Google Cloud משאבי משימות ב-BigQuery
אם משתמשים בגרסה 1.0.31 ואילך של Pipeline Components SDK, צינורות של Agent Platform מעבירים באופן אוטומטי תוויות מהרצת צינורות אל משאבי משימות BigQuery שנוצרו מכל אחד מרכיבי BigQuery ML. Google Cloud Google Cloud
Google Cloud משאבי משימות של Managed Service for Apache Spark
אם משתמשים בגרסה 1.0.31 ואילך של Google Cloud Pipeline Components SDK, התוויות מועברות אוטומטית מריצת צינור הנתונים של Agent Platform אל משאבי Google Cloud Managed Service for Apache Spark Job שנוצרו מכל אחד מרכיבי Managed Service for Apache Spark.
TrainingPipeline ומשאבים של Model
אם אתם משתמשים בגרסה 1.0.31 ואילך של Google Cloud Pipeline Components SDK, מערכת Agent Platform Pipelines מעבירה באופן אוטומטי תוויות מהרצת צינור העיבוד לTrainingPipeline ולמשאבי Model שנוצרו מהרכיבים הבאים של AutoML:
Google Cloud משאבי טבלה ב-BigQuery
אם אתם משתמשים בגרסה 1.0.31 ואילך של Google Cloud Pipeline Components SDK, Agent Platform Pipelines מעבירה באופן אוטומטי תוויות מהרצת צינורות הנתונים שלכם Google Cloud משאבי טבלאות BigQuery שנוצרו מהרכיב ForecastingPreprocessingOp.
משאבים ללא תוויות אוטומטיות
Agent Platform Pipelines לא מסווגת אוטומטית את המשאבים הבאים, ללא קשר לגרסת Google Cloud Pipeline Components SDK:
Google Cloud משאבי Dataflow
רכיב Agent Platform Pipelines לא מתייג באופן אוטומטי משאבי Dataflow שנוצרו על ידי הרכיב DataflowPythonJobOp. אפשר לכלול הוראות בקוד כדי לתת תווית למשאבים.
אפשר להשתמש בדוגמת הקוד הבאה כדי להפיץ תוויות לחיוב מהרצת צינור עיבוד הנתונים לכל משאב Google Cloud Dataflow שנוצר באמצעות הרכיב DataflowPythonJobOp:
import argparse
import apache_beam as beam
...
def run(argv=None):
parser = argparse.ArgumentParser()
# Don't add `--labels` to the argument list, so that they will be passed to the pipeline_options
parser.add_argument('--input', …)
parser.add_argument('--output', …)
...
known_args, pipeline_args = parser.parse_known_args(argv)
pipeline_options = PipelineOptions(pipeline_args)
with beam.Pipeline(options=pipeline_options) as p:
משאבים שנוצרו מרכיבים שהוגדרו על ידי המשתמש
Agent Platform Pipelines לא מתייג באופן אוטומטי Google Cloud משאבים שנוצרו מרכיבים שהוגדרו על ידי המשתמש. אתם יכולים לכלול הוראות בקוד כדי לאחזר את התוויות ממשתנה הסביבה VERTEX_AI_PIPELINES_RUN_LABELS ולצרף את התוויות האלה Google Cloud למשאבים שנוצרו באמצעות הרכיב בזמן הריצה.
משתנה הסביבה VERTEX_AI_PIPELINE_RUN_LABELS מכיל את התוויות בפורמט JSON כצמדי מפתח/ערך.
לדוגמה: { "label1_key": "label1_value", "label2_key": "label2_value", ...}
אם אתם משתמשים ב-Agent Platform SDK ל-Python, אתם יכולים להשתמש בדוגמת הקוד הבאה בקוד הרכיב כדי להעביר תוויות ממשתנה הסביבה למשאב חדש שנוצר מהרכיב:
import os
import json
from google.cloud import aiplatform
aiplatform.init(
project='PROJECT_ID',
location='LOCATION'
)
aiplatform.RESOURCE.create(
...
json.loads(os.getenv("VERTEX_AI_PIPELINES_RUN_LABELS"))
)
מחליפים את מה שכתוב בשדות הבאים:
PROJECT_ID: Google Cloud הפרויקט שמכיל את ההרצה של צינור הנתונים.
LOCATION: המיקום של הפעלת צינור העיבוד.
RESOURCE: Google Cloud משאב שנוצר מהרכיב, לדוגמה,
CustomJobאוModel.
אפשר גם להשתמש בכלי gcp_labels_util.attach_system_labels אם רוצים להשתמש ב-Python כדי לנתח את משתנה הסביבה. אפשר להשתמש בכלי הזה רק אם יש לכם גישה לספריית רכיבי הצינור ואתם משתמשים ב-Python. Google Cloud מידע נוסף זמין במאגר GitHub של פונקציית השירות.
משאבים שלא תומכים בתוויות
הפלטפורמה Agent Platform Pipelines לא תומכת בהפצה של תוויות לחיוב למשאבים הבאים:
מקורות מידע על ML Metadata
החיוב על משאבי ML Metadata מתבצע ברמת המאגר. אי אפשר להשתמש בתוויות לחיוב כדי להבין את העלות ברמת המשאב.
משאבים של Cloud Storage
Agent Platform Pipelines לא מעביר תוויות לחיוב למשאבי Cloud Storage, כמו קטגוריות של Cloud Storage.