מעקב אחר Vertex ML Metadata

בעזרת Vertex ML Metadata אפשר לעקוב אחרי המטא-נתונים שנוצרים בתהליכי העבודה של למידת מכונה (ML) ולנתח אותם. אם אתם חדשים ב-Vertex ML Metadata, כדאי לקרוא את המבוא ל-Vertex ML Metadata כדי לקבל מידע נוסף על מעקב וניתוח של מטא-נתונים בתהליך העבודה של למידת מכונה.

במדריך הזה נסביר איך לתעד מטא-נתונים באמצעות התהליך הבא:

יוצרים Execution שמייצג שלב בתהליך העבודה של למידת המכונה.
מחפשים פריטי מידע שנוצרו בתהליך הפיתוח קיימים כדי למצוא פריטי מידע שנוצרו בתהליך הפיתוח של קלט שכבר נכתבו בחנות המטא-נתונים.
יצירת ארטיפקטים עבור קלט הביצוע שלא נכתב כבר במאגר המטא-נתונים, וכל פלט שנוצר מהביצוע הזה.
יוצרים אירועים כדי לייצג את הקשר בין ההפעלה שלכם לבין פריטי הקלט והפלט שלה.
אופציונלי, מוסיפים את ההפעלה והארטיפקטים להקשר. משתמשים בהקשר כדי לקבץ יחד קבוצות של הפעלות וארטיפקטים. לדוגמה, אם אתם עורכים ניסוי כדי למצוא את קבוצת ההיפר-פרמטרים הטובה ביותר לאימון מודל, כל ניסוי יכול להיות ביצוע שונה עם קבוצה משלו של פרמטרים ומדדים. אפשר להשוות בין ההרצות בהקשר מסוים כדי למצוא את הניסוי שהניב את המודל הטוב ביותר.

כדי להוסיף הקשר וארטיפקטים להקשר, צריך קודם ליצור הקשר.

יש שתי דרכים ליצור נכסי Vertex ML Metadata. אפשר להשתמש בפקודות REST או ב-Vertex AI SDK ל-Python. ה-SDK של Python מפשט את היצירה והגילוי של סוגים שונים של נכסים. כשיוצרים הפעלות באמצעות Python, לא צריך ליצור את מטען הייעודי (payload) באופן ידני.

לפני שמתחילים

בפעם הראשונה שמשתמשים ב-Vertex ML Metadata בGoogle Cloud פרויקט, מערכת Vertex AI יוצרת את מאגר Vertex ML Metadata של הפרויקט.

אם רוצים שהמטא-נתונים יוצפנו באמצעות מפתח הצפנה בניהול הלקוח (CMEK), צריך ליצור את מאגר המטא-נתונים באמצעות CMEK לפני שמשתמשים ב-Vertex ML Metadata כדי לעקוב אחרי המטא-נתונים או לנתח אותם. פועלים לפי ההוראות שבקטע יצירת מאגר מטא-נתונים שמשתמש במפתח CMEK כדי להגדיר את מאגר המטא-נתונים של הפרויקט.

יצירת הפעלה

ההרצות מייצגות שלב בתהליך העבודה של למידת מכונה. כדי ליצור הפעלה, פועלים לפי ההוראות הבאות.

REST

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

‫LOCATION_ID: האזור שלכם.
‫PROJECT_ID: מזהה הפרויקט.
‫METADATA_STORE: המזהה של מאגר המטא-נתונים שבו נוצרת ההרצה. מאגר המטא-נתונים שמוגדר כברירת מחדל נקרא default.
‫EXECUTION_ID: המזהה של רשומת הביצוע. אם לא מציינים מזהה ביצוע, Vertex ML Metadata יוצר מזהה ייחודי לביצוע הזה.
‫DISPLAY_NAME: השם המוצג של ההרצה. השדה הזה יכול להכיל עד 128 תווים ב-Unicode.
‫EXECUTION_STATE: (אופציונלי) ערך מתוך ספירת המצבים שמייצג את המצב הנוכחי של ההפעלה. השדה הזה מנוהל על ידי אפליקציות לקוח. ‫Vertex ML Metadata לא בודק את התוקף של מעברי מצב.
‫METADATA_SCHEMA_TITLE: השם של הסכימה שמתארת את שדה המטא-נתונים. השם של הסכימה צריך להיות בפורמט .. מרחב השמות צריך להתחיל באות קטנה באנגלית, יכול להכיל אותיות קטנות ומספרים, ויכול להיות באורך של שניים עד עשרים תווים. שם הסכימה חייב להתחיל באות גדולה, יכול לכלול אותיות ומספרים, ויכול להיות באורך של שניים עד ארבעים ותשעה תווים.
‫METADATA_SCHEMA_VERSION: (אופציונלי) הגרסה של הסכימה שמתארת את שדה המטא-נתונים. ‫schema_version חייב להיות מחרוזת של שלושה מספרים שמופרדים בנקודות, לדוגמה, 1.0.0, ‏ 1.0.1. הפורמט הזה עוזר לסדר ולהשוות בין גרסאות.
‫METADATA: (אופציונלי) מאפיינים שמתארים את ההרצה, כמו פרמטרים של ההרצה.
‫DESCRIPTION: (אופציונלי) מחרוזת שמתארת את מטרת ההפעלה שתיצור.
‫LABELS: אופציונלי. מטא-נתונים שהוגדרו על ידי המשתמש לארגון ההרצות.

ה-method של ה-HTTP וכתובת ה-URL:

POST https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/executions?executionId=EXECUTION_ID

תוכן בקשת JSON:

{
  "displayName": "DISPLAY_NAME",
  "state": "EXECUTION_STATE",
  "schemaTitle": "METADATA_SCHEMA_TITLE",
  "schemaVersion": "METADATA_SCHEMA_VERSION",
  "metadata": {
    METADATA
  },
  "labels": {"LABEL_1":"LABEL_2"},
  "description": "DESCRIPTION"

}

כדי לשלוח את הבקשה צריך להרחיב אחת מהאפשרויות הבאות:

‫Curl (Linux,‏ macOS או Cloud Shell)

הערה: הפקודה הבאה מבוססת על ההנחה שנכנסתם ל-CLI של gcloud באמצעות חשבון המשתמש שלכם, על ידי הרצת gcloud init או gcloud auth login, או באמצעות Cloud Shell שמחבר אתכם אוטומטית ל-CLI של gcloud. כדי לבדוק איזה חשבון פעיל, אפשר להריץ את הפקודה gcloud auth list.

שומרים את גוף הבקשה בקובץ בשם request.json. כדי ליצור או להחליף את הקובץ הזה בספרייה הנוכחית, מריצים את הפקודה הבאה בטרמינל:

cat > request.json << 'EOF'
{
  "displayName": "DISPLAY_NAME",
  "state": "EXECUTION_STATE",
  "schemaTitle": "METADATA_SCHEMA_TITLE",
  "schemaVersion": "METADATA_SCHEMA_VERSION",
  "metadata": {
    METADATA
  },
  "labels": {"LABEL_1":"LABEL_2"},
  "description": "DESCRIPTION"

}
EOF

לאחר מכן מבצעים את הפקודה הבאה כדי לשלוח את בקשת ה-REST:

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/executions?executionId=EXECUTION_ID"

‎PowerShell (Windows)

הערה: הפקודה הבאה מבוססת על ההנחה שנכנסתם ל-CLI של gcloud באמצעות חשבון המשתמש שלכם, על ידי הרצת gcloud init או gcloud auth login. כדי לבדוק איזה חשבון פעיל, אפשר להריץ את הפקודה gcloud auth list.

@'
{
  "displayName": "DISPLAY_NAME",
  "state": "EXECUTION_STATE",
  "schemaTitle": "METADATA_SCHEMA_TITLE",
  "schemaVersion": "METADATA_SCHEMA_VERSION",
  "metadata": {
    METADATA
  },
  "labels": {"LABEL_1":"LABEL_2"},
  "description": "DESCRIPTION"

}
'@  | Out-File -FilePath request.json -Encoding utf8

לאחר מכן מבצעים את הפקודה הבאה כדי לשלוח את בקשת ה-REST:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/executions?executionId=EXECUTION_ID" | Select-Object -Expand Content

אתם אמורים לקבל תגובת JSON שדומה לזו:

{
  "name": "projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/executions/EXECUTION_ID",
  "displayName": "Example Execution",
  "etag": "67891011",
  "labels": {
    "test_label": "test_label_value"
  },
  "createTime": "2021-05-18T00:04:49.659Z",
  "updateTime": "2021-05-18T00:04:49.659Z",
  "schemaTitle": "system.Run",
  "schemaVersion": "0.0.1",
  "metadata": {},
  "description": "Description of the example execution."
}

Python

from typing import Any, Dict, List, Optional

from google.cloud import aiplatform
from google.cloud.aiplatform.metadata.schema.system import execution_schema


def create_execution_sample(
    display_name: str,
    input_artifacts: List[aiplatform.Artifact],
    output_artifacts: List[aiplatform.Artifact],
    project: str,
    location: str,
    execution_id: Optional[str] = None,
    metadata: Optional[Dict[str, Any]] = None,
    schema_version: Optional[str] = None,
    description: Optional[str] = None,
):
    aiplatform.init(project=project, location=location)

    with execution_schema.ContainerExecution(
        display_name=display_name,
        execution_id=execution_id,
        metadata=metadata,
        schema_version=schema_version,
        description=description,
    ).create() as execution:
        execution.assign_input_artifacts(input_artifacts)
        execution.assign_output_artifacts(output_artifacts)
        return execution

‫display_name: השם המוצג של ההרצה. השדה הזה יכול להכיל עד 128 תווים ב-Unicode.
‫ input_artifacts: רשימה של מופע אחד או יותר של aiplatform.Artifact שמייצג פריט קלט.
‫output_artifacts:רשימה של מופע אחד או יותר של aiplatform.Artifact שמייצג פלט Artifact.
project: . אפשר למצוא את המזהים האלה בדף welcome במסוף Google Cloud .
‫location: ראו רשימה של מיקומים זמינים.
‫execution_id: המזהה של רשומת הביצוע. אם לא מציינים מזהה ביצוע, Vertex ML Metadata יוצר מזהה ייחודי לביצוע הזה.
‫metadata: מאפיינים שמתארים את ההפעלה, כמו פרמטרים של ההפעלה.
‫schema_version:הגרסה של הסכימה שמתארת את שדה המטא-נתונים.
‫description: (אופציונלי) מחרוזת קריאה שמתארת את מטרת ההפעלה שתיצור.

חיפוש של ארטיפקט קיים

ארטיפקטים מייצגים נתונים שמשמשים בתהליך העבודה של ה-ML או נוצרים ממנו, כמו מערכי נתונים ומודלים. כדי לחפש ארטיפקט קיים, פועלים לפי ההוראות הבאות.

REST

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

‫LOCATION_ID: האזור שלכם.
PROJECT_ID: .
‫METADATA_STORE: מזהה מאגר המטא-נתונים שבו נוצר הארטיפקט. מאגר המטא-נתונים שמוגדר כברירת מחדל נקרא default.
‫PAGE_SIZE: (אופציונלי) המספר המקסימלי של ארטיפקטים שיוחזרו. אם לא מציינים ערך, השירות מחזיר עד 100 רשומות.
‫PAGE_TOKEN: (אופציונלי) אסימון דף מקריאה קודמת של MetadataService.ListArtifacts. מציינים את האסימון הזה כדי לקבל את דף התוצאות הבא.
‫FILTER: מציין את התנאים שנדרשים כדי לכלול ארטיפקט במערכת התוצאות.

ה-method של ה-HTTP וכתובת ה-URL:

GET https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/artifacts?pageSize=PAGE_SIZE&pageToken=PAGE_TOKEN&filter=FILTER

כדי לשלוח את הבקשה צריך להרחיב אחת מהאפשרויות הבאות:

‫Curl (Linux,‏ macOS או Cloud Shell)

מריצים את הפקודה הבאה:

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/artifacts?pageSize=PAGE_SIZE&pageToken=PAGE_TOKEN&filter=FILTER"

‎PowerShell (Windows)

מריצים את הפקודה הבאה:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/artifacts?pageSize=PAGE_SIZE&pageToken=PAGE_TOKEN&filter=FILTER" | Select-Object -Expand Content

הפלט שיוצג אמור להיות דומה לזה שמופיע כאן. ‫ARTIFACT_ID הוא המזהה של רשומת הארטיפקט.

{
  "artifacts": [
    {
      "name": "projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/default/artifacts/ARTIFACT_ID",
      "displayName": "Example artifact",
      "uri": "gs://your_bucket_name/artifacts/dataset.csv",
      "etag": "67891011",
      "createTime": "2021-05-18T00:33:13.833Z",
      "updateTime": "2021-05-18T00:33:13.833Z",
      "state": "LIVE",
      "schemaTitle": "system.Dataset",
      "schemaVersion": "0.0.1",
      "metadata": {
        "payload_format": "CSV"
      },
      "description": "Description of the example artifact."
    },
    {
      "name": "projects/PROJECT_ID/locations/LOCATION/metadataStores/METADATA_STORE/artifacts/ARTIFACT_ID",
      "displayName": "Another example artifact",
      "uri": "gs://your_bucket_name/artifacts/dataset-2.csv",
      "etag": "67891012",
      "createTime": "2021-05-18T00:29:24.344Z",
      "updateTime": "2021-05-18T00:29:24.344Z",
      "state": "LIVE",
      "schemaTitle": "system.Dataset",
      "schemaVersion": "0.0.1",
      "metadata": {
        "payload_format": "CSV"
      },
      "description": "Description of the other example artifact."
    }
  ]
}

Python

from typing import Optional

from google.cloud import aiplatform


def list_artifact_sample(
    project: str,
    location: str,
    display_name_filter: Optional[str] = "display_name=\"my_model_*\"",
    create_date_filter: Optional[str] = "create_time>\"2022-06-11\"",
    order_by: Optional[str] = None,
):
    aiplatform.init(project=project, location=location)

    combined_filters = f"{display_name_filter} AND {create_date_filter}"
    return aiplatform.Artifact.list(
        filter=combined_filters,
        order_by=order_by,
    )

project: . אפשר למצוא את המזהים האלה בדף welcome במסוף Google Cloud .
‫location: ראו רשימה של מיקומים זמינים.
‫display_name_filter: מסנן להחלה על השם לתצוגה בזמן רישום המשאבים בפורמט 'display_name=\"my_filter\"' .
‫create_date_filter: מסנן שיוחל על השם create_date בזמן הצגת רשימת המשאבים בפורמט create_time>\"2022-06-11T12:30:00-08:00\"",.

יצירה של פריט מידע שנוצר בתהליך פיתוח (Artifact)

כדי ליצור ארטיפקט:

REST

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

‫LOCATION_ID: האזור שלכם.
PROJECT_ID: .
‫METADATA_STORE: מזהה מאגר המטא-נתונים שבו נוצר הארטיפקט. מאגר המטא-נתונים שמוגדר כברירת מחדל נקרא default.
‫ARTIFACT_ID: (אופציונלי) המזהה של רשומת הארטיפקט. אם לא מציינים מזהה ארטיפקט, Vertex ML Metadata יוצר מזהה ייחודי לארטיפקט הזה.
‫DISPLAY_NAME: (אופציונלי) השם שהמשתמש נתן לארטיפקט.
‫URI: (אופציונלי) המיקום שבו מאוחסן הארטיפקט
‫ARTIFACT_STATE: (אופציונלי) ערך מתוך ספירת המצבים שמייצג את המצב הנוכחי של הארטיפקט. השדה הזה מנוהל על ידי אפליקציות לקוח. ‫Vertex ML Metadata לא בודק את התוקף של מעברי מצב.
‫METADATA_SCHEMA_TITLE: השם של הסכימה שמתארת את שדה המטא-נתונים. השם של הסכימה צריך להיות בפורמט .. מרחב השמות צריך להתחיל באות קטנה באנגלית, יכול להכיל אותיות קטנות ומספרים, ויכול להיות באורך של שניים עד עשרים תווים. שם הסכימה חייב להתחיל באות גדולה, יכול לכלול אותיות ומספרים, ויכול להיות באורך של שניים עד ארבעים ותשעה תווים.
‫METADATA_SCHEMA_VERSION: (אופציונלי) הגרסה של הסכימה שמתארת את שדה המטא-נתונים. ‫schema_version חייב להיות מחרוזת של שלושה מספרים שמופרדים בנקודות, לדוגמה, 1.0.0, ‏ 1.0.1. הפורמט הזה עוזר לסדר ולהשוות בין גרסאות.
‫METADATA: (אופציונלי). מאפיינים שמתארים את הארטיפקט, כמו סוג מערך הנתונים.
‫DESCRIPTION: (אופציונלי) מחרוזת קריאה שמתארת את מטרת ההפעלה שתיצור.
‫LABELS:אופציונלי. מטא-נתונים שהוגדרו על ידי המשתמש לארגון הארטיפקטים.

ה-method של ה-HTTP וכתובת ה-URL:

POST https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/artifacts?artifactId=ARTIFACT_ID

תוכן בקשת JSON:

{
  "displayName": "DISPLAY_NAME",
  "uri": "URI",
  "state": "ARTIFACT_STATE",
  "schemaTitle": "METADATA_SCHEMA_TITLE",
  "schemaVersion": "METADATA_SCHEMA_VERSION",
  "metadata": {
    METADATA
  },
  "labels": {"LABEL_1":"LABEL_2"},
  "description": "DESCRIPTION"
}

כדי לשלוח את הבקשה צריך להרחיב אחת מהאפשרויות הבאות:

‫Curl (Linux,‏ macOS או Cloud Shell)

cat > request.json << 'EOF'
{
  "displayName": "DISPLAY_NAME",
  "uri": "URI",
  "state": "ARTIFACT_STATE",
  "schemaTitle": "METADATA_SCHEMA_TITLE",
  "schemaVersion": "METADATA_SCHEMA_VERSION",
  "metadata": {
    METADATA
  },
  "labels": {"LABEL_1":"LABEL_2"},
  "description": "DESCRIPTION"
}
EOF

לאחר מכן מבצעים את הפקודה הבאה כדי לשלוח את בקשת ה-REST:

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/artifacts?artifactId=ARTIFACT_ID"

‎PowerShell (Windows)

@'
{
  "displayName": "DISPLAY_NAME",
  "uri": "URI",
  "state": "ARTIFACT_STATE",
  "schemaTitle": "METADATA_SCHEMA_TITLE",
  "schemaVersion": "METADATA_SCHEMA_VERSION",
  "metadata": {
    METADATA
  },
  "labels": {"LABEL_1":"LABEL_2"},
  "description": "DESCRIPTION"
}
'@  | Out-File -FilePath request.json -Encoding utf8

לאחר מכן מבצעים את הפקודה הבאה כדי לשלוח את בקשת ה-REST:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/artifacts?artifactId=ARTIFACT_ID" | Select-Object -Expand Content

אתם אמורים לקבל תגובת JSON שדומה לזו:

{
  "name": "projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/default/artifacts/ARTIFACT_ID",
  "displayName": "Example artifact",
  "uri": "gs://your_bucket_name/artifacts/dataset.csv",
  "etag": "67891011",
  "labels": {
    "test_label": "test_label_value"
  },
  "createTime": "2021-05-18T00:29:24.344Z",
  "updateTime": "2021-05-18T00:29:24.344Z",
  "state": "LIVE",
  "schemaTitle": "system.Dataset",
  "schemaVersion": "0.0.1",
  "metadata": {
    "payload_format": "CSV"
  },
  "description": "Description of the example artifact."
}

Python

from typing import Dict, Optional

from google.cloud.aiplatform.metadata.schema.system import artifact_schema


def create_artifact_sample(
    project: str,
    location: str,
    uri: Optional[str] = None,
    artifact_id: Optional[str] = None,
    display_name: Optional[str] = None,
    schema_version: Optional[str] = None,
    description: Optional[str] = None,
    metadata: Optional[Dict] = None,
):
    system_artifact_schema = artifact_schema.Artifact(
        uri=uri,
        artifact_id=artifact_id,
        display_name=display_name,
        schema_version=schema_version,
        description=description,
        metadata=metadata,
    )
    return system_artifact_schema.create(project=project, location=location,)

project: . אפשר למצוא את המזהים האלה בדף welcome במסוף Google Cloud .
‫location: ראו רשימה של מיקומים זמינים.
‫uri: (אופציונלי) מזהה משאב אחיד (URI) של קובץ הארטיפקט, אם קיים. יכול להיות שיהיה ריק אם אין קובץ ארטיפקט בפועל.
‫ artifact_id: (אופציונלי) המזהה של רשומת הארטיפקט. אם לא מציינים מזהה ארטיפקט, Vertex ML Metadata יוצר מזהה ייחודי לארטיפקט הזה.
‫display_name: (אופציונלי) השם שהמשתמש נתן לארטיפקט.
‫schema_version: הגרסה של הסכימה שמתארת את שדה המטא-נתונים.
‫description: (אופציונלי) מחרוזת שמתארת את מטרת הארטיפקט שייווצר, שבודק אנושי יכול לקרוא.
‫metadata: מאפיינים שמתארים את הארטיפקט, כמו פרמטרים של הארטיפקט.

יצירת אירועים לקישור ארטיפקטים להרצה

אירועים מייצגים את הקשר בין ביצוע לבין קלט ופריטי פלט. כדי ליצור אירועים לקישור ארטיפקטים להרצה, פועלים לפי ההוראות הבאות.

REST

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

‫LOCATION_ID: האזור שלכם.
PROJECT_ID: .
‫METADATA_STORE: המזהה של מאגר המטא-נתונים שבו נוצרת ההרצה. מאגר המטא-נתונים שמוגדר כברירת מחדל נקרא default.
‫EXECUTION_ID: המזהה של רשומת הביצוע.
‫ARTIFACT: שם המשאב של הארטיפקט. הפורמט של שם המשאב הוא: projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/artifacts/ARTIFACT_ID
‫EVENT_TYPE: (אופציונלי) ערך מתוך ספירת EventType שמציין אם הארטיפקט הוא קלט או פלט של ההפעלה.

ה-method של ה-HTTP וכתובת ה-URL:

POST https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/executions/EXECUTION_ID:addExecutionEvents

תוכן בקשת JSON:

{
  "events": [
    {
      "artifact": "projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/artifacts/ARTIFACT_ID",
      "type": "EVENT_TYPE"
    }
  ]
}

כדי לשלוח את הבקשה צריך להרחיב אחת מהאפשרויות הבאות:

‫Curl (Linux,‏ macOS או Cloud Shell)

cat > request.json << 'EOF'
{
  "events": [
    {
      "artifact": "projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/artifacts/ARTIFACT_ID",
      "type": "EVENT_TYPE"
    }
  ]
}
EOF

לאחר מכן מבצעים את הפקודה הבאה כדי לשלוח את בקשת ה-REST:

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/executions/EXECUTION_ID:addExecutionEvents"

‎PowerShell (Windows)

@'
{
  "events": [
    {
      "artifact": "projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/artifacts/ARTIFACT_ID",
      "type": "EVENT_TYPE"
    }
  ]
}
'@  | Out-File -FilePath request.json -Encoding utf8

לאחר מכן מבצעים את הפקודה הבאה כדי לשלוח את בקשת ה-REST:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/executions/EXECUTION_ID:addExecutionEvents" | Select-Object -Expand Content

אמור להתקבל קוד סטטוס של הצלחה (2xx) ותגובה ריקה.

Python

from typing import Any, Dict, List, Optional

from google.cloud import aiplatform
from google.cloud.aiplatform.metadata.schema.system import execution_schema


def create_execution_sample(
    display_name: str,
    input_artifacts: List[aiplatform.Artifact],
    output_artifacts: List[aiplatform.Artifact],
    project: str,
    location: str,
    execution_id: Optional[str] = None,
    metadata: Optional[Dict[str, Any]] = None,
    schema_version: Optional[str] = None,
    description: Optional[str] = None,
):
    aiplatform.init(project=project, location=location)

    with execution_schema.ContainerExecution(
        display_name=display_name,
        execution_id=execution_id,
        metadata=metadata,
        schema_version=schema_version,
        description=description,
    ).create() as execution:
        execution.assign_input_artifacts(input_artifacts)
        execution.assign_output_artifacts(output_artifacts)
        return execution

‫input_artifacts: רשימה של מופע אחד או יותר של aiplatform.Artifact שמייצג פריט קלט.
‫output_artifacts: רשימה של מופע אחד או יותר של aiplatform.Artifact שמייצג פלט Artifact.
project: . אפשר למצוא את המזהים האלה בדף welcome במסוף Google Cloud .
‫location: ראו רשימה של מיקומים זמינים.
‫execution_id: המזהה של רשומת הביצוע. אם לא מציינים מזהה ביצוע, Vertex ML Metadata יוצר מזהה ייחודי לביצוע הזה.
metadata מאפיינים שמתארים את ההפעלה, כמו פרמטרים של ההפעלה.
‫schema_version: הגרסה של הסכימה שמתארת את שדה המטא-נתונים.
‫description: (אופציונלי) מחרוזת קריאה שמתארת את מטרת ההפעלה שתיצור.

יצירת הקשר

הקשרים מאפשרים לקבץ יחד קבוצות של ארטיפקטים וביצועים. כדי ליצור הקשר, פועלים לפי ההוראות הבאות. שימו לב: ב-Vertex AI Experiments נוצר הקשר שבו מתבצעת רישום אוטומטי של ארטיפקטים והרצות בהתאם להקשר הזה, (ראו יצירה או מחיקה של ניסוי).

REST

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

‫LOCATION_ID: האזור שלכם.
PROJECT_ID: .
‫METADATA_STORE:המזהה של מאגר המטא-נתונים שבו נוצרת ההרצה. מאגר המטא-נתונים שמוגדר כברירת מחדל נקרא default.
‫CONTEXT_ID: (אופציונלי) המזהה של רשומת ההקשר. אם לא מציינים מזהה הקשר, Vertex ML Metadata יוצר מזהה ייחודי להקשר הזה
‫DISPLAY_NAME: השם המוצג של ההקשר. השדה הזה יכול להכיל עד 128 תווים ב-Unicode.
‫PARENT_CONTEXT: מציינים את שם המשאב של כל ההקשרים ברמת ההורה. הקשר לא יכול לכלול יותר מ-10 הקשרים ברמת ההורה.
‫METADATA_SCHEMA_TITLE: השם של הסכימה שמתארת את שדה המטא-נתונים. השם של הסכימה צריך להיות בפורמט .. מרחב השמות צריך להתחיל באות קטנה באנגלית, יכול להכיל אותיות קטנות ומספרים, ויכול להיות באורך של שניים עד עשרים תווים. שם הסכימה חייב להתחיל באות גדולה, יכול לכלול אותיות ומספרים, ויכול להיות באורך של שניים עד ארבעים ותשעה תווים.
‫METADATA_SCHEMA_VERSION: (אופציונלי) הגרסה של הסכימה שמתארת את שדה המטא-נתונים. ‫schema_version חייב להיות מחרוזת של שלושה מספרים שמופרדים בנקודות, לדוגמה, 1.0.0, ‏ 1.0.1. הפורמט הזה עוזר לסדר ולהשוות בין גרסאות.
‫METADATA: מאפיינים שמתארים את ההקשר, כמו פרמטרים של ההקשר.
‫DESCRIPTION:(אופציונלי) מחרוזת קריאה שמתארת את מטרת ההפעלה שתיצור.
‫LABELS: אופציונלי. מטא-נתונים שהוגדרו על ידי המשתמש לארגון ההקשרים.

ה-method של ה-HTTP וכתובת ה-URL:

POST https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/contexts?contextId=CONTEXT_ID

תוכן בקשת JSON:

{
  "displayName": "DISPLAY_NAME:",
  "parentContexts": [
    "PARENT_CONTEXT_1",
    "PARENT_CONTEXT_2"
  ],
  "schemaTitle": "METADATA_SCHEMA_TITLE",
  "schemaVersion": "METADATA_SCHEMA_VERSION",
  "metadata": {
    METADATA
  },
  "labels": {"LABEL_1":"LABEL_2"},
  "description": "DESCRIPTION"

}

כדי לשלוח את הבקשה צריך להרחיב אחת מהאפשרויות הבאות:

‫Curl (Linux,‏ macOS או Cloud Shell)

cat > request.json << 'EOF'
{
  "displayName": "DISPLAY_NAME:",
  "parentContexts": [
    "PARENT_CONTEXT_1",
    "PARENT_CONTEXT_2"
  ],
  "schemaTitle": "METADATA_SCHEMA_TITLE",
  "schemaVersion": "METADATA_SCHEMA_VERSION",
  "metadata": {
    METADATA
  },
  "labels": {"LABEL_1":"LABEL_2"},
  "description": "DESCRIPTION"

}
EOF

לאחר מכן מבצעים את הפקודה הבאה כדי לשלוח את בקשת ה-REST:

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/contexts?contextId=CONTEXT_ID"

‎PowerShell (Windows)

@'
{
  "displayName": "DISPLAY_NAME:",
  "parentContexts": [
    "PARENT_CONTEXT_1",
    "PARENT_CONTEXT_2"
  ],
  "schemaTitle": "METADATA_SCHEMA_TITLE",
  "schemaVersion": "METADATA_SCHEMA_VERSION",
  "metadata": {
    METADATA
  },
  "labels": {"LABEL_1":"LABEL_2"},
  "description": "DESCRIPTION"

}
'@  | Out-File -FilePath request.json -Encoding utf8

לאחר מכן מבצעים את הפקודה הבאה כדי לשלוח את בקשת ה-REST:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/contexts?contextId=CONTEXT_ID" | Select-Object -Expand Content

הפלט שיוצג אמור להיות דומה לזה שמופיע כאן. ‫CONTEXT_ID הוא המזהה של רשומת ההקשר.

{
  "name": "projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/contexts/CONTEXT_ID",
  "displayName": "Example context:",
  "etag": "67891011",
  "labels": {
    "test_label": "test_label_value"
  },
  "createTime": "2021-05-18T01:52:51.642Z",
  "updateTime": "2021-05-18T01:52:51.642Z",
  "schemaTitle": "system.Experiment",
  "schemaVersion": "0.0.1",
  "metadata": {},
  "description": "Description of the example context."
}

Python

from typing import Any, Dict, Optional

from google.cloud import aiplatform
from google.cloud.aiplatform.metadata.schema.system import context_schema


def create_context_sample(
    display_name: str,
    project: str,
    location: str,
    context_id: Optional[str] = None,
    metadata: Optional[Dict[str, Any]] = None,
    schema_version: Optional[str] = None,
    description: Optional[str] = None,
):
    aiplatform.init(project=project, location=location)

    return context_schema.Experiment(
        display_name=display_name,
        context_id=context_id,
        metadata=metadata,
        schema_version=schema_version,
        description=description,
    ).create()

‫display_name: השם המוצג של ההקשר. השדה הזה יכול להכיל עד 128 תווים ב-Unicode.
project: . אפשר למצוא את המזהים האלה בדף welcome במסוף Google Cloud .
‫location: ראו רשימה של מיקומים זמינים.
‫context_id: (אופציונלי) המזהה של רשומת ההקשר.
metadata מאפיינים שמתארים את ההקשר, כמו פרמטרים של ההקשר.
‫schema_version: הגרסה של הסכימה שמתארת את שדה המטא-נתונים.
‫description: (אופציונלי) מחרוזת קריאה שמתארת את מטרת יצירת ההקשר.

הוספת ארטיפקטים והרצות להקשר

כדי להוסיף ארטיפקטים והרצות להקשר:

REST

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

‫LOCATION_ID: האזור שלכם.
PROJECT_ID: .
‫METADATA_STORE: המזהה של מאגר המטא-נתונים שבו נוצרת ההרצה. מאגר המטא-נתונים שמוגדר כברירת מחדל נקרא default.
‫CONTEXT: (אופציונלי) המזהה של רשומת ההקשר.
מציינים את ARTIFACT שם המשאב של כל הארטיפקטים שרוצים להוסיף להקשר הזה. הפורמט של שם המשאב הוא:
projects/PROJECT_ID/locations/location/metadataStores/metadata-store/artifacts/artifact
מציינים את EXECUTION שם המשאב של כל ההרצות שרוצים להוסיף להקשר הזה. הפורמט של שם המשאב הוא:
projects/PROJECT_ID/locations/location/metadataStores/metadata-store/executions/execution

ה-method של ה-HTTP וכתובת ה-URL:

POST https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/contexts/CONTEXT:addContextArtifactsAndExecutions

תוכן בקשת JSON:

{
  "artifacts": [
    "projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/artifacts/ARTIFACT_ID"
  ],
  "executions": [
  "projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/executions/EXECUTION_ID"
  ]
}

כדי לשלוח את הבקשה צריך להרחיב אחת מהאפשרויות הבאות:

‫Curl (Linux,‏ macOS או Cloud Shell)

cat > request.json << 'EOF'
{
  "artifacts": [
    "projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/artifacts/ARTIFACT_ID"
  ],
  "executions": [
  "projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/executions/EXECUTION_ID"
  ]
}
EOF

לאחר מכן מבצעים את הפקודה הבאה כדי לשלוח את בקשת ה-REST:

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/contexts/CONTEXT:addContextArtifactsAndExecutions"

‎PowerShell (Windows)

@'
{
  "artifacts": [
    "projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/artifacts/ARTIFACT_ID"
  ],
  "executions": [
  "projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/executions/EXECUTION_ID"
  ]
}
'@  | Out-File -FilePath request.json -Encoding utf8

לאחר מכן מבצעים את הפקודה הבאה כדי לשלוח את בקשת ה-REST:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/metadataStores/METADATA_STORE/contexts/CONTEXT:addContextArtifactsAndExecutions" | Select-Object -Expand Content

אמור להתקבל קוד סטטוס של הצלחה (2xx) ותגובה ריקה.

מחשבים ניידים

כדי לקבל מידע נוסף, מריצים את מחברות ה-Notebook הבאות בסביבה הרצויה:

‫"Track metrics and parameters for Vertex AI custom training jobs, and perform detailed analysis":
פתיחה ב-Colab | פתיחה ב-Colab Enterprise | פתיחה ב-Vertex AI Workbench | הצגה ב-GitHub
‫"Track metrics and parameters for ML training jobs and analyze this metadata using Vertex AI SDK":
פתיחה ב-Colab | פתיחה ב-Colab Enterprise | פתיחה ב-Vertex AI Workbench | הצגה ב-GitHub
‫"Track artifacts and metrics across Vertex AI Pipelines runs using Vertex ML Metadata":
פתיחה ב-Colab | פתיחה ב-Colab Enterprise | פתיחה ב-Vertex AI Workbench | הצגה ב-GitHub

המאמרים הבאים

תחילת הניתוח של Vertex ML Metadata

מעקב אחר Vertex ML Metadata קל לארגן דפים בעזרת אוספים אפשר לשמור ולסווג תוכן על סמך ההעדפות שלך.

לפני שמתחילים

יצירת הפעלה

REST

‫Curl (Linux,‏ macOS או Cloud Shell)

‎PowerShell (Windows)

Python

Python

חיפוש של ארטיפקט קיים

REST

‫Curl (Linux,‏ macOS או Cloud Shell)

‎PowerShell (Windows)

Python

Python

יצירה של פריט מידע שנוצר בתהליך פיתוח (Artifact)

REST

‫Curl (Linux,‏ macOS או Cloud Shell)

‎PowerShell (Windows)

Python

Python

יצירת אירועים לקישור ארטיפקטים להרצה

REST

‫Curl (Linux,‏ macOS או Cloud Shell)

‎PowerShell (Windows)

Python

Python

יצירת הקשר

REST

‫Curl (Linux,‏ macOS או Cloud Shell)

‎PowerShell (Windows)

Python

Python

הוספת ארטיפקטים והרצות להקשר

REST

‫Curl (Linux,‏ macOS או Cloud Shell)

‎PowerShell (Windows)

מחשבים ניידים

המאמרים הבאים

מעקב אחר Vertex ML Metadata