ייצוא של מטא-נתונים והערות ממערך נתונים

‫Gemini Enterprise Agent Platform מאפשרת לכם לייצא את המטא-נתונים ואת קבוצות ההערות ממקור Dataset. היכולת הזו יכולה להיות שימושית אם אתם רוצים לשמור תיעוד של אוסף מסוים של שינויים, תוספות או מחיקות של הערות.

כשמייצאים Dataset, Agent Platform יוצר קובץ או קבצים של JSON Lines שמכילים את המטא-נתונים וההערות של Dataset, ושומר את הקבצים האלה של JSON Lines בספרייה ב-Cloud Storage לפי בחירתכם.

אפשר לייצא משאבי תמונות Dataset. אי אפשר לייצא משאבים טבלאיים Dataset.

ייצוא של Dataset לא יוצר עותקים נוספים של נתוני התמונה שעליהם מבוסס Dataset. קבצי JSON Lines שנוצרו בתהליכי הייצוא כוללים את כתובות ה-URI המקוריות ב-Cloud Storage של הנתונים שציינתם כשייבאתם את הנתונים האלה אל Dataset.

ייצוא Dataset באמצעות המסוף או ה-API Google Cloud

אפשר להשתמש במסוף Google Cloud או ב-Agent Platform API כדי לייצא Dataset. פועלים לפי השלבים בכרטיסייה המתאימה:

המסוף

1. במסוף Google Cloud , בקטע Agent Platform, עוברים לדף Datasets.

   כניסה לדף Datasets

2. בתפריט הנפתח Region, בוחרים את המיקום שבו מאוחסן Dataset.

3. מוצאים את השורה של Dataset. אפשר לייצא מטא-נתונים והערות של כל קבוצות ההערות או של קבוצת הערות ספציפית:

   • אם רוצים לייצא את המטא-נתונים וההערות של כל קבוצות ההערות של Dataset, לוחצים על הצגת פרטים נוספים ואז על ייצוא של מערך הנתונים.

     הפקודה הזו מורה ל-Agent Platform ליצור קבוצה של קובצי JSON Lines לכל קבוצת הערות.

   • אם רוצים לייצא מטא-נתונים והערות של קבוצת הערות ספציפית, מבצעים את הפעולות הבאות:

     1. לוחצים על הרחבת הצומת כדי להציג שורות לכל אחת מקבוצות ההערות של Dataset.

     2. בשורה של קבוצת ההערות שרוצים לייצא, לוחצים על הצגת אפשרויות נוספות ואז על ייצוא קבוצת ההערות.

     הפקודה הזו מורה ל-Agent Platform ליצור קבוצה של קבצים בפורמט JSON Lines עבור קבוצת ההערות שציינתם.

4. בתיבת הדו-שיח Export data (ייצוא נתונים), מזינים ספרייה ב-Cloud Storage שבה רוצים ש-Agent Platform ישמור את קובצי ה-JSON Lines שיוצאו. לוחצים על ייצוא.

REST

קבלת המזהה של Dataset

כדי לייצא Dataset, צריך לדעת את המזהה המספרי של Dataset. אם אתם יודעים את השם המוצג שלDataset אבל לא את המזהה, אפשר להרחיב את הקטע הבא כדי ללמוד איך לקבל את המזהה באמצעות ה-API:

קבלת מזהה של מערך נתונים מהשם המוצג שלו

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

• ‫LOCATION: המיקום שבו מאוחסן Dataset. לדוגמה, us-central1.

• ‫PROJECT_ID: [מזהה הפרויקט](/resource-manager/docs/creating-managing-projects#identifiers). .

• ‫DATASET_DISPLAY_NAME: השם המוצג של Dataset.

ה-method של ה-HTTP וכתובת ה-URL:

GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets?filter=displayName=DATASET_DISPLAY_NAME

כדי לשלוח את הבקשה אתם צריכים לבחור אחת מהאפשרויות הבאות:

curl

הערה: חשוב לוודא שהגדרתם את משתנה הסביבה GOOGLE_APPLICATION_CREDENTIALS כך שיצביע לנתיב של קובץ המפתח הפרטי בחשבון השירות שלכם.

מריצים את הפקודה הבאה:

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets?filter=displayName=DATASET_DISPLAY_NAME"

PowerShell

הערה: חשוב לוודא שהגדרתם את משתנה הסביבה GOOGLE_APPLICATION_CREDENTIALS כך שיצביע לנתיב של קובץ המפתח הפרטי בחשבון השירות שלכם.

מריצים את הפקודה הבאה:

$cred = gcloud auth application-default print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets?filter=displayName=DATASET_DISPLAY_NAME" | Select-Object -Expand Content

בדוגמה הבאה, התשובה קוצרה עם ... כדי להדגיש איפה אפשר למצוא את המזהה של Dataset: זה המספר שמופיע במקום DATASET_ID.

{
  "datasets": [
    {
      "name": "projects/PROJECT_NUMBER/locations/LOCATION/datasets/DATASET_ID",
      "displayName": "DATASET_DISPLAY_NAME",
      ...
    }
  ]
}

אפשר גם לקבל את המזהה של Dataset Google Cloud מהמסוף: נכנסים לדף Datasets (מערכי נתונים) בפלטפורמת הסוכנים ומוצאים את המספר בעמודה ID (מזהה).

כניסה לדף Datasets

ייצוא של קבוצה אחת או יותר של הערות

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

• ‫LOCATION: המיקום שבו מאוחסן Dataset. לדוגמה, us-central1.

• ‫PROJECT_ID: [מזהה הפרויקט](/resource-manager/docs/creating-managing-projects#identifiers). .

• ‫DATASET_ID: המזהה המספרי של Dataset.

• ‫EXPORT_DIRECTORY: ה-URI של Cloud Storage (מתחיל ב-gs://) של ספרייה שבה רוצים ש-Agent Platform ישמור את קובצי JSON Lines המיוצאים. הקובץ צריך להיות בקטגוריה ב-Cloud Storage שיש לכם גישה אליה, אבל הספרייה לא צריכה להתקיים עדיין.

• ‫FILTER: מחרוזת מסנן שקובעת אילו קבוצות של הערות ייצאו.

  • אם רוצים לייצא מטא-נתונים והערות לכל קבוצות ההערות של Dataset,מחליפים את FILTER במחרוזת ריקה (או משמיטים את השדה annotationsFilter מגוף הבקשה). הפקודה הזו אומרת ל-Agent Platform ליצור קבוצה של קובצי JSON Lines לכל קבוצת הערות.

  • אם רוצים לייצא מטא-נתונים והערות של קבוצת הערות ספציפית, מחליפים את FILTER בערך הבא:

    labels.aiplatform.googleapis.com/annotation_set_name=ANNOTATION_SET_ID
    

    הפקודה הזו אומרת ל-Agent Platform ליצור קבוצה של קובצי JSON Lines עבור קבוצת ההערות עם המזהה המספרי ANNOTATION_SET_ID.

    כדי למצוא את המזהה המספרי של קבוצת ההערות שרוצים לציין, צריך להציג את קבוצת ההערות במסוף Google Cloud ולחפש את הערך שאחרי annotationSetId בכתובת ה-URL.

ה-method של ה-HTTP וכתובת ה-URL:

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID:export

גוף בקשת JSON:

{
  "exportConfig": {
    "gcsDestination": {
      "outputUriPrefix": "EXPORT_DIRECTORY"
    },
    "annotationsFilter": "FILTER"
  }
}

כדי לשלוח את הבקשה עליכם לבחור אחת מהאפשרויות הבאות:

curl

הערה: חשוב לוודא שהגדרתם את משתנה הסביבה GOOGLE_APPLICATION_CREDENTIALS כך שיצביע לנתיב של קובץ המפתח הפרטי בחשבון השירות שלכם.

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה:

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID:export"

PowerShell

הערה: חשוב לוודא שהגדרתם את משתנה הסביבה GOOGLE_APPLICATION_CREDENTIALS כך שיצביע לנתיב של קובץ המפתח הפרטי בחשבון השירות שלכם.

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה:

$cred = gcloud auth application-default print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/datasets/DATASET_ID:export" | Select-Object -Expand Content

אתם אמורים לקבל תגובת JSON שדומה לזו:

{
  "name": "projects/PROJECT_NUMBER/locations/LOCATION/datasets/DATASET_ID/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.aiplatform.v1.ExportDataOperationMetadata",
    "genericMetadata": {
      "createTime": "2021-02-17T00:54:58.827429Z",
      "updateTime": "2021-02-17T00:54:58.827429Z"
    },
    "gcsOutputDirectory": "EXPORT_DIRECTORY/export-data-DATASET_DISPLAY_NAME-2021-02-17T00:54:58.734772Z"
  }
}

חלק מהבקשות מפעילות תהליכים ארוכים שדורשים זמן להשלמה. הבקשות האלה מחזירות שם פעולה, שאפשר להשתמש בו כדי לראות את הסטטוס של הפעולה או לבטל אותה. פלטפורמת הסוכנים מספקת שיטות עזר לביצוע קריאות לפעולות ממושכות. מידע נוסף זמין במאמר בנושא עבודה עם פעולות ממושכות.

הסבר על קבצים שיוצאו

בספריית הייצוא שציינתם בקטע הקודם, פלטפורמת הסוכן יוצרת ספרייה חדשה עם התווית Datasetשם התצוגה של הסוכן וחותמת זמן. לדוגמה, export-data-DATASET_DISPLAY_NAME-2021-02-17T00:54:58.734772Z. בספרייה הזו, תוכלו למצוא ספריית משנה לכל קבוצת הערות שיצאה.

לכל קבוצת אנוטציות אפשר למצוא קובץ אחד או יותר בפורמט JSON Lines. כל שורה בכל קובץ JSON Lines מייצגת פריט נתונים מתוך קבוצת ההערות. כל פריט נתונים יכול להכיל מטא-נתונים והערות שציינתם כשייבאתם את הנתונים לפלטפורמת הסוכנים, וגם מטא-נתונים והערות שהוספתם אחרי ייבוא הנתונים. לדוגמה, אם ביקשתם להוסיף תוויות לנתונים ב-Dataset או אם הוספתם ידנית תוויות או הערות ל-Dataset במסוףGoogle Cloud , המידע הזה ייכלל בקבצים המיוצאים.

אם מייצאים כמה קבוצות של הערות, יכול להיות שאותם פריטי נתונים יופיעו בכמה קבצים בפורמט JSON Lines. לדוגמה, אם מייצאים תמונה Dataset עם כמה קבוצות של הערות, יכול להיות שקובץ JSON Lines אחד יכיל פריט נתונים עם הערה של סיווג עם תווית אחת, וקובץ JSON Lines אחר של קבוצת הערות שונה יכיל את אותו פריט נתונים, אבל עם הערה של זיהוי אובייקטים.

הפורמט של הקבצים המיוצאים זהה לפורמט של קובצי הייבוא של JSON Lines שבהם אפשר להשתמש כדי לייבא נתונים ל-Agent Platform. הפורמט הזה תלוי בסוג הנתונים (תמונה או טבלה) ובמטרה (למשל, מעקב אחרי אובייקט, חילוץ ישויות או סיווג). לדוגמה, אם מייצאים קבוצת הערות לסיווג תמונות עם תווית אחת, כל שורה בכל קובץ JSON Lines מעוצבת לפי קובץ הסכימה gs://google-cloud-aiplatform/schema/dataset/ioformat/image_classification_single_label_io_format_1.0.0.yaml, כפי שמתואר במאמר הכנת נתוני תמונות.

הערה: אם מייצאים מערך נתונים ללא הערות, צריך לוודא שהשדות שנוצרו על ידי הייצוא תקינים לפני שמנסים לייבא את הנתונים למטרה ספציפית. לדוגמה, אם מייצאים מערך נתונים של תמונות ללא הערות, קובץ ה-JSON Lines המיוצא מכיל מערך classificationAnnotations ריק. השדה הזה רלוונטי רק למטרות ספציפיות ולקובצי סכימת ה-YAML התואמים שלהן. מידע נוסף זמין בדף בנושא הכנת נתוני אימון.

המאמרים הבאים

• איך מוסיפים תוויות לנתונים באמצעות Google Cloud המסוף
• מידע נוסף על עבודה עם מערכי נתונים בפלטפורמת הסוכנים