הגדרת דרישות מוקדמות למשימות העשרה

כדי ליצור משימות העשרה ב-Knowledge Studio, יכול להיות שתצטרכו להגדיר כמה רכיבי תשתית בסיסיים, בהתאם לארכיטקטורת האבטחה ולמקורות נתוני היעד.

במדריך הזה מוסבר איך להגדיר חשבונות שירות בניהול הלקוח, ספקי אימות של צד שלישי, קטגוריות של Cloud Storage ותצוגות של Cloud Logging.

בטבלה הבאה מתוארות ההגדרות המוקדמות ומתי צריך להגדיר אותן:

תכונת הגדרה מתי להגדיר
Google Cloud APIs חובה. כדי להריץ תהליכי עבודה של העשרה, צריך להפעיל את ממשקי ה-API הבסיסיים של Google Cloud .
חשבון שירות בניהול הלקוח אתם רוצים להגביל את הרשאות הקריאה והכתיבה בקבוצות הנתונים של היעד.
תפקידים של ניהול זהויות והרשאות גישה (IAM) של משתמשים אתם צריכים לתת למנהלי תהליכי העבודה ולבודקים הרשאות ליצור ולאשר מטא-נתונים.
ספקי אימות של צד שלישי אתם מתחברים למקורות ידע של צד שלישי (כמו Microsoft SharePoint,‏ Atlassian Confluence או GitHub).
קטגוריות של Cloud Storage אתם מטמיעים הקשר עסקי לא מובנה (כמו קובצי PDF,‏ Markdown ו-CSV) וקבוצות נתונים להערכה.
מערכי נתונים להערכה אתם רוצים לספק שאילתות ראשוניות וקבוצות נתונים להשוואה כדי לעקוב באופן פעיל אחרי הדיוק של הנציג.
מעקב אחרי סוכנים ללמידה עצמית אתם רוצים שסוכן ההעשרה ינתח באופן אוטומטי את האינטראקציות של סוכן Gemini Enterprise בהמשך התהליך.
יצירת פרופילים של נתונים ותובנות מנתונים מומלץ. אתם רוצים לשפר את איכות ההעשרה על ידי יצירת פרופילים סטטיסטיים ותובנות בסיסיות של AI בטבלאות שנמצאות בשימוש תכוף.

לפני שמתחילים

  1. נכנסים לחשבון Google Cloud . אנחנו ממליצים למשתמשים חדשים ב- Google Cloud ליצור חשבון כדי שיוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the Dataplex, Data Lineage, BigQuery, Cloud Storage, and IAM Credentials APIs, if any are not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the APIs

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the Dataplex, Data Lineage, BigQuery, Cloud Storage, and IAM Credentials APIs, if any are not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the APIs

    8.

פרטים על ממשקי ה-API הנדרשים

כדי להגדיר ולהריץ משימות העשרה, ממשקי ה-API המופעלים מבצעים את הפונקציות הבאות:

שם ה-API מזהה שירות מטרה בתהליכי עבודה של העשרה
Dataplex API dataplex.googleapis.com ה-API הראשי של מישור הבקרה. מנהל את EnrichmentTask, EnrichmentRun, קבוצות הקשר, בקשות לשינוי ואת EnrichmentChatService.
BigQuery API bigquery.googleapis.com נדרש כדי לסרוק סכימות של טבלאות, להטמיע היסטוריית הרצה של SQL ולשלוח שאילתות לטבלאות מעקב של BigQuery Agent Analytics.
Cloud Storage API storage.googleapis.com נדרשת כדי להטמיע קבוצות הערכה ולנהל דוגמאות של מערכי נתונים להערכה.
IAM Service Account Credentials API iamcredentials.googleapis.com נדרש כדי לאמת באופן מאובטח את סוכן ההפעלה ולהעניק פרטי כניסה לטווח קצר (SLC) במהלך משימות.

הגדרת חשבון שירות בניהול הלקוח

משימות העשרה משתמשות בחשבון שירות בניהול הלקוח כדי להריץ פעולות. כך תוכלו להגביל את הרשאות הקריאה והכתיבה במערכי הנתונים של היעד.

  1. יוצרים את חשבון השירות.

    כדי ליצור חשבון שירות, אתם צריכים להיות Project Owner (roles/owner) או עורכים (roles/editor), או שצריך להיות לכם את התפקיד אדמין של חשבון שירות (roles/iam.serviceAccountAdmin).

    חשבון שירות ייעודי מבודד את פעולות ההעשרה, ומאפשר לכם להעניק רק את הרשאות הקריאה והכתיבה הספציפיות שנדרשות למשימות האלה בלי להשפיע על עומסי עבודה אחרים.

    כדי ליצור חשבון שירות:

    Google Cloud CLI

    כדי ליצור חשבון שירות, משתמשים בפקודה gcloud iam service-accounts create:

    לפני השימוש בנתוני הפקודה הבאים, צריך להחליף את הנתונים הבאים:

    • ‫SERVICE_ACCOUNT_NAME: השם של חשבון השירות

    מריצים את הפקודה הבאה:

    ‫Linux,‏ macOS או Cloud Shell

    gcloud iam service-accounts create SERVICE_ACCOUNT_NAME \
    --description="Service Account for Dataplex Knowledge Catalog enrichment agent execution" \
    --display-name="Knowledge Catalog enrichment agent SA"

    ‏Windows (PowerShell)

    gcloud iam service-accounts create SERVICE_ACCOUNT_NAME `
    --description="Service Account for Dataplex Knowledge Catalog enrichment agent execution" `
    --display-name="Knowledge Catalog enrichment agent SA"

    Windows‏ (cmd.exe)

    gcloud iam service-accounts create SERVICE_ACCOUNT_NAME ^
    --description="Service Account for Dataplex Knowledge Catalog enrichment agent execution" ^
    --display-name="Knowledge Catalog enrichment agent SA"

    REST

    לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

    • ‫SERVICE_ACCOUNT_NAME: השם של חשבון השירות
    • ‫TARGET_PROJECT_ID: מזהה הפרויקט ב-Google Cloud

    ה-method של ה-HTTP וכתובת ה-URL: 

    POST https://iam.googleapis.com/v1/projects/TARGET_PROJECT_ID/serviceAccounts

    תוכן בקשת JSON: 

    {
   "accountId": "SERVICE_ACCOUNT_NAME",
   "serviceAccount": {
    "displayName": "Knowledge Catalog enrichment agent SA",
    "description": "Service Account for Dataplex Knowledge Catalog enrichment agent execution"
   }
  }

    כדי לשלוח את הבקשה צריך להרחיב אחת מהאפשרויות הבאות:

    אמורים לקבל קוד סטטוס של הצלחה (2xx) ותגובה ריקה.

  2. מקצים את תפקידי ה-IAM הנדרשים ברמת המשאב לחשבון השירות שמבצע את הפעולות בהיקפי היעד:

    • עריכת קטלוג Dataplex (roles/dataplex.catalogEditor) וצפייה בקטלוג Dataplex (roles/dataplex.catalogViewer): מאפשרות לסוכן לבדוק את המטא-נתונים של הקטלוג, ליצור רשומות עבודה זמניות ולפרסם באופן ידני העשרות שאושרו.
    • (אופציונלי) מאשר תהליכי עבודה ב-Dataplex‏ (roles/dataplex.workflowApprover): נדרש רק אם מפעילים את האפשרות פרסום אוטומטי במשימה. מאפשרת לנציג לאשר ולפרסם באופן אוטומטי את הבקשות שלו לשינוי מטא-נתונים.
    • צפייה בנתונים ב-BigQuery ‏ (roles/bigquery.dataViewer): מאפשרת לסוכן לקרוא סכימות של טבלאות, מטא-נתונים של עמודות וטבלאות מעקב של ניתוח נתונים של הסוכן.

    הערה: דוגמאות הקוד הבאות מקצות את התפקידים האלה ברמת הפרויקט כדי להקל על ההגדרה. במערכות בסביבת הייצור, מומלץ מאוד להקצות את התפקידים האלה באופן מאובטח ברמת המשאב בקבוצות הנתונים הספציפיות שלכם לטירגוט.

    כדי להקצות את התפקידים הרגילים האלה:

    כדי להוסיף לפרויקט קישור למדיניות IAM, משתמשים בפקודה gcloud projects add-iam-policy-binding:

    לפני השימוש בנתוני הפקודה הבאים, צריך להחליף את הנתונים הבאים:

    • ‫SERVICE_ACCOUNT_NAME: השם של חשבון השירות
    • ‫TARGET_PROJECT_ID: מזהה הפרויקט ב-Google Cloud

    מריצים את הפקודה הבאה:

    ‫Linux,‏ macOS או Cloud Shell

    gcloud projects add-iam-policy-binding TARGET_PROJECT_ID \
    --member="serviceAccount:SERVICE_ACCOUNT_NAME@TARGET_PROJECT_ID.iam.gserviceaccount.com" \
    --role="roles/dataplex.catalogEditor"

gcloud projects add-iam-policy-binding TARGET_PROJECT_ID \
    --member="serviceAccount:SERVICE_ACCOUNT_NAME@TARGET_PROJECT_ID.iam.gserviceaccount.com" \
    --role="roles/bigquery.dataViewer"

    ‏Windows (PowerShell)

    gcloud projects add-iam-policy-binding TARGET_PROJECT_ID `
    --member="serviceAccount:SERVICE_ACCOUNT_NAME@TARGET_PROJECT_ID.iam.gserviceaccount.com" `
    --role="roles/dataplex.catalogEditor"

gcloud projects add-iam-policy-binding TARGET_PROJECT_ID `
    --member="serviceAccount:SERVICE_ACCOUNT_NAME@TARGET_PROJECT_ID.iam.gserviceaccount.com" `
    --role="roles/bigquery.dataViewer"

    Windows‏ (cmd.exe)

    gcloud projects add-iam-policy-binding TARGET_PROJECT_ID ^
    --member="serviceAccount:SERVICE_ACCOUNT_NAME@TARGET_PROJECT_ID.iam.gserviceaccount.com" ^
    --role="roles/dataplex.catalogEditor"

gcloud projects add-iam-policy-binding TARGET_PROJECT_ID ^
    --member="serviceAccount:SERVICE_ACCOUNT_NAME@TARGET_PROJECT_ID.iam.gserviceaccount.com" ^
    --role="roles/bigquery.dataViewer"

  3. כדי לתת למשתמשים הרשאת משתמש להתחזות לחשבון השירות, מקצים להם את התפקיד משתמש בחשבון שירות (roles/iam.serviceAccountUser):

    למשתמשים שיוצרים את משימות ההעשרה במסוף צריכה להיות ההרשאה הזו, כדי שהם יוכלו לציין את חשבון השירות הזה ולצרף אותו למשימה.

    כדי לתת למשתמשים את התפקיד "משתמש בחשבון שירות":

    כדי להוסיף מדיניות IAM שמקושרת לחשבון שירות, משתמשים בפקודה gcloud iam service-accounts add-iam-policy-binding:

    לפני השימוש בנתוני הפקודה הבאים, צריך להחליף את הנתונים הבאים:

    • ‫SERVICE_ACCOUNT_NAME: השם של חשבון השירות
    • ‫TARGET_PROJECT_ID: מזהה הפרויקט ב-Google Cloud
    • USER_EMAIL: כתובת האימייל של המשתמש

    מריצים את הפקודה הבאה:

    ‫Linux,‏ macOS או Cloud Shell

    gcloud iam service-accounts add-iam-policy-binding SERVICE_ACCOUNT_NAME@TARGET_PROJECT_ID.iam.gserviceaccount.com \
    --member="user:USER_EMAIL@domain.com" \
    --role="roles/iam.serviceAccountUser"

    ‏Windows (PowerShell)

    gcloud iam service-accounts add-iam-policy-binding SERVICE_ACCOUNT_NAME@TARGET_PROJECT_ID.iam.gserviceaccount.com `
    --member="user:USER_EMAIL@domain.com" `
    --role="roles/iam.serviceAccountUser"

    Windows‏ (cmd.exe)

    gcloud iam service-accounts add-iam-policy-binding SERVICE_ACCOUNT_NAME@TARGET_PROJECT_ID.iam.gserviceaccount.com ^
    --member="user:USER_EMAIL@domain.com" ^
    --role="roles/iam.serviceAccountUser"

  4. כדי לאפשר לסוכן השירות הפנימי של Knowledge Catalog להתחזות לחשבון השירות הזה, מקצים לו את התפקיד יצירת אסימונים בחשבון שירות (roles/iam.serviceAccountTokenCreator):

    כך שירות Knowledge Catalog הבסיסי יכול להשתמש בזהות של חשבון השירות הייעודי הזה ובהרשאות המוגבלות שלו, כשהוא מפעיל את פעולות ההעשרה ברקע בשבילכם.

    כדי לתת לסוכן הרשאה להשתמש בזהות של חשבון השירות:

    כדי להוסיף מדיניות IAM שמקושרת לחשבון שירות, משתמשים בפקודה gcloud iam service-accounts add-iam-policy-binding:

    לפני השימוש בנתוני הפקודה הבאים, צריך להחליף את הנתונים הבאים:

    • ‫SERVICE_ACCOUNT_NAME: השם של חשבון השירות
    • ‫TARGET_PROJECT_ID: מזהה הפרויקט ב-Google Cloud
    • ‫TARGET_PROJECT_NUMBER: מספר הפרויקט ב-Google Cloud

    מריצים את הפקודה הבאה:

    ‫Linux,‏ macOS או Cloud Shell

    gcloud iam service-accounts add-iam-policy-binding SERVICE_ACCOUNT_NAME@TARGET_PROJECT_ID.iam.gserviceaccount.com \
    --member="serviceAccount:service-TARGET_PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com" \
    --role="roles/iam.serviceAccountTokenCreator"

    ‏Windows (PowerShell)

    gcloud iam service-accounts add-iam-policy-binding SERVICE_ACCOUNT_NAME@TARGET_PROJECT_ID.iam.gserviceaccount.com `
    --member="serviceAccount:service-TARGET_PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com" `
    --role="roles/iam.serviceAccountTokenCreator"

    Windows‏ (cmd.exe)

    gcloud iam service-accounts add-iam-policy-binding SERVICE_ACCOUNT_NAME@TARGET_PROJECT_ID.iam.gserviceaccount.com ^
    --member="serviceAccount:service-TARGET_PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com" ^
    --role="roles/iam.serviceAccountTokenCreator"

הקצאת תפקידי IAM נדרשים למשתמשים

כדי לוודא שהצוות שלכם יכול לנהל תהליכי עבודה של העשרה ולבדוק הצעות שנוצרו על ידי AI, צריך לתת למשתמשים את התפקידים המתאימים ב-IAM. במאמר ניהול הגישה לפרויקטים, לתיקיות ולארגונים מוסבר איך מקצים את התפקידים האלה.

מנהלי תהליכי עבודה (כמו מנהלי מדיניות מידע ארגונית) שיוצרים, מגדירים ומנטרים משימות צריכים את התפקידים הבאים:

  • עריכת Dataplex DataScan ‏ (roles/dataplex.dataScanEditor) או עריכת Dataplex ‏ (roles/dataplex.editor): מאפשרת למשתמשים ליצור, לשנות, להפעיל ולבטל משימות העשרה.
  • משתמש בחשבון שירות (roles/iam.serviceAccountUser) בחשבון השירות בניהול הלקוח: נדרש כדי לצרף את חשבון השירות כזהות לביצוע המשימה.

בודקי שינויים (כמו בעלי דומיינים או מומחים בתחום) שבודקים, מאשרים ומפרסמים בקטלוג הצעות למטא-נתונים שנוצרו על ידי AI, צריכים את התפקידים הבאים:

  • עריכת קטלוג Dataplex (roles/dataplex.catalogEditor) וצפייה בקטלוג Dataplex (roles/dataplex.catalogViewer): נדרשים כדי לפתוח בקשות לשינויים, לבדוק את ההבדלים בין ההצעות זו לצד זו ולערוך תיאורים בתוך השורה.
  • Dataplex Workflow Approver ‏ (roles/dataplex.workflowApprover): נדרש כדי לאשר ולפרסם בקשות לשינויים בקטלוג הפעיל.
  • Dataplex DataScan Viewer ‏ (roles/dataplex.dataScanViewer) או Dataplex Viewer ‏ (roles/dataplex.viewer): נדרש כדי לבדוק את ציוני הסמך לכל הצעה, את אבחון שגיאות הבדיקה ואת כרטיסי המידע של ציוני ההערכה במורד הזרם.

הגדרת ספקי אימות של צד שלישי

כשמחברים את סוכן ההעשרה למקורות ידע של צד שלישי (כמו Microsoft SharePoint,‏ Atlassian Confluence או GitHub), צריך להגדיר ספק אימות באמצעות שירות Agent Identity של Google Cloud.

התכונה Agent Identity פועלת כמנהל פרטי כניסה מאובטח שמצפין את הטוקנים של הצד השלישי בתוך הפרויקט, וכך מבטיח שמפעילים אנושיים לא יצטרכו לטפל בסודות לקוח גולמיים במהלך ביצוע המשימה.

במאמר הגדרת מחברים חיצוניים למשימות העשרה מוסבר איך ליצור את האסימונים הנדרשים ולהגדיר את ספק האימות לפלטפורמות חיצוניות ספציפיות.

הגדרת הרשאות IAM לספקי אימות

כדי לאפשר לסוכן ההעשרה לאחזר באופן דינמי ומאובטח את פרטי הכניסה של ספק האימות במהלך הפעלה, צריך להקצות את התפקיד Agent Identity Admin (roles/agentidentity.admin) לסוכן השירות המנוהל של Knowledge Catalog (service-<var>PROJECT_NUMBER</var>@gcp-sa-dataplex.iam.gserviceaccount.com). אתם יכולים להקצות את התפקיד הזה ברמת המשאב של ספק האימות או ברמת הפרויקט.

בנוסף, למשתמש האנושי שמצרף את ספק האימות למשימה במסוףGoogle Cloud צריכה להיות ההרשאה agentidentity.authProviders.get (כלולה בתפקיד צפייה בזהות הסוכן (roles/agentidentity.viewer)) בספק האימות.

הכנת קטגוריות של Cloud Storage

‫Cloud Storage משמש כשכבה הראשית להעלאת קבצים, להטמעת הקשר ולייצוא פריטי מידע בתהליכי עבודה של העשרת ידע.

אתם יכולים להגדיר את הנציג כך שיקלוט קבצים מקטגוריית קלט אחת או יותר, כדי לבסס את החשיבה שלו על הידע שלכם בתחום הארגוני. סוגי ההקשרים הנתמכים כוללים:

  • מסמכי תיעוד של דומיינים ומילוני נתונים: קובצי Markdown, טקסט פשוט, PDF, ‏HTML או CSV שמכילים הגדרות של טבלאות, מילוני מונחים ארגוניים, נהלי הפעלה סטנדרטיים (SOP), ארכיטקטורות של צינורות עיבוד נתונים או הנחיות למתן שמות לעמודות.

  • קבוצות נתונים להערכה: קובצי JSONL או CSV שבהם מאוחסנות שאילתות ראשוניות וקבוצות של שאילתות אימות שהוחזקו בצד. מידע נוסף זמין במאמר פורמט של מערכי נתונים להערכה.

  • סקריפטים של SQL וטרנספורמציה: סקריפטים שמורים של SQL, הגדרות של מודל dbt או לוגיקה של טרנספורמציית ETL שמספקים אותות לפי הקשר לגבי דפוסי צירוף טבלאות וחישובים עסקיים.

אחרי שמגדירים את סוכן ההעשרה, הוא יכול גם לייצא חבילות מובְנות ופריטי מידע שנוצרו במהלך ההרצה לקטגוריית פלט. הפלט יכול לכלול את פריטי המידע הבאים:

  • דוחות הערכה מפורטים: כרטיסי ניקוד מקיפים שמציגים את ההבדלים ברמת הדיוק לכל שאילתה, אבחון של שגיאות בדיקה ומדדים של התפלגות רמת הסמך.

כדי לוודא שסוכן ההעשרה יכול לפעול מחוץ לקטגוריה, צריך לוודא שלחשבון השירות לביצוע יש את ההרשאות הנדרשות.

  • מקצים את התפקיד "צפייה באובייקט" (roles/storage.objectViewer) בקטגוריות הקלט, כדי שהסוכן יוכל לקרוא מסמכים וקובצי תצורה של שלבים.
  • (אופציונלי) אם רוצים שהסוכן ישמור פריטי מידע שנוצרו במהלך ההפעלה ויומני אימות, מקצים את התפקיד "יצירת אובייקטים" (roles/storage.objectCreator) בקטגוריית הפלט.

כדי לתת לחשבון השירות גישה לקטגוריות של Cloud Storage:

כדי להוסיף קישור של מדיניות IAM לקטגוריית אחסון, משתמשים בפקודה gcloud storage buckets add-iam-policy-binding:

לפני השימוש בנתוני הפקודה הבאים, צריך להחליף את הנתונים הבאים:

  • ‫CUSTOMER_BUCKET: השם של הקטגוריה של Cloud Storage
  • ‫SERVICE_ACCOUNT_NAME: השם של חשבון השירות
  • ‫TARGET_PROJECT_ID: מזהה הפרויקט ב-Google Cloud

מריצים את הפקודה הבאה:

‫Linux,‏ macOS או Cloud Shell

gcloud storage buckets add-iam-policy-binding gs://CUSTOMER_BUCKET \
    --member="serviceAccount:SERVICE_ACCOUNT_NAME@TARGET_PROJECT_ID.iam.gserviceaccount.com" \
    --role="roles/storage.objectViewer"

‏Windows (PowerShell)

gcloud storage buckets add-iam-policy-binding gs://CUSTOMER_BUCKET `
    --member="serviceAccount:SERVICE_ACCOUNT_NAME@TARGET_PROJECT_ID.iam.gserviceaccount.com" `
    --role="roles/storage.objectViewer"

Windows‏ (cmd.exe)

gcloud storage buckets add-iam-policy-binding gs://CUSTOMER_BUCKET ^
    --member="serviceAccount:SERVICE_ACCOUNT_NAME@TARGET_PROJECT_ID.iam.gserviceaccount.com" ^
    --role="roles/storage.objectViewer"

עיצוב של מערכי נתונים להערכה

תהליכי עבודה של העשרה יכולים לחלץ מידע באופן אוטומטי בלי דוגמאות. עם זאת, אם תספקו קבוצות נתונים להערכה, הנציג יוכל לבדוק את עצמו ולשפר את הדיוק שלו.

אפשר לספק שני סוגים של מערכי נתונים:

  • קבוצת אוצרות: רשימה של שאלות לדוגמה של משתמשים ושאילתות ה-SQL הצפויות. הסוכן משתמש ברשימה הזו כדי להתאמן ולכתוב סיכומי טבלאות טובים יותר.

  • קבוצת הערכה: רשימה נפרדת של שאלות שמשמשות למתן ציון לביצועים של הנציג. אם הסוכן לא פועל כמו שצריך, קבוצת ההערכה הזו מונעת פרסום של עדכונים לא תקינים בקטלוג.

לחלופין, אתם יכולים לספק קבוצת נתונים אחת מאוחדת. שירות ההעשרה מחלק את הנתונים באופן אוטומטי לקבוצת נתונים לאיסוף ולקבוצת נתונים להערכה.

הדרישות בנוגע לסכימה של קבוצת הנתונים

קבוצות הנתונים להערכה צריכות להיות בפורמט של קובצי JSONL ומאוחסנות ב-Cloud Storage. כל שורה בקובץ צריכה להכיל שאלה בשפה טבעית, יחד עם שאילתת ה-SQL הצפויה של אמת הקרקע (ground truth).

חשוב לוודא שהקובץ תואם לסכימה של מערך הנתונים להערכה שנקבעה על ידי Gemini Enterprise Agent Platform. בטבלה הבאה מוצגים שדות הפורמט המקובלים:

שם השדה סוג תיאור
display_name STRING זה שינוי אופציונלי. מזהה או שם של בקשת ההערכה.
evaluation_request.prompt.text STRING השאלה בשפה טבעית או ההנחיה של המשתמש.
evaluation_request.golden_response.candidate STRING מזהה את התשובה המדויקת. הגדרת הערך golden.
evaluation_request.golden_response.text STRING שאילתת ה-SQL המאומתת, שהיא אמת הקרקע (ground truth) שעונה על השאלה. המודל לחישוב הציון מריץ את ה-SQL הזה על הנתונים.

קטע הקוד הבא מציג קובץ הערכה תקין של .jsonl:

{"display_name": "revenue-2026", "evaluation_request": {"prompt": {"text": "What is total revenue for customer C100 in 2026?"}, "golden_response": {"candidate": "golden", "text": "SELECT SUM(amount) FROM `project.dataset.orders` WHERE customer_id = 'C100' AND EXTRACT(YEAR FROM order_date) = 2026;"}}}
{"display_name": "monthly-subscribers", "evaluation_request": {"prompt": {"text": "List active subscribers on monthly billing"}, "golden_response": {"candidate": "golden", "text": "SELECT user_id, email FROM `project.dataset.subscriptions` WHERE status = 'ACTIVE' AND plan_type = 'MONTHLY';"}}}

ב מסמכי התיעוד של Gemini Enterprise Agent Platform מפורטות הנחיות ליצירת מערכי נתונים איכותיים להערכה.

הגדרת מעקבים של סוכנים ללמידה עצמית

כדי לאפשר לסוכן ההעשרה לנתח באופן אוטומטי אינטראקציות של סוכני Gemini Enterprise במורד הזרם (או אפליקציות מותאמות אישית של Gemini Enterprise Agent Platform), אתם יכולים לתת לו גישת קריאה לעקבות האינטראקציה של האפליקציה.

הטמעת העקבות האלה מאפשרת לסוכן לבצע כריית מסלולים. הנציג מזהה את המקומות שבהם נציגים אחרים נתקלו בקשיים בגלל הקשר חסר, מקבץ שאלות נפוצות של משתמשים לסוגי שאילתות בעלי השפעה רבה, ויוצר באופן אוטומטי את סיכומי הטבלאות, הסמנטיקה של העמודות ומונחי מילון המונחים הארגוני שנדרשים כדי לפתור את הפערים האלה.

בהתאם לארכיטקטורה של הארגון, בוחרים באחת משתי שיטות ההגדרה הבאות:

רישום ישיר ביומן באמצעות תצוגות יומן ברמת ההיקף (מומלץ)

כשהרישום ביומן של אינטראקציות מופעל באפליקציה, יומני הביצוע מועברים ישירות ל-Logging. כדי לפעול לפי העיקרון של הרשאות מינימליות, יוצרים תצוגת יומן ייעודית שמוגבלת לאפליקציה הספציפית, ונותנים לחשבון השירות של הביצוע הרשאת קריאה רק בתצוגה הזו.

  1. ליצור תצוגת יומנים ממוקדת כדי לבודד את היומנים. כך שירות ההעשרה קורא רק נתוני טלמטריה מאפליקציות ספציפיות שהוגדרו (לדוגמה, על ידי סינון לפי resource.type="aiplatform.googleapis.com/Agent"), ומונע גישה לא מורשית ליומנים הרחבים יותר ב-Cloud.

    ‫CLI של gcloud

    כדי ליצור תצוגת יומנים מוגדרת, משתמשים בפקודה gcloud logging views create:

    לפני השימוש בנתוני הפקודה הבאים, צריך להחליף את הנתונים הבאים:

    • ‫LOG_VIEW_NAME: השם של תצוגת היומן
    • ‫YOUR_GEMINI_ENTERPRISE_APP_ID: מזהה האפליקציה של Gemini Enterprise

    מריצים את הפקודה הבאה:

    ‫Linux,‏ macOS או Cloud Shell

    gcloud logging views create LOG_VIEW_NAME \
    --location=global \
    --bucket=_Default \
    --log-filter='resource.type="aiplatform.googleapis.com/Agent" AND resource.labels.agent_id="YOUR_GEMINI_ENTERPRISE_APP_ID"'

    ‏Windows (PowerShell)

    gcloud logging views create LOG_VIEW_NAME `
    --location=global `
    --bucket=_Default `
    --log-filter='resource.type="aiplatform.googleapis.com/Agent" AND resource.labels.agent_id="YOUR_GEMINI_ENTERPRISE_APP_ID"'

    Windows‏ (cmd.exe)

    gcloud logging views create LOG_VIEW_NAME ^
    --location=global ^
    --bucket=_Default ^
    --log-filter='resource.type="aiplatform.googleapis.com/Agent" AND resource.labels.agent_id="YOUR_GEMINI_ENTERPRISE_APP_ID"'

    REST

    לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

    • ‫LOG_VIEW_NAME: השם של תצוגת היומן
    • ‫TARGET_PROJECT_ID: מזהה הפרויקט ב-Google Cloud
    • ‫YOUR_GEMINI_ENTERPRISE_APP_ID: מזהה האפליקציה של Gemini Enterprise

    ה-method של ה-HTTP וכתובת ה-URL: 

    POST https://logging.googleapis.com/v2/projects/TARGET_PROJECT_ID/locations/global/buckets/_Default/views?viewId=LOG_VIEW_NAME

    תוכן בקשת JSON: 

    {
 "filter": "resource.type=\"aiplatform.googleapis.com/Agent\" AND resource.labels.agent_id=\"YOUR_GEMINI_ENTERPRISE_APP_ID\""
}

    כדי לשלוח את הבקשה צריך להרחיב אחת מהאפשרויות הבאות:

    אמורים לקבל קוד סטטוס של הצלחה (2xx) ותגובה ריקה.

  2. אחרי שיוצרים את תצוגת היומן, נותנים לחשבון השירות של הביצוע גישת קריאה אליה. כך משימת ההעשרה מקבלת הרשאה לשלוף את נתוני הטלמטריה של האפליקציה שהיא צריכה במהלך שלב הלמידה העצמית.

    כדי להוסיף קישור למדיניות IAM לתצוגת יומנים, משתמשים בפקודה gcloud logging views add-iam-policy-binding:

    לפני השימוש בנתוני הפקודה הבאים, צריך להחליף את הנתונים הבאים:

    • ‫LOG_VIEW_NAME: השם של תצוגת היומן
    • ‫SERVICE_ACCOUNT_NAME: השם של חשבון השירות
    • ‫TARGET_PROJECT_ID: מזהה הפרויקט ב-Google Cloud

    מריצים את הפקודה הבאה:

    ‫Linux,‏ macOS או Cloud Shell

    gcloud logging views add-iam-policy-binding LOG_VIEW_NAME \
    --location=global \
    --bucket=_Default \
    --member="serviceAccount:SERVICE_ACCOUNT_NAME@TARGET_PROJECT_ID.iam.gserviceaccount.com" \
    --role="roles/logging.viewAccessor"

    ‏Windows (PowerShell)

    gcloud logging views add-iam-policy-binding LOG_VIEW_NAME `
    --location=global `
    --bucket=_Default `
    --member="serviceAccount:SERVICE_ACCOUNT_NAME@TARGET_PROJECT_ID.iam.gserviceaccount.com" `
    --role="roles/logging.viewAccessor"

    Windows‏ (cmd.exe)

    gcloud logging views add-iam-policy-binding LOG_VIEW_NAME ^
    --location=global ^
    --bucket=_Default ^
    --member="serviceAccount:SERVICE_ACCOUNT_NAME@TARGET_PROJECT_ID.iam.gserviceaccount.com" ^
    --role="roles/logging.viewAccessor"

מידע נוסף זמין במאמר הגדרת תצוגות של יומנים בקטגוריית יומנים.

BigQuery Agent Analytics

אם הארגון שלכם מעביר יומני אינטראקציות ל-BigQuery באמצעות sink ביומן של Logging, או כותב ישירות לטבלאות של BigQuery Agent Analytics, אתם יכולים לתת גישה למערך הנתונים במקום זאת.

מוודאים שיומני האינטראקציות מוגדרים להעברה בסטרימינג למערך נתונים ייעודי ב-BigQuery, ומוודאים שלחשבון השירות שמשמש להפעלה הוקצה התפקיד "צפייה בנתונים ב-BigQuery" (roles/bigquery.dataViewer) במערך הנתונים הספציפי הזה. כך הסוכן יכול לקרוא את נתוני הטלמטריה שיוצאו ישירות מ-BigQuery.

מידע נוסף על ייצוא יומנים זמין במאמר ניתוב יומנים ליעדים נתמכים.

הפעלת פרופיל נתונים ותובנות מנתונים

לפני שמריצים משימת העשרה, מומלץ להפעיל פרופיל נתונים ותובנות מנתונים באמצעות AI בטבלאות היעד שבהן אתם משתמשים לעיתים קרובות. פרופיל הנתונים מספק מאפיינים סטטיסטיים, כמו ערכים נפוצים, התפלגויות נתונים וספירות של ערכי null, והתובנות מהנתונים יוצרות תיאורי טבלאות בסיסיים ושאילתות לדוגמה. האותות האלה עוזרים לסוכן ההעשרה ליצור הצעות מדויקות יותר למטא-נתונים.

המאמרים הבאים