הדרכה: ביצוע הערכה באמצעות המסוף

במאמר הזה מוסבר איך מתחילים להשתמש בשירות להערכת AI גנרטיבי באמצעות מסוף Google Google Cloud .

לפני שמתחילים

נכנסים לחשבון Google Cloud . אם אתם משתמשים חדשים ב- Google Cloud, צרו חשבון כדי שתוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.
Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.
Go to project selector
Verify that billing is enabled for your Google Cloud project.
Make sure that you have the following role or roles on the project: Storage Admin
Check for the roles
1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.
Grant the roles
1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.
3. Click Grant access.

4. In the New principals field, enter your user identifier. This is typically the email address for a Google Account.

5. Click Select a role, then search for the role.
6. To grant additional roles, click Add another role and add each additional role.
7. Click Save.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Make sure that you have the following role or roles on the project: Storage Admin

Check for the roles

1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.

Grant the roles

1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.
3. Click Grant access.

4. In the New principals field, enter your user identifier. This is typically the email address for a Google Account.

5. Click Select a role, then search for the role.
6. To grant additional roles, click Add another role and add each additional role.
7. Click Save.

הערכת המודל

כדי להעריך את המודל:

1. נכנסים לדף Gen AI Evaluation במסוף Google Cloud .

   לדף Evaluation

2. לוחצים על הערכה חדשה כדי לפתוח את דף ההערכה.

3. בוחרים מקור לטעינת מערך נתונים לצורך הערכה:

   • כדי להעלות קובץ CSV או JSONL מקומי, בוחרים באפשרות העלאת קובץ. קבוצת הנתונים צריכה להכיל פרומפטים או רשומות לשימוש בתבנית לפרומפט, ואפשר גם תגובות של מודלים. מספר השורות המקסימלי הוא 200.

   • כדי ליצור פרומפטים מתבנית לפרומפט, בוחרים באפשרות יצירת נתונים. שירות ההערכה של AI גנרטיבי יוצר ומאכלס את המשתנים שהגדרתם בתבנית לפרומפט כשבניתם את מערך הנתונים. מידע נוסף על יצירת תבניות להנחיות זמין במאמר שימוש בתבניות להנחיות.

     1. מזינים את תבנית לפרומפט עם המשתנים בשדה תבנית לפרומפט.

     2. כדי להוסיף תיאור לכל אחד מהמשתנים או לציין את מספר הדגימות שרוצים ליצור, מרחיבים את האפשרות הגדרת משתנים וגודל מדגם.

     3. לוחצים על יצירת מערך נתונים כדי ליצור הנחיות.

4. ליצור תשובות ולהעריך אותן על סמך ההנחיות שלכם:

   1. בקטע מועמדים להערכה, לוחצים על הוספת מועמד להערכה. אם כבר קיים מועמד, לוחצים על עריכה כדי להגדיר את ההנחיות והתשובות להערכה. לדוגמה, אתם יכולים לציין הנחיות או תשובות מהקובץ שהעליתם או מנתונים שנוצרו.

   2. כדי להשוות בין כמה מועמדים, לוחצים על הוספת מועמד להשוואה.

   3. בקטע מדדים, מוסיפים לפחות מדד אחד כדי לדרג את איכות התשובות של המועמד. מידע נוסף על סוגי המדדים זמין בקטע מדדי הערכה בדף הסקירה הכללית של שירות הערכת ה-AI הגנרטיבי.

   בחלק מהקריטריונים להערכה שמותאמים אישית, אפשר להרחיב את האפשרויות המתקדמות ולספק הנחיות מותאמות אישית כדי לכוון את הקריטריונים שנוצרים מכל הנחיה, כמו Evaluate the dataset on cultural sensitivity.

   1. בקטע Name and storage configuration (שם והגדרת אחסון), מציינים שם להערכה וקטגוריה של Cloud Storage שבה יישמרו תוצאות ההערכה.

5. לוחצים על הערכה.

הצגת תוצאות ההערכה

כדי לראות את תוצאת הבדיקה:

1. נכנסים לדף GenAI Evaluation במסוף Google Cloud .

   לדף Evaluation

2. לוחצים על שם ההערכה.

   לכל הנחיה בקבוצת הנתונים של ההערכה, התגובה מוצגת לצד תוצאות ההערכה.

הערכת מודלים של שותפים

אתם יכולים להשתמש בשירות ההערכה של AI גנרטיבי כדי להעריך את המודלים הבאים של שותפים:

• Anthropic
• Llama

יש תמיכה במודלים של שותפים דרך Model Garden ב-Gemini Enterprise Agent Platform. כדי לבחור מודל להערכה, צריך להפעיל מודל של שותף בModel Garden. כדי להעריך מודל של שותף, בוחרים אותו בתפריט בחירת המודל במהלך הגדרת ההערכה.

תמחור

התמחור של הערכת מודלים של צד שלישי מבוסס על כל חיוב שנוצר על היסק מודלים ב-Gemini Enterprise Agent Platform Model Garden. מחירון ל-AI גנרטיבי ב-Agent Platform

המאמרים הבאים

• מגדירים את מדדי ההערכה.