Tutorial: Bewertung mit der Console durchführen

Vorschau

Diese Funktion unterliegt den „Bedingungen für Pre-GA-Angebote“ im Abschnitt „Allgemeine Dienstbedingungen“ der dienstspezifischen Nutzungsbedingungen. Pre-GA‑Funktionen stehen in der vorliegenden Form zur Verfügung und bieten möglicherweise nur eingeschränkten Support. Weitere Informationen finden Sie unter den Beschreibungen der Startphase.

Informationen zu den ersten Schritten mit dem Gen AI Evaluation Service mit der Google Cloud Console Google Cloud

Hinweis

Melden Sie sich in Ihrem Google Cloud Konto an. Wenn Sie noch kein Konto bei Google Cloudhaben, erstellen Sie ein Konto, um die Leistung unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.
Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.
Go to project selector
Verify that billing is enabled for your Google Cloud project.
Make sure that you have the following role or roles on the project: Storage Admin
Check for the roles
1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.
Grant the roles
1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.
3. Click Grant access.

4. In the New principals field, enter your user identifier. This is typically the email address for a Google Account.

5. Click Select a role, then search for the role.
6. To grant additional roles, click Add another role and add each additional role.
7. Click Save.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Make sure that you have the following role or roles on the project: Storage Admin

Check for the roles

1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.

Grant the roles

1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.
3. Click Grant access.

4. In the New principals field, enter your user identifier. This is typically the email address for a Google Account.

5. Click Select a role, then search for the role.
6. To grant additional roles, click Add another role and add each additional role.
7. Click Save.

Modell bewerten

So bewerten Sie Ihr Modell:

1. Rufen Sie in der Google Cloud Console die Seite „Gen AI Evaluation“ auf.

   Zu „Bewertung“

2. Klicken Sie auf Neue Bewertung , um die Bewertungsseite zu öffnen.

3. Wählen Sie eine Quelle aus, um ein Dataset für die Bewertung zu laden:

   • Wenn Sie eine lokale CSV- oder JSONL-Datei hochladen möchten, wählen Sie Datei hochladen aus. Das Dataset muss Prompts oder Datensätze enthalten, die in einer Promptvorlage verwendet werden können, und optional Modellantworten. Die maximale Anzahl beträgt 200 Zeilen.

   • Wenn Sie Prompts aus einer Promptvorlage generieren möchten, wählen Sie Daten generieren aus. Der Gen AI Evaluation Service generiert und füllt die Variablen, die Sie in Ihrer Promptvorlage definiert haben, beim Erstellen des Datasets aus. Weitere Informationen zum Erstellen von Promptvorlagen finden Sie unter Promptvorlagen verwenden.

     1. Geben Sie Ihre Promptvorlage mit den Variablen in das Feld Promptvorlage ein.

     2. Wenn Sie eine Beschreibung für jede Ihrer Variablen hinzufügen oder die Anzahl der zu generierenden Stichproben angeben möchten, maximieren Sie Variablen und Stichprobengröße definieren.

     3. Klicken Sie auf Dataset generieren , um Prompts zu generieren.

4. Antworten auf Grundlage Ihrer Prompts generieren und bewerten:

   1. Klicken Sie im Abschnitt Bewertungskandidaten auf Bewertung hinzufügen Kandidat oder, falls bereits ein Kandidat vorhanden ist, auf Bearbeiten, um die zu bewertenden Prompts und Antworten zu definieren. Sie können beispielsweise Prompts oder Antworten aus der hochgeladenen Datei oder aus generierten Daten angeben.

   2. Wenn Sie mehrere Kandidaten vergleichen möchten, klicken Sie auf Vergleichskandidaten hinzufügen.

   3. Fügen Sie im Abschnitt Messwerte mindestens einen Messwert hinzu, um die Qualität der Antworten Ihres Kandidaten zu bewerten. Weitere Informationen zu den Messwerttypen finden Sie im Abschnitt „Bewertungsmesswerte“ auf der Übersichtsseite zum Gen AI Evaluation Service.

   Bei einigen adaptiven Rubriken können Sie die Rubriken steuern, die aus jedem Prompt generiert werden. Maximieren Sie dazu Erweitert und geben Sie benutzerdefinierte Anweisungen wie Evaluate the dataset on cultural sensitivity ein.

   1. Geben Sie im Abschnitt Name und Speicherkonfiguration einen Namen für Ihre Bewertung und einen Cloud Storage-Bucket an, in dem die Bewertungsergebnisse gespeichert werden.

5. Klicken Sie auf Bewerten.

Bewertungsergebnisse ansehen

So rufen Sie ein Bewertungsergebnis auf:

1. Rufen Sie in der Google Cloud Console die Seite Gen AI Evaluation auf.

   Zu „Bewertung“

2. Klicken Sie auf den Namen der Bewertung.

   Für jeden Prompt in Ihrem Bewertungs-Dataset wird die Antwort zusammen mit den Bewertungsergebnissen angezeigt.

Partnermodelle bewerten

Mit dem Gen AI Evaluation Service können Sie die folgenden Partnermodelle bewerten:

• Anthropic
• Llama

Partnermodelle werden über Vertex AI Model Garden unterstützt. Sie müssen ein Partnermodell in Model Garden aktivieren, bevor Sie es für die Bewertung auswählen. Wenn Sie ein Partnermodell bewerten möchten, wählen Sie es bei der Einrichtung der Bewertung im Menü zur Modellauswahl aus.

Preise

Die Preise für die Bewertung von Modellen von Drittanbietern basieren auf allen Gebühren, die für die Modellinferenz in Vertex AI Model Garden anfallen. Weitere Informationen finden Sie auf der Preisseite für generative KI in Vertex AI.

Nächste Schritte

• Bewertungsmesswerte definieren.