Tutorial: Bewertung mit der Console durchführen

Vorschau

Diese Funktion unterliegt den „Bedingungen für Pre-GA-Angebote“ im Abschnitt „Allgemeine Dienstbedingungen“ der dienstspezifischen Nutzungsbedingungen. Pre-GA‑Funktionen stehen in der vorliegenden Form zur Verfügung und bieten möglicherweise nur eingeschränkten Support. Weitere Informationen finden Sie unter den Beschreibungen der Startphase.

Google Cloud Hier erfahren Sie, wie Sie mit dem Gen AI Evaluation Service in der Google-Konsole beginnen.

Hinweis

Melden Sie sich in Ihrem Google Cloud -Konto an. Wenn Sie mit Google Cloudnoch nicht vertraut sind, erstellen Sie ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.
Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.
Go to project selector
Verify that billing is enabled for your Google Cloud project.
Make sure that you have the following role or roles on the project: Storage Admin
Check for the roles
1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.
Grant the roles
1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.
3. Click Grant access.

4. In the New principals field, enter your user identifier. This is typically the email address for a Google Account.

5. Click Select a role, then search for the role.
6. To grant additional roles, click Add another role and add each additional role.
7. Click Save.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Make sure that you have the following role or roles on the project: Storage Admin

Check for the roles

1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.

Grant the roles

1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.
3. Click Grant access.

4. In the New principals field, enter your user identifier. This is typically the email address for a Google Account.

5. Click Select a role, then search for the role.
6. To grant additional roles, click Add another role and add each additional role.
7. Click Save.

Modell bewerten

So bewerten Sie Ihr Modell:

1. Rufen Sie in der Google Cloud Console die Seite „Gen AI Evaluation“ auf.

   Zur Seite „Bewertung“

2. Klicken Sie auf Neue Bewertung, um die Bewertungsseite zu öffnen.

3. Wählen Sie eine Quelle aus, um ein Dataset für die Bewertung zu laden:

   • Wenn Sie eine lokale CSV- oder JSONL-Datei hochladen möchten, wählen Sie Datei hochladen aus. Das Dataset muss entweder Prompts oder Datensätze enthalten, die in einer Promptvorlage verwendet werden können, und optional Modellantworten. Der Maximalwert beträgt 200 Zeilen.

   • Wenn Sie Prompts aus einer Promptvorlage generieren möchten, wählen Sie Daten generieren aus. Der Gen AI Evaluation Service generiert und füllt die Variablen, die Sie beim Erstellen des Datasets in Ihrer Promptvorlage definiert haben. Weitere Informationen zum Erstellen von Promptvorlagen finden Sie unter Promptvorlagen verwenden.

     1. Geben Sie Ihre Prompt-Vorlage mit Ihren Variablen in das Feld Prompt-Vorlage ein.

     2. Wenn Sie eine Beschreibung für jede Ihrer Variablen hinzufügen oder die Anzahl der zu generierenden Stichproben angeben möchten, maximieren Sie Variablen und Stichprobengröße definieren.

     3. Klicken Sie auf Dataset generieren, um Prompts zu generieren.

4. Antworten auf Grundlage Ihrer Prompts generieren und bewerten:

   1. Klicken Sie im Abschnitt Evaluierungskandidaten auf Evaluierungskandidaten hinzufügen. Wenn bereits ein Kandidat vorhanden ist, klicken Sie auf  Bearbeiten, um die zu bewertenden Prompts und Antworten zu definieren. Sie können beispielsweise Prompts oder Antworten aus der hochgeladenen Datei oder aus generierten Daten angeben.

   2. Wenn Sie mehrere Kandidaten vergleichen möchten, klicken Sie auf Vergleichskandidaten hinzufügen.

   3. Fügen Sie im Bereich Messwerte mindestens einen Messwert hinzu, um die Qualität der Antworten des Kandidaten zu bewerten. Weitere Informationen zu den Messwerttypen finden Sie im Abschnitt Bewertungsmesswerte auf der Übersichtsseite zum Gen AI Evaluation Service.

   Bei einigen adaptiven Rubriken können Sie die Rubriken, die aus den einzelnen Prompts generiert werden, steuern. Klicken Sie dazu auf Erweitert und geben Sie benutzerdefinierte Anweisungen ein, z. B. Evaluate the dataset on cultural sensitivity.

   1. Geben Sie im Bereich Name und Speicherkonfiguration einen Namen für die Auswertung und einen Cloud Storage-Bucket an, in dem die Ergebnisse der Auswertung gespeichert werden.

5. Klicken Sie auf Bewerten.

Bewertungsergebnisse ansehen

So rufen Sie ein Bewertungsergebnis auf:

1. Rufen Sie in der Google Cloud Console die Seite GenAI Evaluation auf.

   Zur Seite „Bewertung“

2. Klicken Sie auf den Namen der Bewertung.

   Für jeden Prompt in Ihrem Bewertungs-Dataset wird die Antwort zusammen mit den Bewertungsergebnissen angezeigt.

Partnermodelle bewerten

Mit dem Gen AI Evaluation Service können Sie die folgenden Partnermodelle bewerten:

• Anthropic
• Llama

Partnermodelle werden über den Model Garden der Gemini Enterprise Agent Platform unterstützt. Sie müssen ein Partnermodell in Model Garden aktivieren, bevor Sie es für die Bewertung auswählen können. Wenn Sie ein Partnermodell bewerten möchten, wählen Sie es bei der Einrichtung der Bewertung im Menü zur Modellauswahl aus.

Preise

Die Preise für die Bewertung von Drittanbietermodellen basieren auf den Gebühren, die für die Modellinferenz im Model Garden der Gemini Enterprise Agent Platform anfallen. Weitere Informationen finden Sie auf der Preisseite für generative KI auf der Agent Platform.

Nächste Schritte

• Bewertungsmesswerte definieren