Modellfunktionen in Model Garden testen

In Model Garden haben Sie mehrere Möglichkeiten, die Funktionen von Modellen schnell anzusehen und zu testen. Bei unterstützten Modellen können Sie Demoplaygrounds ausprobieren oder Demoanwendungen starten, die als Model Garden-Gruppenbereiche bezeichnet werden. Diese können Sie mit anderen teilen, um die Funktionen eines Modells zu präsentieren.

Playgrounds werden von vorab bereitgestellten Online-Vorhersageendpunkten der Gemini Enterprise Agent Platform online prediction endpoints unterstützt und verursachen keine Kosten. Wenn Sie die Modellkarte für ein unterstütztes Modell öffnen, können Sie im Bereich Ausprobieren die Funktionen des Modells schnell testen, indem Sie einen Text-Prompt senden. Sie können auch einige der häufigsten Parameter wie Temperatur und Anzahl der Ausgabetokens festlegen. Der Playground ist auf Texteingabe und -ausgabe beschränkt.

Wenn Sie Gruppenbereiche starten, haben Sie eine funktionierende Webanwendung, die sofort einsatzbereit ist. Der manuelle Aufwand ist dabei viel geringer als bei der Bereitstellung eines Modells und der Entwicklung einer Anwendung zur Verwendung des Endpunkts des Modells. Model Garden stellt das ausgewählte Modell in der Gemini Enterprise Agent Platform und die Beispielanwendung auf einer Cloud Run-Instanz bereit, die den Endpunkt des bereitgestellten Modells verwendet. Die Anwendung kann auch vorhandene Endpunkte oder einen MaaS-Endpunkt verwenden.

Hinweis

Für diese Anleitung müssen Sie ein Google Cloud Projekt einrichten und die Agent Platform API aktivieren.

Melden Sie sich in Ihrem Google Cloud Konto an. Wenn Sie noch kein Google Cloud-Konto haben, erstellen Sie ein Konto, um die Leistung unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

Verify that billing is enabled for your Google Cloud project.

Enable the Gemini Enterprise Agent Platform, Artifact Registry, Cloud Build, Cloud Logging, and Cloud Run Admin APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

Verify that billing is enabled for your Google Cloud project.

Enable the Gemini Enterprise Agent Platform, Artifact Registry, Cloud Build, Cloud Logging, and Cloud Run Admin APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

1. Wenn Sie Model Garden-Gruppenbereiche ausprobieren möchten, dann prüfen Sie, ob das Compute Engine-Standarddienstkonto die erforderlichen Berechtigungen zum Starten von Gruppenbereichen hat.

Erforderliche Rollen

Wenn Sie die Funktionen von Modellen in Model Garden testen möchten, müssen sowohl Sie als auch das Compute Engine-Standarddienst konto die erforderlichen IAM-Rollen haben.

Erforderliche Rollen für Nutzer

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für das Google Cloud Projekt zuzuweisen, damit Sie die nötigen Berechtigungen zum Testen der Funktionen von Modellen in Model Garden haben:

• Service Usage Admin (roles/serviceusage.serviceUsageAdmin)
• Artifact Registry-Administrator (roles/artifactregistry.admin)
• Cloud Run-Administrator (roles/run.admin)
• Storage-Administrator (roles/storage.admin)
• Agent Platform-Nutzer (roles/aiplatform.user)

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Erforderliche Rollen für das Compute Engine-Standarddienstkonto

Das Compute Engine-Standarddienst konto wird zum Starten von Gruppenbereichen verwendet.

Bitten Sie Ihren Administrator, dem Compute Engine-Standarddienstkonto die folgenden IAM-Rollen für das Google Cloud Projekt zuzuweisen, damit das Compute Engine-Standarddienstkonto die erforderlichen Berechtigungen zum Starten von Gruppenbereichen hat:

Wichtig: Sie müssen diese Rollen dem Compute Engine-Standarddienstkonto und nicht Ihrem Nutzerkonto zuweisen. Wenn die Rollen nicht dem richtigen Prinzipal zugewiesen werden, können Berechtigungsfehler auftreten.

• Agent Platform-Dienst-Agent (roles/aiplatform.serviceAgent)
• Cloud Build-Dienstkonto (roles/cloudbuild.builds.builder)

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Ihr Administrator kann dem Compute Engine-Standarddienstkonto die erforderlichen Berechtigungen möglicherweise auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen zuweisen.

Playground ausprobieren

1. Wechseln Sie in der Google Cloud Console zur Modellkarte eines unterstützten Modells, z. B. zur Modellkarte Gemma 2.

   Zu Gemma 2

2. Führen Sie im Bereich Ausprobieren folgende Schritte aus:

   1. Übernehmen Sie für Region die Standardeinstellung oder wählen Sie Ihre Region aus.
   2. Wählen Sie für Endpunkt die Option Demoplayground aus.
   3. Geben Sie im Feld Prompt Why is the sky blue? ein.
   4. Maximieren Sie den Bereich Erweiterte Optionen und sehen Sie sich die Standardparameter an.

   

3. Klicken Sie auf Senden. Die Ausgabe wird unter der Schaltfläche „Senden“ angezeigt.

Gruppenbereiche ausprobieren

Hinweis: Gruppenbereiche sind nur für Projekte verfügbar, die keiner Organisation untergeordnet sind. Informationen zum Erstellen eines Projekts ohne eine Organisation finden Sie unter Projekt erstellen.

Wenn Sie ein Modell starten möchten, öffnen Sie die Modellkarte für das unterstützte Modell und klicken Sie im Bereich Gruppenbereiche ausprobieren auf einen Gruppenbereich, um ihn zu starten. Ihnen werden die Maschinen in Rechnung gestellt, die für die Bereitstellung verwendet werden, sowie die Cloud Run-Instanz, auf der die Anwendung gehostet wird.

Sie können Gruppenbereiche mit Modellen wie Gemini, Gemma, Llama und Stable Diffusion starten.

Gruppenbereiche starten

Starten Sie Gruppenbereiche, um ein Modell aus einer Gradio-Beispielanwendung zu testen.

1. Wechseln Sie in der Google Cloud Console zu Model Garden, um die Modellkarte eines Modells aufzurufen.

   Zu Model Garden

2. Wählen Sie das zu verwendende Modell aus. Unterstützte Modelle haben einen Bereich Gruppenbereiche ausprobieren, z. B. die Modellkarte Gemma 3.

   Zu Gemma 3

3. Klicken Sie auf rocket_launch Ausführen , um einen Gruppenbereich zu starten.

   1. Sie können Authentifizierung erforderlich (über Identity-Aware Proxy) oder Öffentlichen Zugriff erlauben auswählen. Weitere Informationen finden Sie unter APIs für die erste Bereitstellung aktivieren und Berechtigungen erteilen.
   Wichtig: Geben Sie in Ihren Prompts keine vertraulichen oder personenidentifizierbaren Informationen an.
   1. Klicken Sie auf Neuen Dienst erstellen , um die Bereitstellung zu starten. Sie können den Bereitstellungsstatus auf der Modellkarte verfolgen.

4. Wenn sich der Status des Gruppenbereichs in Bereit ändert, klicken Sie darauf, um Details zur Bereitstellung aufzurufen.

   Für grundlegenden Schutz ist für die Webanwendung ein geheimer Schlüssel erforderlich, der beim Senden von Prompts an die URL angehängt werden muss. Dieser geheime Schlüssel wird im Feld Geheimer Schlüssel angegeben.

   1. Klicken Sie auf Öffnen , um die App zu verwenden. Sie können Prompts an das Modell senden und die Antworten in der App ansehen.

   Sie können die URL freigeben, damit auch andere die App ausprobieren können.

   1. Wenn Sie den Zugriff auf die App schließen möchten, klicken Sie im Feld Zugriffssteuerung auf Bearbeiten.

   Wählen Sie auf dem Tab Sicherheit für Ihre Cloud Run-Anwendung die Option Authentifizierung erforderlich aus und klicken Sie dann auf Speichern. Die Anwendung ist nicht mehr über die URL verfügbar. Bei Aufrufen der URL wird ein 403-Fehler (verboten) zurückgegeben.

Bereinigen

Mit den folgenden Schritten vermeiden Sie, dass Ihrem Google Cloud Konto die auf dieser Seite verwendeten Ressourcen in Rechnung gestellt werden:

Gruppenbereiche löschen

Wenn Sie Gruppenbereiche bereinigen möchten, müssen Sie sowohl die Ressourcen des Modells als auch die Ressourcen der Beispielanwendung in Cloud Run löschen.

Modellressourcen löschen

In der Gradio-App können Sie Modellendpunkte löschen, um Ressourcen der Gemini Enterprise Agent Platform zu bereinigen. Anschließend müssen Sie den Cloud Run-Dienst löschen, um die Gradio-App zu beenden und zu löschen.

Informationen zum manuellen Löschen von Ressourcen der Gemini Enterprise Agent Platform finden Sie unter Modelle bereitstellen und Ressourcen löschen.

Cloud Run-Dienst löschen

Löschen Sie Ressourcen, die mit einem Dienst verknüpft sind, einschließlich aller Überarbeitungen des Dienstes. Beim Löschen eines Dienstes werden keine Elemente wie Container-Images aus Artifact Registry gelöscht. Weitere Informationen finden Sie unter Dienste verwalten in der Cloud Run Dokumentation.

1. Sehen Sie sich in der Google Cloud Console die Liste der Cloud Run-Dienste an:

   Zu Cloud Run

2. Suchen Sie den zu löschenden Dienst und wählen Sie ihn aus.

3. Klicken Sie auf delete Löschen. Dadurch werden alle Überarbeitungen des Dienstes gelöscht.

Projekt löschen

Am einfachsten vermeiden Sie weitere Kosten durch Löschen des für die Anleitung erstellten Projekts.

So löschen Sie das Projekt:

Achtung: Das Löschen von Projekten hat folgende Auswirkungen:

• Alle Inhalte des Projekts werden gelöscht. Wenn Sie für die Aufgaben in diesem Dokument ein bereits bestehendes Projekt verwendet haben und dieses löschen, werden auch alle anderen im Rahmen des Projekts erstellten Daten gelöscht.
• Benutzerdefinierte Projekt-IDs gehen verloren. Beim Erstellen dieses Projekts haben Sie möglicherweise eine benutzerdefinierte Projekt-ID erstellt, die Sie weiterhin verwenden möchten. Damit die URLs, die die Projekt-ID nutzen, z. B. eine appspot.com-URL, erhalten bleiben, sollten Sie ausgewählte Ressourcen innerhalb des Projekts löschen, statt das gesamte Projekt.

Wenn Sie mehrere Architekturen, Anleitungen und Kurzanleitungen durcharbeiten möchten, können Sie die Überschreitung von Projektkontingenten verhindern, indem Sie Projekte wiederverwenden.

1. Wechseln Sie in der Google Cloud Console zur Seite Ressourcen verwalten.

   Zur Seite „Ressourcen verwalten“

2. Wählen Sie in der Projektliste das Projekt aus, das Sie löschen möchten, und klicken Sie dann auf Löschen.
3. Geben Sie im Dialogfeld die Projekt-ID ein und klicken Sie auf Herunterfahren , um das Projekt zu löschen.

Nächste Schritte

Übersicht über Model Garden anzeigen.