Modellfunktionen in Model Garden testen

Model Garden bietet mehrere Optionen, mit denen Sie die Funktionen von Modellen schnell ansehen und testen können. Für unterstützte Modelle können Sie Demo-Playgrounds ausprobieren oder Demoanwendungen starten, die als Model Garden-Bereiche bezeichnet werden. Sie können sie mit anderen teilen, um die Funktionen eines Modells zu präsentieren.

Playgrounds basieren auf vorab bereitgestellten Onlinevorhersage-Endpunkten der Gemini Enterprise Agent Platform und sind kostenlos. Wenn Sie die Modellkarte für ein unterstütztes Modell öffnen, können Sie das Modell im Bereich Ausprobieren schnell testen, indem Sie einen Text-Prompt senden. Sie können auch einige der gängigsten Parameter wie Temperatur und Anzahl der Ausgabetokens festlegen. Das Playground ist auf die Eingabe und Ausgabe von Text beschränkt.

Wenn Sie Spaces starten, haben Sie eine funktionierende Webanwendung, die mit viel weniger manuellem Aufwand verwendet werden kann, als wenn Sie ein Modell bereitstellen und eine App erstellen, um den Endpunkt des Modells zu verwenden. In Model Garden wird das ausgewählte Modell in der Gemini Enterprise Agent Platform bereitgestellt und die Beispiel-App auf einer Cloud Run-Instanz bereitgestellt, die den Endpunkt des bereitgestellten Modells verwendet. Die Anwendung kann auch vorhandene Endpunkte oder einen MaaS-Endpunkt verwenden.

Hinweis

Für diese Anleitung müssen Sie ein Google Cloud Projekt einrichten und die Agent Platform API aktivieren.

Melden Sie sich in Ihrem Google Cloud -Konto an. Wenn Sie mit Google Cloudnoch nicht vertraut sind, erstellen Sie ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

Verify that billing is enabled for your Google Cloud project.

Enable the Gemini Enterprise Agent Platform, Artifact Registry, Cloud Build, Cloud Logging, and Cloud Run Admin APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

Verify that billing is enabled for your Google Cloud project.

Enable the Gemini Enterprise Agent Platform, Artifact Registry, Cloud Build, Cloud Logging, and Cloud Run Admin APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

1. Wenn Sie Model Garden Spaces ausprobieren möchten, prüfen Sie, ob das Compute Engine-Standarddienstkonto die erforderlichen Berechtigungen zum Starten von Spaces hat.

Erforderliche Rollen

Wenn Sie Modellfunktionen in Model Garden testen möchten, müssen Sie und das Compute Engine-Standarddienstkonto die erforderlichen IAM-Rollen haben.

Erforderliche Rollen für Nutzer

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für Ihr Google Cloud Projekt zuzuweisen, damit Sie die nötigen Berechtigungen zum Testen von Modellfunktionen im Model Garden haben:

• Service Usage Admin (roles/serviceusage.serviceUsageAdmin)
• Artifact Registry-Administrator (roles/artifactregistry.admin)
• Cloud Run-Administrator (roles/run.admin)
• Storage-Administrator (roles/storage.admin)
• Agent Platform-Nutzer (roles/aiplatform.user)

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Erforderliche Rollen für das Compute Engine-Standarddienstkonto

Das Compute Engine-Standarddienstkonto wird zum Starten von Spaces verwendet.

Bitten Sie Ihren Administrator, dem Compute Engine-Standarddienstkonto die folgenden IAM-Rollen für Ihr Google Cloud Projekt zuzuweisen, damit das Compute Engine-Standarddienstkonto die erforderlichen Berechtigungen zum Starten von Spaces hat:

Wichtig:Sie müssen diese Rollen dem Compute Engine-Standarddienstkonto und nicht Ihrem Nutzerkonto zuweisen. Wenn die Rollen nicht dem richtigen Hauptkonto zugewiesen werden, können Berechtigungsfehler auftreten.

• Agent Platform-Dienst-Agent (roles/aiplatform.serviceAgent)
• Cloud Build-Dienstkonto (roles/cloudbuild.builds.builder)

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Ihr Administrator kann dem Compute Engine-Standarddienstkonto möglicherweise auch die erforderlichen Berechtigungen über benutzerdefinierte Rollen oder andere vordefinierte Rollen erteilen.

Playground ausprobieren

1. Rufen Sie in der Google Cloud Console die Modellkarte eines unterstützten Modells auf, z. B. die Modellkarte Gemma 2.

   Zu Gemma 2

2. Im Bereich Try out (Ausprobieren):

   1. Übernehmen Sie die Standardeinstellung für Region oder wählen Sie Ihre Region aus.
   2. Wählen Sie unter Endpunkt die Option Demo-Playground aus.
   3. Geben Sie im Feld Prompt den Wert Why is the sky blue? ein.
   4. Maximieren Sie den Bereich Erweiterte Optionen und sehen Sie sich die Standardparameter an.

   

3. Klicken Sie auf Senden. Die Ausgabe wird unter der Schaltfläche „Senden“ angezeigt.

Experimentierbereiche ausprobieren

Hinweis :Spaces ist nur für Projekte verfügbar, die nicht einer Organisation untergeordnet sind. Informationen zum Erstellen eines Projekts ohne Organisation finden Sie unter Projekt erstellen.

Wenn Sie ein Modell starten möchten, öffnen Sie die Modellkarte für das unterstützte Modell und klicken Sie im Bereich Spaces ausprobieren auf einen Space. Ihnen werden die Maschinen in Rechnung gestellt, die für die Bereitstellung verwendet werden, sowie die Cloud Run-Instanz, auf der die App gehostet wird.

Sie können Spaces mit Modellen wie Gemini, Gemma, Llama und Stable Diffusion starten.

Gruppenbereiche starten

Starten Sie Spaces, um ein Modell aus einer Beispielanwendung von Gradio zu testen.

1. Rufen Sie in der Google Cloud -Console Model Garden auf, um die Modellkarte eines Modells aufzurufen.

   Zu Model Garden

2. Wählen Sie das Modell aus, das Sie verwenden möchten. Unterstützte Modelle haben einen Bereich Spaces ausprobieren, z. B. die Modellkarte für Gemma 3.

   Zu Gemma 3

3. Klicken Sie auf rocket_launch Ausführen, um einen Space zu starten.

   1. Sie können entweder Authentifizierung erforderlich (über Identity-Aware Proxy) oder Öffentlichen Zugriff erlauben auswählen. Weitere Informationen finden Sie unter APIs für die erste Bereitstellung aktivieren und Berechtigungen erteilen.
   Wichtig :Geben Sie bei der Verwendung der App keine vertraulichen oder personenidentifizierbaren Informationen in Ihren Prompts an.
   1. Klicken Sie auf Neuen Dienst erstellen, um die Bereitstellung zu starten. Sie können den Bereitstellungsstatus in der Modellkarte verfolgen.

4. Wenn sich der Status des Bereichs in Bereit ändert, klicken Sie darauf, um Details zur Bereitstellung aufzurufen.

   Für den grundlegenden Schutz benötigt die Webanwendung einen geheimen Schlüssel, der beim Senden von Prompts an die URL angehängt werden muss. Dieser geheime Schlüssel wird im Feld Geheimer Schlüssel angegeben.

   1. Klicken Sie auf Öffnen, um die App zu verwenden. Sie können Prompts an das Modell senden und die Antworten in der App ansehen.

   Sie können die URL teilen, damit auch andere die App ausprobieren können.

   1. Wenn Sie den Zugriff auf die App schließen möchten, klicken Sie im Feld Zugriffssteuerung auf  Bearbeiten.

   Wählen Sie auf dem Tab Sicherheit für Ihre Cloud Run-Anwendung die Option Authentifizierung erforderlich aus und klicken Sie dann auf Speichern. Die Anwendung ist über die URL nicht mehr verfügbar. Bei Besuchen der URL wird ein 403-Fehler (Forbidden) angezeigt.

Bereinigen

Mit den folgenden Schritten vermeiden Sie, dass Ihrem Google Cloud Konto die auf dieser Seite verwendeten Ressourcen in Rechnung gestellt werden:

Gruppenbereiche löschen

Um Spaces zu bereinigen, müssen Sie sowohl die Ressourcen des Modells als auch die Ressourcen der Beispielanwendung in Cloud Run löschen.

Modellressourcen löschen

In der Gradio-App können Sie Modellendpunkte löschen, um Ressourcen der Gemini Enterprise Agent Platform zu bereinigen. Anschließend müssen Sie den Cloud Run-Dienst löschen, um die Gradio-App zu beenden und zu löschen.

Informationen zum manuellen Löschen von Gemini Enterprise Agent Platform-Ressourcen finden Sie unter Modelle bereitstellen und Ressourcen löschen.

Cloud Run-Dienst löschen

Löschen Sie Ressourcen, die mit einem Dienst verknüpft sind, einschließlich aller Überarbeitungen des Dienstes. Beim Löschen eines Dienstes werden keine Elemente wie Container-Images aus Artifact Registry entfernt. Weitere Informationen finden Sie in der Cloud Run-Dokumentation unter Dienste verwalten.

1. Rufen Sie in der Google Cloud Console die Liste der Cloud Run-Dienste auf:

   Zu Cloud Run

2. Suchen Sie den Dienst, den Sie löschen möchten, und wählen Sie ihn aus.

3. Klicken Sie auf delete Löschen. Dadurch werden alle Überarbeitungen des Dienstes gelöscht.

Projekt löschen

Am einfachsten vermeiden Sie weitere Kosten durch Löschen des für die Anleitung erstellten Projekts.

So löschen Sie das Projekt:

Achtung: Das Löschen von Projekten hat folgende Auswirkungen:

• Alle Inhalte des Projekts werden gelöscht. Wenn Sie für die Aufgaben in diesem Dokument ein bereits bestehendes Projekt verwendet haben und dieses löschen, werden auch alle anderen im Rahmen des Projekts erstellten Daten gelöscht.
• Benutzerdefinierte Projekt-IDs gehen verloren. Beim Erstellen dieses Projekts haben Sie möglicherweise eine benutzerdefinierte Projekt-ID erstellt, die Sie weiterhin verwenden möchten. Damit die URLs, die die Projekt-ID nutzen, zum Beispiel eine appspot.com-URL, erhalten bleiben, sollten Sie ausgewählte Ressourcen innerhalb des Projekts löschen, anstatt das gesamte Projekt.

Wenn Sie mehrere Architekturen, Anleitungen und Kurzanleitungen durcharbeiten möchten, können Sie die Überschreitung von Projektkontingenten verhindern, indem Sie Projekte wiederverwenden.

1. Wechseln Sie in der Google Cloud -Console zur Seite Ressourcen verwalten.

   Zur Seite „Ressourcen verwalten“

2. Wählen Sie in der Projektliste das Projekt aus, das Sie löschen möchten, und klicken Sie dann auf Löschen.
3. Geben Sie im Dialogfeld die Projekt-ID ein und klicken Sie auf Shut down (Beenden), um das Projekt zu löschen.

Nächste Schritte

Übersicht über Model Garden