Testare le funzionalità del modello in Model Garden

Model Garden offre diverse opzioni per visualizzare e testare rapidamente le funzionalità dei modelli. Per i modelli supportati, puoi provare le demo o avviare applicazioni demo chiamate Model Garden Spaces che puoi condividere con altri per mostrare le funzionalità di un modello.

I playground sono basati su endpoint di previsione online di Vertex AI pre-deployment e non comportano costi. Quando apri la scheda del modello per un modello supportato, puoi utilizzare il riquadro Prova per testare rapidamente le funzionalità del modello inviando un prompt di testo. Puoi anche impostare alcuni dei parametri più comuni, come la temperatura e il numero di token di output. Il playground è limitato solo all'input e all'output di testo.

Quando avvii Spaces, hai un'applicazione web funzionante pronta all'uso con molto meno lavoro manuale rispetto al deployment di un modello e alla creazione di un'app per utilizzare l'endpoint del modello. Model Garden esegue il deployment del modello selezionato in Vertex AI e dell'app di esempio su un'istanza Cloud Run che utilizza l'endpoint del modello di cui è stato eseguito il deployment. L'applicazione può anche utilizzare endpoint esistenti o un endpoint MaaS.

Prima di iniziare

Questo tutorial richiede la configurazione di un progetto Google Cloud e l'abilitazione dell'API Vertex AI.

Accedi al tuo account Google Cloud . Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti senza costi per l'esecuzione, il test e il deployment dei workload.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

Verify that billing is enabled for your Google Cloud project.

Enable the Vertex AI, Artifact Registry, Cloud Build, Cloud Logging, and Cloud Run Admin APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

Verify that billing is enabled for your Google Cloud project.

Enable the Vertex AI, Artifact Registry, Cloud Build, Cloud Logging, and Cloud Run Admin APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

1. Se vuoi provare Model Garden Spaces, verifica che il account di servizio Compute Engine predefinito disponga delle autorizzazioni necessarie per avviare Spaces.

Ruoli obbligatori

Per testare le funzionalità del modello in Model Garden, assicurati che sia tu che il service account predefinito di Compute Engine disponiate dei ruoli IAM richiesti.

Ruoli obbligatori per gli utenti

Per ottenere le autorizzazioni necessarie per testare le funzionalità dei modelli in Model Garden, chiedi all'amministratore di concederti i seguenti ruoli IAM nel tuo progetto Google Cloud :

• Amministratore Service Usage (roles/serviceusage.serviceUsageAdmin)
• Amministratore Artifact Registry (roles/artifactregistry.admin)
• Cloud Run Admin (roles/run.admin)
• Storage Admin (roles/storage.admin)
• Utente Vertex AI (roles/aiplatform.user)

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Ruoli richiesti per il account di servizio Compute Engine predefinito

L'account di servizio predefinito di Compute Engine viene utilizzato per avviare gli spazi.

Per assicurarti che il account di servizio predefinito di Compute Engine disponga delle autorizzazioni necessarie per avviare gli spazi, chiedi all'amministratore di concedere i seguenti ruoli IAM al account di servizio predefinito di Compute Engine sul tuo progetto Google Cloud :

Importante: devi concedere questi ruoli al account di servizio Compute Engine predefinito, non al tuo account utente. La mancata concessione dei ruoli all'entità corretta potrebbe comportare errori di autorizzazione.

• Service Agent di Vertex AI (roles/aiplatform.serviceAgent)
• Service account Cloud Build (roles/cloudbuild.builds.builder)

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

L'amministratore potrebbe anche essere in grado di concedere al account di servizio predefinito di Compute Engine le autorizzazioni richieste tramite ruoli personalizzati o altri ruoli predefiniti.

Prova un Playground

1. Nella console Google Cloud , vai alla scheda di un modello supportato, ad esempio la scheda del modello Gemma 2.

   Vai a Gemma 2

2. Nel riquadro Prova:

   1. Per Regione, accetta il valore predefinito o scegli la tua regione.
   2. Per Endpoint, seleziona Demo playground.
   3. Nella casella Prompt, inserisci Why is the sky blue?.
   4. Espandi la sezione Opzioni avanzate e visualizza i parametri predefiniti.

   

3. Fai clic su Invia. L'output viene visualizzato sotto il pulsante Invia.

Prova Spazi

Nota :Spaces è disponibile solo per i progetti che non sono di proprietà di un'organizzazione. Per scoprire come creare un progetto senza un'organizzazione, consulta Creare un progetto.

Per avviare un modello, apri la scheda del modello supportato e, nel riquadro Prova gli spazi, fai clic su uno spazio per avviarlo. Ti vengono addebitati i costi per le macchine utilizzate per il deployment e per l'istanza Cloud Run che ospita l'app.

Puoi avviare gli spazi con modelli come Gemini, Gemma, Llama e Stable Diffusion.

Avviare Spaces

Avvia Spaces per testare e sperimentare un modello da un'applicazione Gradio di esempio.

1. Nella console Google Cloud , vai a Model Garden per visualizzare la scheda del modello.

   Vai a Model Garden

2. Seleziona il modello da utilizzare. I modelli supportati hanno un riquadro Prova Spazi, ad esempio la scheda del modello Gemma 3.

   Vai a Gemma 3

3. Fai clic su rocket_launch Esegui per avviare uno spazio.

   1. Puoi scegliere di Richiedere l'autenticazione (tramite Identity-Aware Proxy) o Consentire l'accesso pubblico. Per maggiori informazioni, consulta Attivare le API per il primo deployment e concedere le autorizzazioni.
   Importante: quando utilizzi l'app, non includere informazioni sensibili o che consentono l'identificazione personale nei prompt.
   1. Fai clic su Crea nuovo servizio per avviare il deployment. Puoi monitorare lo stato del deployment dalla scheda del modello.

4. Dopo che lo stato di Spaces cambia in Pronto, fai clic per visualizzare i dettagli del deployment.

   Per la protezione di base, l'applicazione web richiede una chiave segreta che deve essere aggiunta all'URL quando vengono inviati i prompt. Questa chiave segreta viene fornita nel campo Chiave segreta.

   1. Fai clic su Apri per iniziare a utilizzare l'app. Puoi inviare prompt al modello e visualizzare le sue risposte dall'interno dell'app.

   Puoi condividere l'URL in modo che anche altri possano provare l'app.

   1. Per chiudere l'accesso all'app, fai clic su Modifica nel campo Controllo dell'accesso.

   Nella scheda Sicurezza della tua applicazione Cloud Run, seleziona Richiedi autenticazione e poi fai clic su Salva. L'applicazione non è più disponibile tramite l'URL. Le visite all'URL restituiscono un errore 403 (accesso negato).

Esegui la pulizia

Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questa pagina, segui questi passaggi.

Elimina spazi

Per liberare spazio negli Spazi, devi eliminare sia le risorse del modello sia quelle dell'applicazione di esempio su Cloud Run.

Elimina risorse modello

Dall'app Gradio, puoi eliminare gli endpoint del modello per liberare spazio nelle risorse di Vertex AI. Poi, devi eliminare il servizio Cloud Run per arrestare ed eliminare l'app Gradio.

Per eliminare manualmente le risorse Vertex AI, consulta Annulla il deployment dei modelli ed elimina le risorse.

Elimina servizio Cloud Run

Elimina le risorse correlate a un servizio, incluse tutte le revisioni del servizio. L'eliminazione di un servizio non include elementi come le immagini container di Artifact Registry. Per saperne di più, consulta la sezione Gestione dei servizi nella documentazione di Cloud Run.

1. Nella console Google Cloud , visualizza l'elenco dei servizi Cloud Run:

   Vai a Cloud Run

2. Individua il servizio da eliminare, quindi selezionalo.

3. Fai clic su Elimina Elimina. In questo modo vengono eliminate tutte le revisioni del servizio.

Elimina il progetto

Il modo più semplice per eliminare la fatturazione è eliminare il progetto creato per il tutorial.

Per eliminare il progetto:

Attenzione: l'eliminazione di un progetto ha i seguenti effetti:

• L'intero contenuto del progetto viene eliminato. Se hai utilizzato un progetto esistente per, le attività descritte in questo documento, eliminerai anche tutto il lavoro che hai svolto nel progetto.
• Gli ID progetto personalizzati non sono più disponibili. Quando hai creato questo progetto, potresti aver creato un ID progetto personalizzato che vuoi utilizzare in futuro. Per conservare gli URL che utilizzano l'ID progetto, ad esempio un URL appspot.com, elimina le risorse selezionate all'interno del progetto anziché eliminare l'intero progetto.

Se intendi esplorare più architetture, tutorial o guide rapide, puoi riutilizzare i progetti ed evitare così di superare i limiti di quota.

1. Nella console Google Cloud , vai alla pagina Gestisci risorse.

   Vai a Gestisci risorse

2. Nell'elenco dei progetti, seleziona quello che vuoi eliminare, quindi fai clic su Elimina.
3. Nella finestra di dialogo, digita l'ID del progetto e fai clic su Chiudi per eliminare il progetto.

Passaggi successivi

Consulta una panoramica di Model Garden.