Testare le funzionalità del modello in Model Garden

Model Garden offre diverse opzioni per visualizzare e testare rapidamente le funzionalità dei modelli. Per i modelli supportati, puoi provare le sandbox demo o avviare le applicazioni demo chiamate Spazi di Model Garden, che puoi condividere con altri utenti per mostrare le funzionalità di un modello.

Le sandbox sono basate su endpoint di previsione online di Vertex AI pre-deployment e non comportano addebiti. Quando apri la scheda del modello per un modello supportato, puoi utilizzare il riquadro Prova per testare rapidamente le funzionalità del modello inviando un prompt di testo. Puoi anche impostare alcuni dei parametri più comuni, come la temperatura e il numero di token di output. La sandbox è limitata all'input e all'output di testo.

Quando avvii gli spazi, hai un'applicazione web funzionante pronta per l'uso con uno sforzo manuale molto inferiore rispetto al deployment di un modello e alla creazione di un'app per utilizzare l'endpoint del modello. Model Garden esegue il deployment del modello selezionato in Vertex AI e dell'app di esempio su un'istanza di Cloud Run che utilizza l'endpoint del modello di cui è stato eseguito il deployment. L'applicazione può anche utilizzare endpoint esistenti o un endpoint MaaS.

Prima di iniziare

Questo tutorial richiede la configurazione di un Google Cloud progetto e l'abilitazione dell' API Vertex AI.

Accedi al tuo Google Cloud account. Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti senza costi per l'esecuzione, il test e il deployment dei workload.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

Verify that billing is enabled for your Google Cloud project.

Enable the Vertex AI, Artifact Registry, Cloud Build, Cloud Logging, and Cloud Run Admin APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

Verify that billing is enabled for your Google Cloud project.

Enable the Vertex AI, Artifact Registry, Cloud Build, Cloud Logging, and Cloud Run Admin APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

1. Se vuoi provare gli spazi di Model Garden, allora verifica che il account di servizio predefinito di Compute Engine disponga delle autorizzazioni necessarie per avviare gli spazi.

Ruoli obbligatori

Per testare le funzionalità del modello in Model Garden, assicurati che sia tu sia il service account predefinito di Compute Engine disponiate dei ruoli IAM richiesti.

Ruoli obbligatori per gli utenti

Per ottenere le autorizzazioni necessarie per testare le funzionalità del modello in Model Garden, chiedi all'amministratore di concederti i seguenti ruoli IAM nel tuo Google Cloud progetto:

• Amministratore Service Usage (roles/serviceusage.serviceUsageAdmin)
• Amministratore Artifact Registry (roles/artifactregistry.admin)
• Cloud Run Admin (roles/run.admin)
• Storage Admin (roles/storage.admin)
• Utente della piattaforma agent (roles/aiplatform.user)

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Ruoli obbligatori per il account di servizio predefinito di Compute Engine

Il service account predefinito di Compute Engine viene utilizzato per avviare gli spazi.

Per assicurarti che il account di servizio predefinito di Compute Engine disponga delle autorizzazioni necessarie per avviare gli spazi, chiedi all'amministratore di concedere i seguenti ruoli IAM al account di servizio predefinito di Compute Engine nel tuo Google Cloud progetto:

Importante: devi concedere questi ruoli al account di servizio predefinito di Compute Engine, non al tuo account utente. La mancata concessione dei ruoli all'entità corretta potrebbe comportare errori di autorizzazione.

• Service agent della piattaforma agent (roles/aiplatform.serviceAgent)
• Service account Cloud Build (roles/cloudbuild.builds.builder)

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

L'amministratore potrebbe anche essere in grado di concedere al account di servizio predefinito di Compute Engine le autorizzazioni richieste tramite ruoli personalizzati o altri ruoli predefiniti.

Provare una sandbox

1. Nella Google Cloud console, vai alla scheda del modello di un modello supportato, ad esempio la scheda del modello Gemma 2.

   Vai a Gemma 2

2. Nel riquadro Prova:

   1. In Regione, accetta il valore predefinito o scegli la tua regione.
   2. In Endpoint, seleziona Sandbox demo.
   3. Nella casella Prompt, inserisci Why is the sky blue?.
   4. Espandi la sezione Opzioni avanzate e visualizza i parametri predefiniti.

   

3. Fai clic su Invia. L'output viene visualizzato sotto il pulsante Invia.

Provare gli spazi

Nota: gli spazi sono disponibili solo per i progetti che non sono di proprietà di un'organizzazione. Per scoprire come creare un progetto senza un 'organizzazione, consulta Creare un progetto.

Per avviare un modello, apri la scheda del modello supportato e, nel riquadro Prova gli spazi, fai clic su uno spazio per avviarlo. Ti vengono addebitati i costi per le macchine utilizzate per il deployment e per l'istanza di Cloud Run che ospita l'app.

Puoi avviare gli spazi con modelli come Gemini, Gemma, Llama e Stable Diffusion.

Avviare gli spazi

Avvia gli spazi per testare e sperimentare un modello da un'applicazione Gradio di esempio.

1. Nella Google Cloud console, vai a Model Garden per visualizzare la scheda del modello di un modello.

   Vai a Model Garden

2. Seleziona il modello da utilizzare. I modelli supportati hanno un riquadro Prova gli spazi, ad esempio la scheda del modello Gemma 3.

   Vai a Gemma 3

3. Fai clic su rocket_launch Esegui per avviare uno spazio.

   1. Puoi scegliere di Richiedere l'autenticazione (tramite Identity-Aware Proxy) o Consentire l'accesso pubblico. Per ulteriori informazioni, consulta Abilitare le API per il primo deployment e concedere le autorizzazioni.
   Importante: quando utilizzi l'app, non includere informazioni sensibili o che consentono l'identificazione personale nei prompt.
   1. Fai clic su Crea nuovo servizio per avviare il deployment. Puoi monitorare lo stato del deployment dalla scheda del modello.

4. Quando lo stato degli spazi diventa Pronto, fai clic su di esso per visualizzare i dettagli del deployment.

   Per la protezione di base, l'applicazione web richiede una chiave segreta che deve essere aggiunta all'URL quando invii i prompt. Questa chiave segreta è fornita nel campo Chiave segreta.

   1. Fai clic su Apri per iniziare a utilizzare l'app. Puoi inviare prompt al modello e visualizzare le relative risposte dall'interno dell'app.

   Puoi condividere l'URL in modo che anche altri utenti possano provare l'app.

   1. Per chiudere l'accesso all'app, fai clic su Modifica nel campo Controllo dell'accesso.

   Nella scheda Sicurezza dell'applicazione Cloud Run, seleziona Richiedi autenticazione e fai clic su Salva. L'applicazione non è più disponibile tramite l'URL. Le visite all'URL generano un errore 403 (accesso negato).

Libera spazio

Per evitare che al tuo Google Cloud account vengano addebitati costi relativi alle risorse utilizzate in questa pagina, segui questi passaggi.

Eliminare gli spazi

Per liberare spazio negli spazi, devi eliminare sia le risorse del modello sia le risorse dell'applicazione di esempio in Cloud Run.

Eliminare le risorse del modello

Dall'interno dell'app Gradio, puoi eliminare gli endpoint del modello per liberare spazio nelle risorse di Vertex AI. Dopodiché, devi eliminare il servizio Cloud Run per arrestare ed eliminare l'app Gradio.

Per eliminare manualmente le risorse di Vertex AI, consulta Annullare il deployment dei modelli ed eliminare risorse.

Eliminare il servizio Cloud Run

Elimina le risorse correlate a un servizio, incluse tutte le revisioni del servizio. L'eliminazione di un servizio non include elementi come le immagini container da Artifact Registry. Per ulteriori informazioni, consulta Gestire i servizi nella documentazione di Cloud Run.

1. Nella Google Cloud console, visualizza l'elenco dei servizi Cloud Run:

   Vai a Cloud Run

2. Individua il servizio da eliminare e selezionalo.

3. Fai clic su delete Elimina. Vengono eliminate tutte le revisioni del servizio.

Elimina il progetto

Il modo più semplice per eliminare la fatturazione è eliminare il progetto creato per il tutorial.

Per eliminare il progetto:

Attenzione: l'eliminazione di un progetto ha i seguenti effetti:

• L'intero contenuto del progetto viene eliminato. Se hai utilizzato un progetto esistente per, le attività descritte in questo documento, eliminerai anche tutto il lavoro che hai svolto nel progetto.
• Gli ID progetto personalizzati non sono più disponibili. Quando hai creato questo progetto, potresti aver creato un ID progetto personalizzato che vuoi utilizzare in futuro. Per conservare gli URL che utilizzano l'ID progetto, ad esempio un URL appspot.com, elimina le risorse selezionate all'interno del progetto anziché eliminare l'intero progetto.

Se intendi esplorare più architetture, tutorial o guide rapide, puoi riutilizzare i progetti ed evitare così di superare i limiti di quota.

1. Nella Google Cloud console, vai alla pagina Gestisci risorse.

   Vai a Gestisci risorse

2. Nell'elenco dei progetti, seleziona il progetto che vuoi eliminare, quindi fai clic su Elimina.
3. Nella finestra di dialogo, digita l'ID progetto e fai clic su Chiudi per eliminare il progetto.

Passaggi successivi

Consulta una panoramica di Model Garden.