Accedere ai modelli Gemini da un flusso di lavoro utilizzando Vertex AI

L'AI generativa su Vertex AI (nota anche come genAI o gen AI) ti consente di accedere ai modelli di AI generativa di Google per più modalità (testo, codice, immagini, voce). Puoi testare e ottimizzare questi modelli linguistici di grandi dimensioni (LLM) e poi eseguire il deployment per utilizzarli nelle tue applicazioni basate sull'AI. Per ulteriori informazioni, consulta la panoramica dell'AI generativa su Vertex AI.

Vertex AI dispone di una serie di foundation model di AI generativa accessibili tramite un'API, inclusi i modelli utilizzati in questa guida. Per ulteriori informazioni su come scegliere un modello, consulta Modelli Google.

Ogni modello è accessibile tramite un endpoint del publisher specifico per il tuo progettoGoogle Cloud , quindi non è necessario eseguire il deployment del foundation model a meno che tu non debba ottimizzarlo per un caso d'uso particolare. Puoi inviare un prompt all'endpoint del publisher. Un prompt è una richiesta in linguaggio naturale inviata a un LLM per ottenere una risposta.

Questo tutorial mostra i flussi di lavoro che generano risposte dai modelli Vertex AI inviando prompt di testo agli endpoint del publisher utilizzando un connettore Workflows o una richiesta HTTP POST. Per ulteriori informazioni, consulta la panoramica del connettore API Vertex AI e Effettuare una richiesta HTTP.

Tieni presente che puoi eseguire il deployment e l'esecuzione di ogni workflow in modo indipendente.

Obiettivi

In questo tutorial imparerai a:

1. Abilita le API Vertex AI e Workflows e concedi il ruolo Utente Vertex AI (roles/aiplatform.user) al tuo service account. Questo ruolo consente l'accesso alla maggior parte delle funzionalità di Vertex AI. Per saperne di più sulla configurazione di Vertex AI, vedi Configura un progetto e un ambiente di sviluppo.
2. Esegui il deployment ed esegui un workflow che chiede a un modello Vertex AI di descrivere un'immagine disponibile pubblicamente tramite Cloud Storage. Per maggiori informazioni, consulta Rendere pubblici i dati.
3. Esegui il deployment e l'esecuzione di un workflow che scorre in parallelo un elenco di paesi e chiede a un modello Vertex AI di generare e restituire la storia dei paesi. L'utilizzo di rami paralleli consente di ridurre il tempo di esecuzione totale avviando le chiamate all'LLM contemporaneamente e attendendo il completamento di tutte prima di combinare i risultati. Per saperne di più, consulta Eseguire i passaggi del workflow in parallelo.
4. Esegui il deployment di un workflow in grado di riassumere un documento di grandi dimensioni. Poiché esiste un limite alla finestra contestuale che determina quanto indietro guarda il modello durante l'addestramento (e per le previsioni), il workflow divide il documento in parti più piccole e poi chiede a un modello Vertex AI di riassumere ogni parte in parallelo. Per saperne di più, consulta Panoramica delle strategie di prompt e Orizzonte di previsione, finestra contestuale e finestra di previsione.

Costi

In questo documento vengono utilizzati i seguenti componenti fatturabili di Google Cloud:

• Vertex AI
• Workflows

Per generare una stima dei costi in base all'utilizzo previsto, utilizza il calcolatore prezzi.

I nuovi utenti di Google Cloud potrebbero avere diritto a una prova senza costi.

Al termine delle attività descritte in questo documento, puoi evitare l'addebito di ulteriori costi eliminando le risorse che hai creato. Per saperne di più, consulta Esegui la pulizia.

Prima di iniziare

Prima di provare gli esempi di questo tutorial, assicurati di aver completato quanto segue.

Console

Accedi al tuo account Google Cloud . Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti senza costi per l'esecuzione, il test e il deployment dei workload.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Vertex AI and Workflows APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Create a service account:

1. Ensure that you have the Create Service Accounts IAM role (roles/iam.serviceAccountCreator) and the Project IAM Admin role (roles/resourcemanager.projectIamAdmin). Learn how to grant roles.

2. In the Google Cloud console, go to the Create service account page.

   Go to Create service account
3. Select your project.

4. In the Service account name field, enter a name. The Google Cloud console fills in the Service account ID field based on this name.

   In the Service account description field, enter a description. For example, Service account for quickstart.

5. Click Create and continue.

6. Grant the Vertex AI > Vertex AI User role to the service account.

   To grant the role, find the Select a role list, then select Vertex AI > Vertex AI User.

   Note: The Role field affects which resources the service account can access in your project. You can revoke these roles or grant additional roles later.
7. Click Continue.

8. Click Done to finish creating the service account.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Vertex AI and Workflows APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Create a service account:

1. Ensure that you have the Create Service Accounts IAM role (roles/iam.serviceAccountCreator) and the Project IAM Admin role (roles/resourcemanager.projectIamAdmin). Learn how to grant roles.

2. In the Google Cloud console, go to the Create service account page.

   Go to Create service account
3. Select your project.

4. In the Service account name field, enter a name. The Google Cloud console fills in the Service account ID field based on this name.

   In the Service account description field, enter a description. For example, Service account for quickstart.

5. Click Create and continue.

6. Grant the Vertex AI > Vertex AI User role to the service account.

   To grant the role, find the Select a role list, then select Vertex AI > Vertex AI User.

   Note: The Role field affects which resources the service account can access in your project. You can revoke these roles or grant additional roles later.
7. Click Continue.

8. Click Done to finish creating the service account.

gcloud

Accedi al tuo account Google Cloud . Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti senza costi per l'esecuzione, il test e il deployment dei workload.
Installa Google Cloud CLI.
Se utilizzi un provider di identità (IdP) esterno, devi prima accedere a gcloud CLI con la tua identità federata.
Per inizializzare gcloud CLI, esegui questo comando:
gcloud init
Crea o seleziona un Google Cloud progetto.
Ruoli richiesti per selezionare o creare un progetto
• Seleziona un progetto: la selezione di un progetto non richiede un ruolo IAM specifico. Puoi selezionare qualsiasi progetto per il quale ti è stato concesso un ruolo.
• Crea un progetto: per creare un progetto, devi disporre del ruolo Autore progetto (roles/resourcemanager.projectCreator), che contiene l'autorizzazione resourcemanager.projects.create. Scopri come concedere i ruoli.
Nota: se non prevedi di conservare le risorse che crei in questa procedura, crea un progetto invece di selezionarne uno già esistente. Una volta completata questa procedura, puoi eliminare il progetto e tutte le relative risorse.
• Creare un progetto Google Cloud :

  gcloud projects create PROJECT_ID

  Sostituisci PROJECT_ID con un nome per il progetto Google Cloud che stai creando.

• Seleziona il progetto Google Cloud che hai creato:

  gcloud config set project PROJECT_ID

  Sostituisci PROJECT_ID con il nome del progetto Google Cloud .
Verifica che la fatturazione sia abilitata per il tuo progetto Google Cloud .
Abilita le API Vertex AI e Workflows:
Ruoli richiesti per abilitare le API
Per abilitare le API, devi disporre del ruolo IAM Amministratore utilizzo dei servizi (roles/serviceusage.serviceUsageAdmin), che include l'autorizzazione serviceusage.services.enable. Scopri come concedere i ruoli.
gcloud services enable aiplatform.googleapis.com workflows.googleapis.com
Configura l'autenticazione:
1. Assicurati di disporre del ruolo IAM Creazione account di servizio (roles/iam.serviceAccountCreator) e del ruolo Amministratore IAM progetto (roles/resourcemanager.projectIamAdmin). Scopri come concedere i ruoli.

2. Crea l'account di servizio:

   gcloud iam service-accounts create SERVICE_ACCOUNT_NAME

   Sostituisci SERVICE_ACCOUNT_NAME con un nome per il account di servizio.

3. Concedi il ruolo IAM roles/aiplatform.user al account di servizio:

   gcloud projects add-iam-policy-binding PROJECT_ID --member="serviceAccount:SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com" --role=roles/aiplatform.user

   Sostituisci quanto segue:

   • SERVICE_ACCOUNT_NAME: il nome del account di servizio
   • PROJECT_ID: l'ID progetto in cui hai creato il account di servizio
   Nota: il flag --role influisce sulle risorse a cui l'account di servizio può accedere nel tuo progetto. Puoi revocare questi ruoli o concederne altri in un secondo momento.

Installa Google Cloud CLI.

Se utilizzi un provider di identità (IdP) esterno, devi prima accedere a gcloud CLI con la tua identità federata.

Per inizializzare gcloud CLI, esegui questo comando:

gcloud init

Crea o seleziona un Google Cloud progetto.

Ruoli richiesti per selezionare o creare un progetto

• Seleziona un progetto: la selezione di un progetto non richiede un ruolo IAM specifico. Puoi selezionare qualsiasi progetto per il quale ti è stato concesso un ruolo.
• Crea un progetto: per creare un progetto, devi disporre del ruolo Autore progetto (roles/resourcemanager.projectCreator), che contiene l'autorizzazione resourcemanager.projects.create. Scopri come concedere i ruoli.

Nota: se non prevedi di conservare le risorse che crei in questa procedura, crea un progetto invece di selezionarne uno già esistente. Una volta completata questa procedura, puoi eliminare il progetto e tutte le relative risorse.

• Creare un progetto Google Cloud :

  gcloud projects create PROJECT_ID

  Sostituisci PROJECT_ID con un nome per il progetto Google Cloud che stai creando.

• Seleziona il progetto Google Cloud che hai creato:

  gcloud config set project PROJECT_ID

  Sostituisci PROJECT_ID con il nome del progetto Google Cloud .

Verifica che la fatturazione sia abilitata per il tuo progetto Google Cloud .

Abilita le API Vertex AI e Workflows:

Ruoli richiesti per abilitare le API

Per abilitare le API, devi disporre del ruolo IAM Amministratore utilizzo dei servizi (roles/serviceusage.serviceUsageAdmin), che include l'autorizzazione serviceusage.services.enable. Scopri come concedere i ruoli.

gcloud services enable aiplatform.googleapis.com workflows.googleapis.com

Configura l'autenticazione:

1. Assicurati di disporre del ruolo IAM Creazione account di servizio (roles/iam.serviceAccountCreator) e del ruolo Amministratore IAM progetto (roles/resourcemanager.projectIamAdmin). Scopri come concedere i ruoli.

2. Crea l'account di servizio:

   gcloud iam service-accounts create SERVICE_ACCOUNT_NAME

   Sostituisci SERVICE_ACCOUNT_NAME con un nome per il account di servizio.

3. Concedi il ruolo IAM roles/aiplatform.user al account di servizio:

   gcloud projects add-iam-policy-binding PROJECT_ID --member="serviceAccount:SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com" --role=roles/aiplatform.user

   Sostituisci quanto segue:

   • SERVICE_ACCOUNT_NAME: il nome del account di servizio
   • PROJECT_ID: l'ID progetto in cui hai creato il account di servizio
   Nota: il flag --role influisce sulle risorse a cui l'account di servizio può accedere nel tuo progetto. Puoi revocare questi ruoli o concederne altri in un secondo momento.

Esegui il deployment di un workflow che descrive un'immagine

Esegui il deployment di un flusso di lavoro che utilizza un metodo del connettore (generateContent) per inviare una richiesta a un endpoint dell'editore del modello. Il metodo fornisce supporto per la generazione di contenuti con input multimodali.

Il workflow fornisce un prompt di testo e l'URI di un'immagine disponibile pubblicamente in un bucket Cloud Storage. Puoi visualizzare l'immagine e, nella console Google Cloud , puoi visualizzare i dettagli dell'oggetto.

Il flusso di lavoro restituisce una descrizione dell'immagine dalla risposta generata dal modello.

Per saperne di più sui parametri del corpo della richiesta HTTP utilizzati quando viene richiesto l'LLM e sugli elementi del corpo della risposta, consulta Generare contenuti con l'API Gemini in Vertex AI.

Console

1. Nella Google Cloud console, vai alla pagina Workflows.

   Vai a Flussi di lavoro

2. Fai clic su Crea.

3. Inserisci un nome per il nuovo workflow: describe-image.

4. Nell'elenco Regione, seleziona us-central1 (Iowa).

5. Per Service account, seleziona il account di servizio che hai creato in precedenza.

6. Fai clic su Avanti.

7. Nell'editor del workflow, inserisci la seguente definizione per il workflow:

   main:
       params: [args]
       steps:
       - init:
           assign:
               - project: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
               - location: "us-central1"
               - model: "gemini-2.5-flash"
               - text_combined: ""
       - ask_llm:
           call: googleapis.aiplatform.v1.projects.locations.endpoints.generateContent
           args:
               model: ${"projects/" + project + "/locations/" + location + "/publishers/google/models/" + model}
               region: ${location}
               body:
                   contents:
                       role: user
                       parts:
                       - fileData:
                           mimeType: image/jpeg
                           fileUri: ${args.image_url}
                       - text: Describe this picture in detail
                   generation_config:
                       temperature: 0.4
                       max_output_tokens: 2048
                       top_p: 1
                       top_k: 32
           result: llm_response
       - return_result:
           return:
               image_url: ${args.image_url}
               image_description: ${llm_response.candidates[0].content.parts[0].text}

8. Fai clic su Esegui il deployment.

gcloud

1. Crea un file di codice sorgente per il workflow:

   touch describe-image.yaml

2. In un editor di testo, copia il seguente workflow nel file del codice sorgente:

   main:
       params: [args]
       steps:
       - init:
           assign:
               - project: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
               - location: "us-central1"
               - model: "gemini-2.5-flash"
               - text_combined: ""
       - ask_llm:
           call: googleapis.aiplatform.v1.projects.locations.endpoints.generateContent
           args:
               model: ${"projects/" + project + "/locations/" + location + "/publishers/google/models/" + model}
               region: ${location}
               body:
                   contents:
                       role: user
                       parts:
                       - fileData:
                           mimeType: image/jpeg
                           fileUri: ${args.image_url}
                       - text: Describe this picture in detail
                   generation_config:
                       temperature: 0.4
                       max_output_tokens: 2048
                       top_p: 1
                       top_k: 32
           result: llm_response
       - return_result:
           return:
               image_url: ${args.image_url}
               image_description: ${llm_response.candidates[0].content.parts[0].text}

3. Esegui il deployment del flusso di lavoro inserendo questo comando:

   gcloud workflows deploy describe-image \
       --source=describe-image.yaml \
       --location=us-central1 \
       --service-account=SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com

Esegui il flusso di lavoro

L'esecuzione di un workflow esegue la definizione attuale del workflow associata al workflow.

Console

1. Nella Google Cloud console, vai alla pagina Workflows.

   Vai a Flussi di lavoro

2. Nella pagina Workflow, seleziona il workflow describe-image per accedere alla relativa pagina dei dettagli.

3. Nella pagina Dettagli workflow, fai clic su Esegui.

4. Per Input, inserisci quanto segue:

   {"image_url":"gs://generativeai-downloads/images/scones.jpg"}

5. Fai di nuovo clic su Esegui.

6. Visualizza i risultati del workflow nel riquadro Output.

   L'output dovrebbe essere simile al seguente:

   {
     "image_description": "There are three pink peony flowers on the right side of the picture[]...]There is a white napkin on the table.",
     "image_url": "gs://generativeai-downloads/images/scones.jpg"
   }

gcloud

1. Apri un terminale.

2. Esegui il workflow:

   gcloud workflows run describe-image \
       --data='{"image_url":"gs://generativeai-downloads/images/scones.jpg"}'

   I risultati dell'esecuzione dovrebbero essere simili ai seguenti:

     Waiting for execution [258b530e-a093-46d7-a4ff-cbf5392273c0] to complete...done.
     argument: '{"image_url":"gs://generativeai-downloads/images/scones.jpg"}'
     createTime: '2024-02-09T13:59:32.166409938Z'
     duration: 4.174708484s
     endTime: '2024-02-09T13:59:36.341118422Z'
     name: projects/1051295516635/locations/us-central1/workflows/describe-image/executions/258b530e-a093-46d7-a4ff-cbf5392273c0
     result: "{\"image_description\":\"The picture shows a rustic table with a white surface,\
       \ on which there are several scones with blueberries, as well as two cups of coffee\
       [...]
       \ on the table. The background of the table is a dark blue color.\",\"image_url\"\
       :\"gs://generativeai-downloads/images/scones.jpg\"}"
     startTime: '2024-02-09T13:59:32.166409938Z'
     state: SUCCEEDED

Esegui il deployment di un workflow che genera le cronologie dei paesi

Esegui il deployment di un workflow che scorre un elenco di paesi di input in parallelo e utilizza un metodo del connettore (generateContent) per effettuare una richiesta a un endpoint del publisher del modello. Il metodo fornisce supporto per la generazione di contenuti con input multimodali.

Il workflow restituisce le cronologie dei paesi generate dal modello, combinandole in una mappa.

Per saperne di più sui parametri del corpo della richiesta HTTP utilizzati quando viene richiesto l'LLM e sugli elementi del corpo della risposta, consulta Generare contenuti con l'API Gemini in Vertex AI.

Console

1. Nella Google Cloud console, vai alla pagina Workflows.

   Vai a Flussi di lavoro

2. Fai clic su Crea.

3. Inserisci un nome per il nuovo workflow: gemini-pro-country-histories.

4. Nell'elenco Regione, seleziona us-central1 (Iowa).

5. Per Service account, seleziona il account di servizio che hai creato in precedenza.

6. Fai clic su Avanti.

7. Nell'editor del workflow, inserisci la seguente definizione per il workflow:

   main:
       params: [args]
       steps:
       - init:
           assign:
               - project: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
               - location: "us-central1"
               - model: "gemini-2.5-flash"
               - histories: {}
       - loop_over_countries:
           parallel:
               shared: [histories]
               for:
                   value: country
                   in: ${args.countries}
                   steps:
                       - ask_llm:
                           call: googleapis.aiplatform.v1.projects.locations.endpoints.generateContent
                           args:
                               model: ${"projects/" + project + "/locations/" + location + "/publishers/google/models/" + model}
                               region: ${location}
                               body:
                                   contents:
                                       role: "USER"
                                       parts:
                                           text: ${"Can you tell me about the history of " + country}
                                   generation_config:
                                       temperature: 0.5
                                       max_output_tokens: 2048
                                       top_p: 0.8
                                       top_k: 40
                           result: llm_response
                       - add_to_histories:
                           assign:
                               - histories[country]: ${llm_response.candidates[0].content.parts[0].text}
       - return_result:
           return: ${histories}

8. Fai clic su Esegui il deployment.

gcloud

1. Crea un file di codice sorgente per il workflow:

   touch gemini-pro-country-histories.yaml

2. In un editor di testo, copia il seguente workflow nel file del codice sorgente:

   main:
       params: [args]
       steps:
       - init:
           assign:
               - project: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
               - location: "us-central1"
               - model: "gemini-2.5-flash"
               - histories: {}
       - loop_over_countries:
           parallel:
               shared: [histories]
               for:
                   value: country
                   in: ${args.countries}
                   steps:
                       - ask_llm:
                           call: googleapis.aiplatform.v1.projects.locations.endpoints.generateContent
                           args:
                               model: ${"projects/" + project + "/locations/" + location + "/publishers/google/models/" + model}
                               region: ${location}
                               body:
                                   contents:
                                       role: "USER"
                                       parts:
                                           text: ${"Can you tell me about the history of " + country}
                                   generation_config:
                                       temperature: 0.5
                                       max_output_tokens: 2048
                                       top_p: 0.8
                                       top_k: 40
                           result: llm_response
                       - add_to_histories:
                           assign:
                               - histories[country]: ${llm_response.candidates[0].content.parts[0].text}
       - return_result:
           return: ${histories}

3. Esegui il deployment del flusso di lavoro inserendo questo comando:

   gcloud workflows deploy gemini-pro-country-histories \
       --source=gemini-pro-country-histories.yaml \
       --location=us-central1 \
       --service-account=SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com

Esegui il flusso di lavoro

L'esecuzione di un workflow esegue la definizione attuale del workflow associata al workflow.

Console

1. Nella Google Cloud console, vai alla pagina Workflows.

   Vai a Flussi di lavoro

2. Nella pagina Workflow, seleziona il workflow gemini-pro-country-histories per accedere alla pagina dei dettagli.

3. Nella pagina Dettagli workflow, fai clic su Esegui.

4. Per Input, inserisci quanto segue:

   {"countries":["Argentina", "Bhutan", "Cyprus", "Denmark", "Ethiopia"]}

5. Fai di nuovo clic su Esegui.

6. Visualizza i risultati del workflow nel riquadro Output.

   L'output dovrebbe essere simile al seguente:

   {
     "Argentina": "The history of Argentina is a complex and fascinating one, marked by periods of prosperity and decline, political [...]
     "Bhutan": "The history of Bhutan is a rich and fascinating one, dating back to the 7th century AD. Here is a brief overview: [...]
     "Cyprus": "The history of Cyprus is a long and complex one, spanning over 10,000 years. The island has been ruled by a succession [...]
     "Denmark": "1. **Prehistory and Early History (c. 12,000 BC - 800 AD)**\\n   - The earliest evidence of human habitation in Denmark [...]
     "Ethiopia": "The history of Ethiopia is a long and complex one, stretching back to the earliest human civilizations. The country is [...]
   }

gcloud

1. Apri un terminale.

2. Esegui il workflow:

   gcloud workflows run gemini-pro-country-histories \
       --data='{"countries":["Argentina", "Bhutan", "Cyprus", "Denmark", "Ethiopia"]}' \
       --location=us-central1

   I risultati dell'esecuzione dovrebbero essere simili ai seguenti:

     Waiting for execution [7ae1ccf1-29b7-4c2c-99ec-7a12ae289391] to complete...done.
     argument: '{"countries":["Argentina","Bhutan","Cyprus","Denmark","Ethiopia"]}'
     createTime: '2024-02-09T16:25:16.742349156Z'
     duration: 12.075968673s
     endTime: '2024-02-09T16:25:28.818317829Z'
     name: projects/1051295516635/locations/us-central1/workflows/gemini-pro-country-histories/executions/7ae1ccf1-29b7-4c2c-99ec-7a12ae289391
     result: "{\"Argentina\":\"The history of Argentina can be traced back to the arrival\
       [...]
       n* 2015: Argentina elects Mauricio Macri as president.\",\"Bhutan\":\"The history\
       [...]
       \ natural beauty, ancient monasteries, and friendly people.\",\"Cyprus\":\"The history\
       [...]
       ,\"Denmark\":\"The history of Denmark can be traced back to the Stone Age, with\
       [...]
       \ a high standard of living.\",\"Ethiopia\":\"The history of Ethiopia is long and\
       [...]
     startTime: '2024-02-09T16:25:16.742349156Z'
     state: SUCCEEDED

Esegui il deployment di un flusso di lavoro che riassume un documento di grandi dimensioni

Esegui il deployment di un workflow che divide un documento di grandi dimensioni in parti più piccole, effettuando http.post richieste a un endpoint del publisher del modello in parallelo in modo che il modello possa riassumere ogni parte contemporaneamente. Infine, il flusso di lavoro combina tutti i riepiloghi parziali in uno completo.

Per saperne di più sui parametri del corpo della richiesta HTTP utilizzati quando viene richiesto l'LLM e sugli elementi del corpo della risposta, consulta Generare contenuti con l'API Gemini in Vertex AI.

La definizione del workflow presuppone che tu abbia creato un bucket Cloud Storage in cui caricare un file di testo. Per ulteriori informazioni sul connettore Workflows (googleapis.storage.v1.objects.get) utilizzato per recuperare oggetti dal bucket Cloud Storage, consulta il riferimento ai connettori.

Dopo aver eseguito il deployment del workflow, puoi eseguirlo creando un trigger Eventarc appropriato e caricando un file nel bucket. Per maggiori informazioni, consulta Eseguire il routing degli eventi Cloud Storage a Workflows. Tieni presente che devono essere attivate API aggiuntive e devono essere concessi ruoli aggiuntivi, incluso il ruolo Storage Object User (roles/storage.objectUser) al tuo account di servizio, che supporta l'utilizzo degli oggetti Cloud Storage. Per saperne di più, consulta la sezione Prepararsi a creare un trigger.

Console

1. Nella Google Cloud console, vai alla pagina Workflows.

   Vai a Flussi di lavoro

2. Fai clic su Crea.

3. Inserisci un nome per il nuovo workflow: gemini-pro-summaries.

4. Nell'elenco Regione, seleziona us-central1 (Iowa).

5. Per Service account, seleziona il account di servizio che hai creato in precedenza.

6. Fai clic su Avanti.

7. Nell'editor del workflow, inserisci la seguente definizione per il workflow:

   main:
       params: [input]
       steps:
       - assign_file_vars:
           assign:
               - file_size: ${int(input.data.size)}
               - chunk_size: 64000
               - n_chunks: ${int(file_size / chunk_size)}
               - summaries: []
               - all_summaries_concatenated: ""
       - loop_over_chunks:
           parallel:
               shared: [summaries]
               for:
                   value: chunk_idx
                   range: ${[0, n_chunks]}
                   steps:
                       - assign_bounds:
                           assign:
                               - lower_bound: ${chunk_idx * chunk_size}
                               - upper_bound: ${(chunk_idx + 1) * chunk_size}
                               - summaries: ${list.concat(summaries, "")}
                       - dump_file_content:
                           call: http.get
                           args:
                               url: ${"https://storage.googleapis.com/storage/v1/b/" + input.data.bucket + "/o/" + input.data.name + "?alt=media"}
                               auth:
                                   type: OAuth2
                               headers:
                                   Range: ${"bytes=" + lower_bound + "-" + upper_bound}
                           result: file_content
                       - assign_chunk:
                           assign:
                               - chunk: ${file_content.body}
                       - generate_chunk_summary:
                           call: ask_gemini_for_summary
                           args:
                               textToSummarize: ${chunk}
                           result: summary
                       - assign_summary:
                           assign:
                               - summaries[chunk_idx]: ${summary}
       - concat_summaries:
           for:
               value: summary
               in: ${summaries}
               steps:
                   - append_summaries:
                       assign:
                           - all_summaries_concatenated: ${all_summaries_concatenated + "\n" + summary}
       - reduce_summary:
           call: ask_gemini_for_summary
           args:
               textToSummarize: ${all_summaries_concatenated}
           result: final_summary
       - return_result:
           return:
               - summaries: ${summaries}
               - final_summary: ${final_summary}
   
   ask_gemini_for_summary:
       params: [textToSummarize]
       steps:
           - init:
               assign:
                   - project: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
                   - location: "us-central1"
                   - model: "gemini-2.5-pro"
                   - summary: ""
           - call_gemini:
               call: http.post
               args:
                   url: ${"https://" + location + "-aiplatform.googleapis.com" + "/v1/projects/" + project + "/locations/" + location + "/publishers/google/models/" + model + ":generateContent"}
                   auth:
                       type: OAuth2
                   body:
                       contents:
                           role: user
                           parts:
                               - text: '${"Make a summary of the following text:\n\n" + textToSummarize}'
                       generation_config:
                           temperature: 0.2
                           maxOutputTokens: 2000
                           topK: 10
                           topP: 0.9
               result: gemini_response
           # Sometimes, there's no text, for example, due to safety settings
           - check_text_exists:
               switch:
               - condition: ${not("parts" in gemini_response.body.candidates[0].content)}
                 next: return_summary
           - extract_text:
               assign:
                   - summary: ${gemini_response.body.candidates[0].content.parts[0].text}
           - return_summary:
               return: ${summary}

8. Fai clic su Esegui il deployment.

gcloud

1. Crea un file di codice sorgente per il workflow:

   touch gemini-pro-summaries.yaml

2. In un editor di testo, copia il seguente workflow nel file del codice sorgente:

   main:
       params: [input]
       steps:
       - assign_file_vars:
           assign:
               - file_size: ${int(input.data.size)}
               - chunk_size: 64000
               - n_chunks: ${int(file_size / chunk_size)}
               - summaries: []
               - all_summaries_concatenated: ""
       - loop_over_chunks:
           parallel:
               shared: [summaries]
               for:
                   value: chunk_idx
                   range: ${[0, n_chunks]}
                   steps:
                       - assign_bounds:
                           assign:
                               - lower_bound: ${chunk_idx * chunk_size}
                               - upper_bound: ${(chunk_idx + 1) * chunk_size}
                               - summaries: ${list.concat(summaries, "")}
                       - dump_file_content:
                           call: http.get
                           args:
                               url: ${"https://storage.googleapis.com/storage/v1/b/" + input.data.bucket + "/o/" + input.data.name + "?alt=media"}
                               auth:
                                   type: OAuth2
                               headers:
                                   Range: ${"bytes=" + lower_bound + "-" + upper_bound}
                           result: file_content
                       - assign_chunk:
                           assign:
                               - chunk: ${file_content.body}
                       - generate_chunk_summary:
                           call: ask_gemini_for_summary
                           args:
                               textToSummarize: ${chunk}
                           result: summary
                       - assign_summary:
                           assign:
                               - summaries[chunk_idx]: ${summary}
       - concat_summaries:
           for:
               value: summary
               in: ${summaries}
               steps:
                   - append_summaries:
                       assign:
                           - all_summaries_concatenated: ${all_summaries_concatenated + "\n" + summary}
       - reduce_summary:
           call: ask_gemini_for_summary
           args:
               textToSummarize: ${all_summaries_concatenated}
           result: final_summary
       - return_result:
           return:
               - summaries: ${summaries}
               - final_summary: ${final_summary}
   
   ask_gemini_for_summary:
       params: [textToSummarize]
       steps:
           - init:
               assign:
                   - project: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
                   - location: "us-central1"
                   - model: "gemini-2.5-pro"
                   - summary: ""
           - call_gemini:
               call: http.post
               args:
                   url: ${"https://" + location + "-aiplatform.googleapis.com" + "/v1/projects/" + project + "/locations/" + location + "/publishers/google/models/" + model + ":generateContent"}
                   auth:
                       type: OAuth2
                   body:
                       contents:
                           role: user
                           parts:
                               - text: '${"Make a summary of the following text:\n\n" + textToSummarize}'
                       generation_config:
                           temperature: 0.2
                           maxOutputTokens: 2000
                           topK: 10
                           topP: 0.9
               result: gemini_response
           # Sometimes, there's no text, for example, due to safety settings
           - check_text_exists:
               switch:
               - condition: ${not("parts" in gemini_response.body.candidates[0].content)}
                 next: return_summary
           - extract_text:
               assign:
                   - summary: ${gemini_response.body.candidates[0].content.parts[0].text}
           - return_summary:
               return: ${summary}

3. Esegui il deployment del flusso di lavoro inserendo questo comando:

   gcloud workflows deploy gemini-pro-summaries \
       --source=gemini-pro-summaries.yaml \
       --location=us-central1 \
       --service-account=SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com

Esegui la pulizia

Per evitare che al tuo Account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questo tutorial, elimina il progetto che contiene le risorse oppure mantieni il progetto ed elimina le singole risorse.

Elimina il progetto

Console

Attenzione: l'eliminazione di un progetto ha i seguenti effetti:

• L'intero contenuto del progetto viene eliminato. Se hai utilizzato un progetto esistente per, le attività descritte in questo documento, eliminerai anche tutto il lavoro che hai svolto nel progetto.
• Gli ID progetto personalizzati non sono più disponibili. Quando hai creato questo progetto, potresti aver creato un ID progetto personalizzato che vuoi utilizzare in futuro. Per conservare gli URL che utilizzano l'ID progetto, ad esempio un URL appspot.com, elimina le risorse selezionate all'interno del progetto anziché eliminare l'intero progetto.

Se intendi esplorare più architetture, tutorial o guide rapide, puoi riutilizzare i progetti ed evitare così di superare i limiti di quota.

1. Nella console Google Cloud , vai alla pagina Gestisci risorse.

   Vai a Gestisci risorse

2. Nell'elenco dei progetti, seleziona quello che vuoi eliminare, quindi fai clic su Elimina.
3. Nella finestra di dialogo, digita l'ID del progetto e fai clic su Chiudi per eliminare il progetto.

gcloud

Attenzione: l'eliminazione di un progetto ha i seguenti effetti:

• L'intero contenuto del progetto viene eliminato. Se hai utilizzato un progetto esistente per, le attività descritte in questo documento, eliminerai anche tutto il lavoro che hai svolto nel progetto.
• Gli ID progetto personalizzati non sono più disponibili. Quando hai creato questo progetto, potresti aver creato un ID progetto personalizzato che vuoi utilizzare in futuro. Per conservare gli URL che utilizzano l'ID progetto, ad esempio un URL appspot.com, elimina le risorse selezionate all'interno del progetto anziché eliminare l'intero progetto.

Se intendi esplorare più architetture, tutorial o guide rapide, puoi riutilizzare i progetti ed evitare così di superare i limiti di quota.

Elimina un progetto Google Cloud :

gcloud projects delete PROJECT_ID

Elimina singole risorse

Elimina i workflow che hai creato in questo tutorial.

Passaggi successivi

• Scopri di più sui connettori di Workflows.
• Scopri di più sulla generazione di contenuti con l'API Gemini in Vertex AI.