Integrazione di Model Armor con i servizi Google Cloud

Model Armor si integra con vari servizi: Google Cloud

• Google Kubernetes Engine (GKE) ed estensioni di servizio
• Vertex AI
• Google Agentspace

GKE e Service Extensions

Model Armor può essere integrato con GKE tramite le estensioni di servizio. Le estensioni di servizio consentono di integrare servizi interni (Google Cloud ) o esterni (gestiti dall'utente) per elaborare il traffico. Puoi configurare un'estensione di servizio sui bilanciatori del carico delle applicazioni, inclusi i gateway di inferenza GKE, per filtrare il traffico da e verso un cluster GKE. Ciò verifica che tutte le interazioni con i modelli di AI siano protette da Model Armor. Per maggiori informazioni, consulta Integrazione con GKE.

Vertex AI

Anteprima

Questa funzionalità è soggetta ai "Termini delle Offerte pre-GA" nella sezione Termini di servizio generali dei Termini specifici dei servizi. Le funzionalità pre-GA sono disponibili "così come sono" e potrebbero avere un supporto limitato. Per saperne di più, consulta le descrizioni della fase di lancio.

Model Armor può essere integrato direttamente in Vertex AI utilizzando le impostazioni di base o i modelli. Questa integrazione filtra le richieste e le risposte del modello Gemini, bloccando quelle che violano le impostazioni di base. Questa integrazione fornisce la protezione di prompt e risposte all'interno dell'API Gemini in Vertex AI per il metodo generateContent. Devi attivare Cloud Logging per ottenere visibilità sui risultati della sanificazione di prompt e risposte. Per ulteriori informazioni, consulta Integrazione con Vertex AI.

Google Agentspace

Model Armor può essere integrato direttamente con Google Agentspace utilizzando i modelli. Google Agentspace indirizza le interazioni tra utenti e agenti e i modelli LLM sottostanti tramite Model Armor. Ciò significa che i prompt degli utenti o degli agenti e le risposte generate dai LLM vengono ispezionati da Model Armor prima di essere presentati all'utente. Per maggiori informazioni, consulta Integrazione con Google Agentspace.

Prima di iniziare

Abilita API

Prima di poter utilizzare Model Armor, devi abilitare le API Model Armor.

Console

1. Enable the Model Armor API.

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   Enable the API

2. Seleziona il progetto in cui vuoi attivare Model Armor.

gcloud

Prima di iniziare, segui questi passaggi utilizzando Google Cloud CLI con l'API Model Armor:

1. In the Google Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

2. Esegui questo comando per impostare l'endpoint API per il servizio Model Armor.

   gcloud config set api_endpoint_overrides/modelarmor "https://modelarmor.LOCATION.rep.googleapis.com/"

   Sostituisci LOCATION con la regione in cui vuoi utilizzare Model Armor.

Esegui questo comando per attivare Model Armor.

  gcloud services enable modelarmor.googleapis.com --project=PROJECT_ID
   

Sostituisci PROJECT_ID con l'ID del progetto.

Opzioni durante l'integrazione di Model Armor

Model Armor offre le seguenti opzioni di integrazione. Ogni opzione offre funzionalità e capacità diverse.

Opzione di integrazione	Policy enforcer/detector	Configura i rilevamenti	Solo ispezione	Ispeziona e blocca	Copertura di modelli e cloud
API REST	Rilevatore	Utilizzo esclusivo di modelli	Sì	Sì	Tutti i modelli e tutti i cloud
Vertex AI (anteprima)	Applicazione in linea	Utilizzo delle impostazioni di base o dei modelli	Sì	Sì	Gemini (non in streaming) su Google Cloud
Google Kubernetes Engine	Applicazione in linea	Utilizzo esclusivo di modelli	Sì	Sì	Modelli con formato OpenAI su Google Cloud
Google Agentspace	Applicazione in linea	Utilizzo esclusivo di modelli	Sì	Sì	Tutti i modelli e tutti i cloud

Per l'opzione di integrazione dell'API REST, Model Armor funziona solo come detector che utilizza i modelli. Ciò significa che identifica e segnala potenziali violazioni delle norme in base a modelli predefiniti anziché prevenirle attivamente. Quando si integra con l'API Model Armor, l'applicazione può utilizzare il suo output per bloccare o consentire azioni in base ai risultati della valutazione della sicurezza forniti. L'API Model Armor restituisce informazioni su potenziali minacce o violazioni delle norme relative al traffico API, soprattutto nel caso di interazioni AI/LLM. La tua applicazione può chiamare l'API Model Armor e utilizzare le informazioni ricevute nella risposta per prendere una decisione e intraprendere un'azione in base alla logica personalizzata predefinita.

Con l'opzione di integrazione di Vertex AI, Model Armor fornisce l'applicazione in linea utilizzando impostazioni o modelli di base. Ciò significa che Model Armor applica attivamente i criteri intervenendo direttamente nel processo senza richiedere modifiche al codice dell'applicazione.

Analogamente a Vertex AI, le opzioni di integrazione di GKE e Google Agentspace offrono anche l'applicazione in linea solo utilizzando i modelli. Ciò significa che Model Armor può applicare i criteri direttamente all'interno del gateway di inferenza, nonché alle interazioni dell'utente o dell'agente all'interno delle istanze di Google Agentspace senza richiedere modifiche al codice dell'applicazione.

L'integrazione di Model Armor e Google Agentspace sanifica solo il prompt iniziale dell'utente e la risposta finale dell'agente o del modello. I passaggi intermedi che si verificano tra il prompt iniziale dell'utente e la generazione della risposta finale non sono coperti da questa integrazione.

Invia feedback