Model Armor si integra con i servizi Google Cloud per proteggere le interazioni con l'AI e i modelli linguistici di grandi dimensioni (LLM). Model Armor identifica e segnala potenziali violazioni delle norme e può bloccare attivamente le azioni in base alle valutazioni di sicurezza.
Model Armor si integra con vari servizi Google Cloud :
Apigee
L'integrazione ti consente di utilizzare le funzionalità di protezione AI di Model Armor direttamente all'interno del livello del gateway API Apigee. Configura policy Model Armor specifiche all'interno dei proxy API Apigee. Quando una chiamata API passa attraverso un proxy Apigee che dispone di questi criteri, Apigee invia i prompt e le risposte al servizio Model Armor per l'ispezione. Per saperne di più, vedi Eseguire l'integrazione con Apigee.
Gemini Enterprise
Model Armor può essere integrato direttamente con Gemini Enterprise utilizzando i modelli. Gemini Enterprise indirizza le interazioni tra utenti e agenti e i LLM sottostanti tramite Model Armor. Ciò significa che i prompt degli utenti o degli agenti e le risposte generate dai LLM vengono ispezionati da Model Armor prima di essere presentati all'utente. Per maggiori informazioni, consulta Eseguire l'integrazione con Gemini Enterprise.
Google e Google Cloud server MCP
Model Armor può essere configurato per proteggere i tuoi dati e proteggere i contenuti quando invii richieste ai servizi Google Cloud che espongono strumenti e server Model Context Protocol (MCP). Model Armor aiuta a proteggere le tue applicazioni di AI agentica sanificando le chiamate e le risposte degli strumenti MCP utilizzando le impostazioni di base. Questo processo mitiga i rischi come il prompt injection e la divulgazione di dati sensibili. Per maggiori informazioni, consulta Eseguire l'integrazione con i server Google e Google Cloud MCP.
Service Extensions
Model Armor può essere integrato con i servizi di rete tramite Service Extensions. Google Cloud Le estensioni di servizio ti consentono di integrare servizi interni (Google Cloud ) o esterni (gestiti dall'utente) per elaborare il traffico. Puoi configurare un'estensione di servizio sui bilanciatori del carico delle applicazioni per analizzare il traffico di rete per varie interazioni di AI, ad esempio con agenti e server MCP. Puoi anche utilizzare le estensioni di servizio con i gateway di inferenza GKE per filtrare il traffico da e verso un cluster GKE. Ciò contribuisce a garantire che tutte le interazioni con l'AI che passano attraverso il bilanciatore del carico siano protette da Model Armor. Per ulteriori informazioni, consulta Integrazione con i servizi di rete. Google Cloud
Vertex AI
Model Armor può essere integrato direttamente in Vertex AI utilizzando le impostazioni di base o i modelli.
Questa integrazione filtra le richieste e le risposte del modello Gemini, bloccando
quelle che violano le impostazioni di base. Questa integrazione fornisce la protezione di prompt e risposte
all'interno dell'API Gemini in Vertex AI per il
metodo generateContent. Devi abilitare Cloud Logging per ottenere visibilità
sui risultati della sanificazione di prompt e risposte. Per ulteriori informazioni, consulta
Integrazione con Vertex AI.
Prima di iniziare
Abilita API
Prima di poter utilizzare Model Armor, devi abilitare l'API Model Armor.
Console
Abilita l'API Model Armor.
Ruoli richiesti per abilitare le API
Per abilitare le API, devi disporre del ruolo IAM Amministratore utilizzo dei servizi (
roles/serviceusage.serviceUsageAdmin), che include l'autorizzazioneserviceusage.services.enable. Scopri come concedere i ruoli.Seleziona il progetto in cui vuoi attivare Model Armor.
gcloud
Prima di iniziare, segui questi passaggi utilizzando Google Cloud CLI con l'API Model Armor:
Nella console Google Cloud , attiva Cloud Shell.
Nella parte inferiore della console Google Cloud viene avviata una sessione di Cloud Shell e viene visualizzato un prompt della riga di comando. Cloud Shell è un ambiente shell con Google Cloud CLI già installata e con valori già impostati per il progetto corrente. L'inizializzazione della sessione può richiedere alcuni secondi.
Imposta l'override dell'endpoint API utilizzando gcloud CLI.
Imposta l'override dell'endpoint API utilizzando gcloud CLI
Questo passaggio è necessario solo se utilizzi gcloud CLI per abilitare l'API Model Armor. Devi impostare manualmente l'override dell'endpoint API per assicurarti che gcloud CLI indirizzi correttamente le richieste al servizio Model Armor.
Esegui questo comando per impostare l'endpoint API per il servizio Model Armor.
gcloud config set api_endpoint_overrides/modelarmor "https://modelarmor.LOCATION.rep.googleapis.com/"
Sostituisci LOCATION con la regione in cui vuoi utilizzare Model Armor.
Gestisci quota
Model Armor utilizza un sistema di quote per garantire un utilizzo equo e proteggere la stabilità del sistema. La quota predefinita per l'API Model Armor è 1200 QPM per progetto. Puoi applicare un valore compreso tra 0 e 1200 QPM per progetto. Per richiedere un aggiustamento, consulta Richiedi un aggiustamento delle quote. Se hai bisogno di una quota superiore a quella predefinita, contatta l'assistenza clienti Google Cloud.
La quota di Model Armor richiede importanti considerazioni quando l'integrazione con altri servizi. La quota principale con cui interagisci è il numero di richieste API al minuto per progetto.
- Quota predefinita di Model Armor:quando un servizio effettua una chiamata all'API Model Armor per l'analisi (ad esempio, il controllo di prompt o risposte), viene utilizzata la quota API Model Armor del progetto.
- Quota dei servizi di integrazione: la quota di Model Armor è separata da eventuali quote associate ai servizi di integrazione. Devi assicurarti che la quota sia sufficiente per tutti i servizi nel percorso della richiesta. Qualsiasi chiamata effettuata all'API Model Armor per sanificare i contenuti per la tua applicazione viene conteggiata in base ai limiti di quota dell'API Model Armor.
Scoprire le situazioni di superamento della quota
Raggiungi i limiti di quota di Model Armor se i log dell'applicazione mostrano
errori di Model Armor, in genere errori HTTP 429 RESOURCE_EXHAUSTED, che indicano un numero eccessivo di richieste.
Stima delle esigenze di quota
Per determinare la quota di Model Armor da richiedere:
- Stima il numero massimo di richieste al minuto che i tuoi servizi invieranno a Model Armor.
- Considera quante volte viene chiamato Model Armor per interazione utente con il tuo servizio (ad esempio, una volta per il prompt e una volta per la risposta).
- Tieni conto del numero massimo di utenti o sessioni simultanei.
- Richiedi una quota con un buffer ragionevole (ad esempio, il 20-30% in più rispetto al picco previsto) per gestire picchi imprevisti.
- Inizia con la tua migliore stima, monitora attentamente l'utilizzo dopo il lancio e richiedi ulteriori modifiche in base alle necessità.
Ad esempio, se prevedi 500 utenti al minuto e ogni interazione utente chiama Model Armor due volte (prompt e risposta), hai bisogno di almeno 1000 QPM. Tenendo conto di un buffer, richiedere 1200-1300 QPM è un buon punto di partenza.
Considerazioni
- Assicurati di monitorare e gestire le quote per altri servizi. L'esaurimento della quota per altri servizi influisce sulla tua applicazione, anche se hai una quota Model Armor sufficiente.
- Implementa i tentativi lato client con backoff esponenziale nella configurazione dell'applicazione per gestire problemi di quota temporanei o altri errori ripetibili. Per ulteriori informazioni, consulta Strategia di ripetizione.
Eseguire l'integrazione utilizzando l'API REST
Quando utilizzi l'API REST per l'integrazione, Model Armor funziona solo come rilevatore utilizzando i modelli. Identifica e segnala potenziali violazioni delle norme in base a modelli predefiniti anziché prevenirle attivamente. Quando si integra con l'API Model Armor, l'applicazione può utilizzare l'output di Model Armor per bloccare o consentire azioni in base ai risultati della valutazione della sicurezza forniti. L'API Model Armor restituisce informazioni su potenziali minacce o violazioni delle norme relative al traffico API, soprattutto nel caso di interazioni AI/LLM. La tua applicazione può chiamare l'API Model Armor e utilizzare le informazioni ricevute nella risposta per prendere una decisione e intraprendere un'azione in base alla logica personalizzata predefinita.
Opzioni per l'integrazione di Model Armor
Model Armor offre le seguenti opzioni di integrazione. Ogni opzione offre funzionalità e capacità diverse.
| Opzione di integrazione | Configura i rilevamenti | Solo ispezione | Ispeziona e blocca | Copertura di modelli e cloud |
|---|---|---|---|---|
| Apigee | Utilizzo esclusivo di modelli | Sì | Sì | Tutti i modelli e tutti i cloud2 |
| Gemini Enterprise | Utilizzo esclusivo di modelli | Sì | Sì | Tutti i modelli e tutti i cloud2 |
| Google e Google Cloud server MCP (anteprima) | Utilizzando solo le impostazioni di base | Sì | Sì | Google e Google Cloud server MCP |
| Service Extensions | Utilizzo esclusivo di modelli | Sì | Sì | Modelli di formato OpenAI1, agenti e server MCP su tutti i cloud2 |
| Vertex AI | Utilizzo delle impostazioni di base o dei modelli | Sì | Sì | Modelli Gemini (non in streaming) |
1Diversi modelli popolari, tra cui Anthropic Claude, Mistral AI e Grok, supportano le specifiche di OpenAI. Questi modelli vengono in genere implementati utilizzando motori di inferenza come vLLM, che forniscono il livello API compatibile con OpenAI necessario. vLLM supporta un'ampia gamma di modelli, tra cui le serie Meta Llama, le famiglie DeepSeek, Mistral e Mixtral e Gemma.
2Include altri cloud pubblici come AWS e Azure.
Con l'opzione di integrazione di Vertex AI, Model Armor fornisce l'applicazione in linea utilizzando impostazioni di base o modelli. Ciò significa che Model Armor applica attivamente i criteri intervenendo direttamente nel processo senza richiedere modifiche al codice dell'applicazione.
Le integrazioni di Service Extensions e Gemini Enterprise utilizzano solo modelli per l'applicazione delle norme inline. Ciò significa che Model Armor può applicare i criteri direttamente senza richiedere la modifica del codice dell'applicazione sia all'interno delle Service Extensions sia durante le interazioni dell'utente o dell'agente all'interno delle istanze di Gemini Enterprise.
L'integrazione di Model Armor e Gemini Enterprise sanitizza solo il prompt iniziale dell'utente e la risposta finale dell'agente o del modello. Eventuali passaggi intermedi che si verificano tra il prompt iniziale dell'utente e la generazione di risposte finale non sono coperti da questa integrazione.
Model Armor in Security Command Center
Model Armor ispeziona prompt e risposte LLM per varie minacce, tra cui prompt injection, tentativi di jailbreak, URL dannosi e contenuti dannosi. Quando Model Armor rileva una violazione di un'impostazione di base configurata, blocca il prompt o la risposta e invia un risultato a Security Command Center. Per saperne di più, consulta la sezione Risultati di Model Armor.