Puoi migliorare la sicurezza delle tue applicazioni AI integrando Model Armor con Apigee. Utilizzando Apigee come gateway API davanti alle tue applicazioni AI, puoi utilizzare le funzionalità di Model Armor per esaminare e sanificare sia gli input inviati alla tua applicazione sia le risposte ricevute.
Panoramica
Puoi integrare le policy di Model Armor nei proxy API Apigee per fornire un controllo e una protezione avanzati per le tue applicazioni AI.
Ad esempio, puoi utilizzare Apigee per applicare le quote a livello di token per limitare un utente o un'applicazione a un numero massimo di token al giorno. Utilizza
LLMTokenQuota
e PromptTokenLimit
per un controllo preciso sull'utilizzo dei token. Queste policy aiutano a gestire i costi, a bloccare gli abusi e a stabilizzare il traffico impedendo picchi improvvisi di consumo.
Limitazioni
Tieni presente le seguenti limitazioni quando integri Model Armor con Apigee:
- Disponibilità regionale: Model Armor non è disponibile in tutte le regioni. Assicurati che Apigee e Model Armor siano configurati nella stessa regione. Consulta Località per Model Armor.
- Quota: il traffico a volume elevato potrebbe richiedere un aumento della quota per Model Armor. Per richiedere una modifica, consulta Richiedi una modifica della quota. Se hai bisogno di una quota superiore a quella predefinita, contatta l'assistenza clienti Google Cloud. Per informazioni sulle quote relative alle integrazioni di Model Armor con altri servizi, consulta Gestire le quote.
- Limiti di token: Model Armor ha limiti di token per l'elaborazione di prompt e risposte, che variano in base al filtro. I contenuti che superano questi limiti potrebbero non essere sottoposti a scansione completa.
Prima di iniziare
- Abilita l'API Model Armor nel tuo progetto.
- Verifica che la fatturazione sia attivata per il tuo Google Cloud progetto.
- Verifica di avere un ambiente completo disponibile nella tua istanza Apigee. Puoi eseguire il deployment delle policy di Model Armor solo negli ambienti completi.
- Verifica di aver eseguito il provisioning di un'organizzazione Apigee attiva.
Per creare e utilizzare le policy di Model Armor con Apigee, devi disporre di ruoli specifici. Per i ruoli richiesti, consulta Ruoli Apigee.
Come funziona
L'integrazione utilizza due policy Apigee principali:
SanitizeUserPrompt: aggiungi questa policy al flusso di richieste del proxy API. Intercetta tutte le richieste in entrata e le invia a Model Armor per l'ispezione prima che raggiungano l'applicazione AI. Per ulteriori informazioni, consulta laSanitizeUserPromptpolicy.SanitizeModelResponse: aggiungi questa policy al flusso di risposte. Intercetta la risposta dell'applicazione AI e la invia a Model Armor per l'ispezione prima di inviarla al client. Per ulteriori informazioni, consulta laSanitizeModelResponsepolicy.
Model Armor valuta i contenuti in base alle regole definite nel modello di Model Armor attivo. In base ai risultati e al tipo di applicazione impostato, Apigee consente, blocca o redige la richiesta o la risposta. Se la richiesta o la risposta viene redatta, estrai i dati redatti utilizzando le variabili di flusso e passali all'LLM.
Per iniziare, utilizza il modello di proxy Proxy con Model Armor integrato nella console Apigee. Questo modello aggiunge automaticamente le configurazioni SanitizeUserPrompt e SanitizeModelResponse facoltative.
Creare un proxy API Apigee con le policy di Model Armor
- Crea un account di servizio per eseguire il deployment del proxy API.
- Crea un proxy API Apigee.
- Modifica l'XML
SanitizeUserPrompteSanitizeModelResponse. Per il funzionamento di Model Armor, devi modificare l'XML di queste policy. - Aggiungi l'autenticazione Google al proxy API.
- Esegui il deployment del proxy API.
- Testa le policy di Model Armor.
Per ulteriori dettagli sulla configurazione e sull'utilizzo, consulta Iniziare a utilizzare le policy di Model Armor di Apigee.