Puoi migliorare la sicurezza delle tue applicazioni AI integrando Model Armor con Apigee. Utilizzando Apigee come gateway API davanti alle tue applicazioni AI, puoi utilizzare le funzionalità di Model Armor per esaminare e sanitizzare sia gli input inviati alla tua applicazione sia le risposte ricevute.
Panoramica
Puoi integrare le policy di Model Armor nei proxy API Apigee
per fornire un controllo e una protezione avanzati per le tue applicazioni AI.
Ad esempio, puoi utilizzare Apigee per applicare quote a livello di token per limitare
un utente o un'applicazione a un numero massimo di token al giorno. Utilizza
LLMTokenQuota
e PromptTokenLimit
per un controllo preciso dell'utilizzo dei token. Questi criteri contribuiscono a gestire i costi, interrompere
gli abusi e stabilizzare il traffico impedendo picchi improvvisi di consumo.
Limitazioni
Tieni presenti le seguenti limitazioni quando integri Model Armor con Apigee:
- Disponibilità regionale: Model Armor non è disponibile in tutte le regioni. Assicurati che Apigee e Model Armor siano configurati nella stessa regione. Sebbene sia possibile configurare Apigee e Model Armor in regioni diverse, l'utilizzo di regioni diverse potrebbe introdurre una latenza aggiuntiva dovuta all'attraversamento della rete tra regioni. Per prestazioni ottimali, configurale esattamente nella stessa regione.
- Quota: il traffico ad alto volume potrebbe richiedere un aumento della quota per Model Armor. Per richiedere un aggiustamento, consulta Richiedi un aggiustamento delle quote. Se hai bisogno di una quota superiore a quella predefinita, contatta l'assistenza clienti Google Cloud. Per informazioni sulle quote relative alle integrazioni di Model Armor con altri servizi, consulta Gestire le quote.
- Limiti di token: Model Armor ha limiti di token per l'elaborazione di prompt e risposte, che variano in base al filtro. I contenuti che superano questi limiti potrebbero non essere scansionati completamente.
Prima di iniziare
- Abilita l'API Model Armor nel tuo progetto.
- Verifica che la fatturazione sia attivata per il tuo progetto Google Cloud .
- Verifica di avere un ambiente intermedio o completo disponibile nella tua istanza Apigee. Puoi eseguire il deployment delle policy Model Armor negli ambienti intermedi e completi.
- Verifica di aver eseguito il provisioning di un'organizzazione Apigee attiva.
Per creare e utilizzare le policy Model Armor con Apigee, devi disporre di ruoli specifici. Per i ruoli richiesti, vedi Ruoli Apigee.
Come funziona
L'integrazione utilizza due criteri Apigee principali:
SanitizeUserPrompt: Aggiungi questa policy al flusso di richieste del proxy API. Intercetta tutte le richieste in entrata e le invia a Model Armor per l'ispezione prima che raggiungano la tua applicazione AI. Per saperne di più, consulta le norme relative aSanitizeUserPrompt.SanitizeModelResponse: aggiungi questa policy al flusso di risposta. Intercetta la risposta dell'applicazione di AI e la invia a Model Armor per l'ispezione prima di inviarla al client. Per saperne di più, consulta le norme relative aSanitizeModelResponse.
Model Armor valuta i contenuti in base alle regole definite nel template Model Armor attivo. In base ai risultati e al tipo di applicazione impostato, Apigee consente, blocca o redige la richiesta o la risposta. Se la richiesta o la risposta viene oscurata, estrai i dati oscurati utilizzando le variabili di flusso e trasmettili all'LLM.
Per iniziare, utilizza il modello di proxy Proxy con Model Armor integrato nella console Apigee. Questo modello aggiunge automaticamente le configurazioni facoltative
SanitizeUserPrompt e SanitizeModelResponse.
Crea un proxy API Apigee con criteri Model Armor
- Crea un account di servizio per il deployment del proxy API.
- Crea un proxy API Apigee.
- Modifica i file XML
SanitizeUserPrompteSanitizeModelResponse. Per utilizzare Model Armor, devi modificare l'XML di queste policy. - Aggiungi l'autenticazione Google al proxy API.
- Esegui il deployment del proxy API.
- Testa le policy di Model Armor.
Per maggiori dettagli sulla configurazione e sull'utilizzo, consulta Guida introduttiva alle policy Apigee Model Armor.