Puoi migliorare la sicurezza delle tue applicazioni AI integrando Model Armor con Apigee. Utilizzando Apigee come gateway API davanti alle tue applicazioni AI, puoi utilizzare le funzionalità di Model Armor per esaminare e sanitizzare sia gli input inviati alla tua applicazione sia le risposte ricevute.
Panoramica
Puoi integrare le policy di Model Armor nei proxy API Apigee per fornire un controllo e una protezione avanzati per le tue applicazioni AI.
Ad esempio, puoi utilizzare Apigee per applicare quote a livello di token per limitare
un utente o un'applicazione a un numero massimo di token al giorno. Utilizza
LLMTokenQuota
e PromptTokenLimit
per un controllo preciso dell'utilizzo dei token. Questi criteri contribuiscono a gestire i costi, interrompere
gli abusi e stabilizzare il traffico impedendo picchi improvvisi di consumo.
Prima di iniziare
- Abilita l'API Model Armor nel tuo progetto.
- Verifica che la fatturazione sia abilitata per il tuo progetto Google Cloud .
- Verifica di avere un ambiente completo disponibile nella tua istanza Apigee. Puoi eseguire il deployment delle policy Model Armor solo negli ambienti Completo.
- Verifica di aver effettuato il provisioning di un'organizzazione Apigee attiva.
Per creare e utilizzare i criteri Model Armor con Apigee, devi disporre di ruoli specifici. Per i ruoli richiesti, vedi Ruoli Apigee.
Come funziona
L'integrazione utilizza due criteri Apigee principali:
SanitizeUserPrompt: Aggiungi questa policy al flusso di richieste del proxy API. Intercetta tutte le richieste in entrata e le invia a Model Armor per l'ispezione prima che raggiungano la tua applicazione di AI. Per saperne di più, consulta le norme relative aSanitizeUserPrompt.SanitizeModelResponse: aggiungi questa policy al flusso di risposta. Intercetta la risposta dell'applicazione di AI e la invia a Model Armor per l'ispezione prima di inviarla al client. Per saperne di più, consulta le norme relative aSanitizeModelResponse.
Model Armor valuta i contenuti in base alle regole definite nel modello Model Armor attivo. In base ai risultati e al tipo di applicazione impostato, Apigee consente, blocca o redige la richiesta o la risposta. Se la richiesta o la risposta viene oscurata, estrai i dati oscurati utilizzando le variabili di flusso e trasmettili all'LLM.
Per iniziare, utilizza il modello di proxy Proxy con Model Armor integrato nella console Apigee. Questo modello aggiunge automaticamente le configurazioni facoltative
SanitizeUserPrompt e SanitizeModelResponse.
Crea un proxy API Apigee con criteri Model Armor
- Crea un account di servizio per il deployment del proxy API.
- Crea un proxy API Apigee.
- Modifica i file
SanitizeUserPrompteSanitizeModelResponseXML. Per il funzionamento di Model Armor, devi modificare il codice XML di questi criteri. - Aggiungi l'autenticazione Google al proxy API.
- Esegui il deployment del proxy API.
- Testa le policy di Model Armor.
Considerazioni
Quando integri Model Armor con Apigee, tieni presente quanto segue:
- Disponibilità regionale: Model Armor non è disponibile in tutte le regioni. Assicurati che Apigee e Model Armor siano configurati nella stessa regione. Consulta la sezione Località per Model Armor.
- Quota: il traffico ad alto volume potrebbe richiedere un aumento della quota per Model Armor. Per richiedere un aggiustamento, consulta Richiedi un aggiustamento delle quote. Se hai bisogno di una quota superiore a quella predefinita, contatta l'assistenza clienti Google Cloud. Per informazioni sulle quote relative alle integrazioni di Model Armor con altri servizi, consulta Gestire la quota.
- Limiti di token: Model Armor ha limiti di token per l'elaborazione di prompt e risposte, che variano in base al filtro. I contenuti che superano questi limiti potrebbero non essere scansionati completamente.
Per maggiori dettagli sulla configurazione e sull'utilizzo, vedi Guida introduttiva alle policy Apigee Model Armor.