Vous pouvez renforcer la sécurité de vos applications d'IA en intégrant Model Armor à Apigee. En utilisant Apigee comme passerelle API devant vos applications d'IA, vous pouvez utiliser les fonctionnalités de Model Armor pour examiner et nettoyer à la fois les entrées envoyées à votre application et les réponses reçues.
Présentation
Vous pouvez intégrer des règles Model Armor dans vos proxys d'API Apigee pour améliorer le contrôle et la protection de vos applications d'IA.
Par exemple, vous pouvez utiliser Apigee pour appliquer des quotas au niveau des jetons afin de limiter le nombre maximal de jetons par jour pour un utilisateur ou une application. Utilisez
LLMTokenQuota
et PromptTokenLimit
pour contrôler précisément l'utilisation des jetons. Ces règles permettent de gérer les coûts, d'empêcher les utilisations abusives et de stabiliser le trafic en évitant les pics de consommation soudains.
Avant de commencer
- Activez l'API Model Armor dans votre projet.
- Vérifiez que la facturation est activée pour votre Google Cloud projet.
- Vérifiez qu'un environnement complet est disponible dans votre instance Apigee. Vous ne pouvez déployer des règles Model Armor que dans des environnements complets.
- Vérifiez qu'une organisation Apigee active est provisionnée.
Pour créer et utiliser des règles Model Armor avec Apigee, vous devez disposer de rôles spécifiques. Pour connaître les rôles requis, consultez la page Rôles Apigee.
Fonctionnement
L'intégration utilise deux règles Apigee principales :
SanitizeUserPrompt: ajoutez cette règle au flux de requêtes de votre proxy d'API. Elle intercepte toutes les requêtes entrantes et les envoie à Model Armor pour inspection avant qu'elles n'atteignent votre application d'IA. Pour en savoir plus, consultez la règleSanitizeUserPromptpolicy.SanitizeModelResponse: ajoutez cette règle au flux de réponses. Elle intercepte la réponse de l'application d'IA et l'envoie à Model Armor pour inspection avant de l'envoyer au client. Pour en savoir plus, consultez la règleSanitizeModelResponsepolicy.
Model Armor évalue le contenu par rapport aux règles définies dans votre modèle Model Armor actif. En fonction des résultats et du type d'application défini, Apigee autorise, bloque ou expurge la requête ou la réponse. Si la requête ou la réponse est expurgée, extrayez les données expurgées à l'aide de variables de flux et transmettez-les au LLM.
Pour commencer, utilisez le modèle de proxy Proxy with Model Armor intégré dans la console Apigee. Ce modèle ajoute automatiquement les configurations SanitizeUserPrompt et SanitizeModelResponse facultatives.
Créer un proxy d'API Apigee avec des règles Model Armor
- Créez un compte de service pour déployer le proxy d'API.
- Créez un proxy d'API Apigee.
- Modifiez le code XML
SanitizeUserPromptetSanitizeModelResponse. Vous devez modifier le code XML de ces règles pour que Model Armor fonctionne. - Ajoutez l'authentification Google au proxy d'API.
- Déployez le proxy d'API.
- Testez les règles Model Armor.
Remarques
Tenez compte des points suivants lorsque vous intégrez Model Armor à Apigee :
- Disponibilité régionale : Model Armor n'est pas disponible dans toutes les régions. Assurez-vous qu'Apigee et Model Armor sont configurés dans la même région. Consultez la page Emplacements pour Model Armor.
- Quota : un trafic élevé peut nécessiter une augmentation du quota pour Model Armor. Pour demander un ajustement, consultez Demander un ajustement de quota. Si vous avez besoin d'un quota supérieur à celui par défaut, contactez Cloud Customer Care. Pour en savoir plus sur les quotas liés aux intégrations de Model Armor avec d'autres services, consultez Gérer les quotas.
- Limites de jetons : Model Armor a des limites de jetons pour le traitement des prompts et des réponses, qui varient selon le filtre. Le contenu dépassant ces limites peut ne pas être entièrement analysé.
Pour en savoir plus sur la configuration et l'utilisation, consultez Premiers pas avec les règles Apigee Model Armor.