Intégrer Model Armor à Apigee

Vous pouvez renforcer la sécurité de vos applications d'IA en intégrant Model Armor à Apigee. En utilisant Apigee comme passerelle d'API devant vos applications d'IA, vous pouvez utiliser les fonctionnalités de Model Armor pour filtrer et nettoyer à la fois les entrées envoyées à votre application et les réponses reçues.

Présentation

Vous pouvez intégrer des règles Model Armor à vos proxys d'API Apigee pour mieux contrôler et protéger vos applications d'IA. Par exemple, vous pouvez utiliser Apigee pour appliquer des quotas au niveau des jetons afin de limiter le nombre de jetons qu'un utilisateur ou une application peuvent utiliser par jour. Utilisez LLMTokenQuota et PromptTokenLimit pour contrôler précisément l'utilisation des jetons. Ces règles permettent de gérer les coûts, d'empêcher les utilisations abusives et de stabiliser le trafic en évitant les pics de consommation soudains.

Limites

Tenez compte des limites suivantes lorsque vous intégrez Model Armor à Apigee :

  • Disponibilité régionale : Model Armor n'est pas disponible dans toutes les régions. Assurez-vous qu'Apigee et Model Armor sont configurés dans la même région. Bien qu'il soit possible de configurer Apigee et Model Armor dans différentes régions, cela peut entraîner une latence supplémentaire en raison du parcours du réseau interrégional. Pour des performances optimales, configurez-les exactement dans la même région.
  • Quota : un trafic à volume élevé peut nécessiter une augmentation du quota pour Model Armor. Pour demander un ajustement, consultez Demander un ajustement de quota. Si vous avez besoin d'un quota supérieur à celui par défaut, contactez Cloud Customer Care. Pour en savoir plus sur les quotas liés aux intégrations Model Armor avec d'autres services, consultez Gérer les quotas.
  • Limites de jetons : Model Armor applique des limites de jetons pour le traitement des requêtes et des réponses, qui varient selon le filtre. Il est possible que le contenu dépassant ces limites ne soit pas entièrement analysé.

Avant de commencer

Fonctionnement

L'intégration utilise deux règles Apigee principales :

  • SanitizeUserPrompt : ajoutez cette règle au flux de requête de votre proxy d'API. Il intercepte toutes les requêtes entrantes et les envoie à Model Armor pour inspection avant qu'elles n'atteignent votre application d'IA. Pour en savoir plus, consultez le Règlement SanitizeUserPrompt.
  • SanitizeModelResponse : ajoutez cette règle au flux de réponse. Il intercepte la réponse de l'application d'IA et l'envoie à Model Armor pour inspection avant de l'envoyer au client. Pour en savoir plus, consultez le règlement sur SanitizeModelResponse.

Model Armor évalue le contenu par rapport aux règles définies dans votre modèle Model Armor actif. En fonction des résultats et du type d'application défini, Apigee autorise, bloque ou masque la requête ou la réponse. Si la requête ou la réponse est masquée, extrayez les données masquées à l'aide des variables de flux et transmettez-les au LLM.

Pour commencer, utilisez le modèle de proxy Proxy with Model Armor intégré à la console Apigee. Ce modèle ajoute automatiquement les configurations SanitizeUserPrompt et SanitizeModelResponse facultatives.

Créer un proxy d'API Apigee avec des règles Model Armor

  1. Créez un compte de service pour déployer le proxy d'API.
  2. Créez un proxy d'API Apigee.
  3. Modifiez les éléments XML SanitizeUserPrompt et SanitizeModelResponse. Pour que Model Armor fonctionne, vous devez modifier le code XML de ces règles.
  4. Ajoutez l'authentification Google au proxy d'API.
  5. Déployez le proxy d'API.
  6. Testez les règles Model Armor.

Pour en savoir plus sur la configuration et l'utilisation, consultez Premiers pas avec les règles Apigee Model Armor.