É possível melhorar a segurança dos seus aplicativos de IA integrando o Model Armor à Apigee. Ao usar a Apigee como um gateway de API na frente dos seus aplicativos de IA, você pode usar os recursos do Model Armor para analisar e limpar as entradas enviadas ao aplicativo e as respostas recebidas.
Visão geral
É possível integrar políticas do Model Armor aos proxies de API do Apigee
para oferecer mais controle e proteção aos aplicativos de IA.
Por exemplo, é possível usar o Apigee para aplicar cotas no nível do token e limitar
um usuário ou aplicativo a um número máximo de tokens por dia. Use
LLMTokenQuota
e PromptTokenLimit
para ter controle preciso sobre o uso de tokens. Essas políticas ajudam a gerenciar custos, impedir
abusos e estabilizar o tráfego, evitando picos repentinos de consumo.
Antes de começar
- Ative a API Model Armor no seu projeto.
- Verifique se o faturamento está ativado para o projeto do Google Cloud .
- Confirme se você tem um ambiente abrangente disponível na sua instância da Apigee. Só é possível implantar políticas do Model Armor em ambientes abrangentes.
- Confirme se você tem uma organização ativa da Apigee provisionada.
Para criar e usar políticas do Model Armor com a Apigee, você precisa ter papéis específicos. Para saber quais são os papéis necessários, consulte Papéis da Apigee.
Como funciona
A integração usa duas políticas principais da Apigee:
SanitizeUserPrompt: adicione essa política ao fluxo de solicitação do seu proxy de API. Ele intercepta todas as solicitações recebidas e as envia ao Model Armor para inspeção antes que cheguem ao aplicativo de IA. Para mais informações, consulte a política deSanitizeUserPrompt.SanitizeModelResponse: adicione essa política ao fluxo de resposta. Ele intercepta a resposta do aplicativo de IA e a envia para o Model Armor para inspeção antes de enviar a resposta ao cliente. Para mais informações, consulte a política deSanitizeModelResponse.
O Model Armor avalia o conteúdo com base nas regras definidas no modelo ativo do Model Armor. Com base nos resultados e no tipo de aplicação definido, a Apigee permite, bloqueia ou encobre a solicitação ou resposta. Se a solicitação ou resposta for redigida, extraia os dados redigidos usando variáveis de fluxo e transmita-os ao LLM.
Para começar, use o modelo de proxy Proxy com Model Armor integrado no console da Apigee. Esse modelo adiciona automaticamente configurações opcionais de
SanitizeUserPrompt e SanitizeModelResponse.
Criar um proxy de API da Apigee com políticas do Model Armor
- Crie uma conta de serviço para implantar o proxy de API.
- Crie um proxy de API da Apigee.
- Edite o XML
SanitizeUserPrompteSanitizeModelResponse. É necessário editar o XML dessas políticas para que o Model Armor funcione. - Adicione a autenticação do Google ao proxy de API.
- Implante o proxy de API.
- Teste as políticas do Model Armor.
Considerações
Considere o seguinte ao integrar o Model Armor com o Apigee:
- Disponibilidade regional: o Model Armor não está disponível em todas as regiões. Verifique se o Apigee e o Model Armor estão configurados na mesma região. Consulte Locais do Model Armor.
- Quota: o tráfego de alto volume pode exigir um aumento de cota para o Model Armor. Para solicitar um ajuste, consulte Solicitar um ajuste de cota. Se você precisar de mais do que a cota padrão, entre em contato com o Cloud Customer Care. Para informações sobre cotas relacionadas a integrações do Model Armor com outros serviços, consulte Gerenciar cota.
- Limites de tokens: o Model Armor tem limites de tokens para processar comandos e respostas, que variam de acordo com o filtro. O conteúdo que exceder esses limites pode não ser totalmente verificado.
Para mais detalhes sobre configuração e uso, consulte Começar a usar as políticas do Apigee Model Armor.