As proteções são um conjunto de verificações e controles que ajudam a proteger e manter os aplicativos de agente seguros. Elas fornecem restrições de conteúdo para entrada e saída do modelo. Cada aplicativo de agente é fornecido com proteções padrão, que podem ser modificadas de acordo com suas necessidades. Para acessar os guardrails do seu aplicativo de agente, clique no botão correspondente no lado direito do criador de agentes.
Resultado
Cada tipo de proteção tem uma configuração de resultado. Isso controla o que acontece se a proteção for acionada. Você pode escolher entre os seguintes tipos de ações:
Diga exatamente: Forneça a resposta exata do agente.
Transferir para um agente: Transfere o controle para um agente específico.
Gerar uma resposta: Forneça instruções para gerar uma resposta. Um padrão é fornecido para você, que pode ser substituído para personalização.
PromptGuard
A proteção de comandos oferece proteção básica contra ataques baseados em comandos, como "ignore suas instruções e ...". As seguintes configurações estão disponíveis:
- Ativar a proteção de comandos: Ative ou desative o card de comandos.
- Resultados: consulte Resultado
- Personalizada: forneça uma solicitação de segurança personalizada para consultas de triagem.
Lista de bloqueio
As listas de bloqueio impedem que os usuários e seu agente usem determinadas palavras e frases. Ao criar uma lista, as seguintes configurações estão disponíveis:
- Como seu agente deve corresponder ao conteúdo bloqueado?:
Isso permite escolher o método de correspondência:
- Palavras inteiras: faz a correspondência de palavras inteiras.
- Qualquer menção: corresponde a conteúdo que contém palavras e frases.
- Padrão de regex: corresponde a expressões regulares.
- Bloquear palavras e frases: a lista de palavras e frases bloqueadas, em que cada entrada é separada por uma vírgula.
- Conteúdo bloqueado de:
Bloqueie conteúdo de um ou ambos:
- Na entrada do usuário
- Na resposta do agente
- Resultados: consulte Resultado
- Detalhes: forneça um nome e uma descrição opcionais para essa lista de bloqueio.
Segurança
São diretrizes que aplicam práticas de IA responsável. As seguintes configurações estão disponíveis:
- Nível de segurança:
Selecione o nível de segurança:
- Relaxado: Prioriza a geração flexível e a baixa latência. Nunca interaja com comandos ilícitos ou nocivos. Sempre bloqueie conteúdo explicitamente prejudicial.
- Equilibrado: prioriza interações seguras e naturais com os clientes. Sempre impedir conteúdo que não é seguro. Nunca interaja com comandos prejudiciais.
- Estrita: prioriza a filtragem de danos graves. Nunca permita conteúdo gerado com elementos sensíveis. Sempre rejeite comandos nocivos.
- Resultados: consulte Resultado
- Personalizado: ajuste ou desative individualmente níveis específicos de segurança do controle de segurança.
Regras
Crie suas próprias barreiras de proteção usando regras. As seguintes configurações estão disponíveis:
- Comportamento:
Selecione uma das seguintes opções para definir sua regra:
- Natural: dê instruções em linguagem natural.
- Código:
forneça o código de um
after_model_callbackcallback.
- Resultados: consulte Resultado
- Detalhes: Forneça um nome e uma descrição opcionais para essa regra.
Agentes supervisores
É possível configurar agentes supervisores que monitoram a performance do agente ativo que está interagindo com o usuário final. Os agentes supervisores garantem que o agente ativo chame as ferramentas corretamente e mantenha uma boa qualidade do áudio. Se um agente supervisor detectar um problema, ele poderá acionar um resultado, semelhante a outros mecanismos de proteção.
Também é possível conferir os eventos de acionamento do agente supervisor no painel de controle de monitoramento.
É possível configurar os seguintes agentes supervisores:
Supervisor de qualidade de áudio: monitora a qualidade do áudio e contém as seguintes configurações:
- Nome: nome do agente supervisor.
- Observações: observações opcionais.
- Modo de detecção: bloqueio (a resposta do agente ativo é bloqueada até que o agente supervisor termine a avaliação) ou não bloqueio (o agente ativo continua enquanto o agente supervisor continua avaliando).
Tipo de problema: Selecione um dos seguintes tipos de problema:
- Incompatibilidade de áudio: o áudio e o texto gerados não correspondem.
- Mudança de voz: a voz sintetizada soa diferente com o tempo.
- Chamada de ferramenta ausente: o modelo deveria fazer uma chamada de ferramenta no contexto da conversa, mas não fez isso.
Resultados: consulte Resultado
Supervisor de chamadas de ferramentas perdidas: monitora chamadas de ferramentas perdidas e contém as seguintes configurações:
- Nome: nome do agente supervisor.
- Observações: observações opcionais.
- Modo de detecção: bloqueio (a resposta do agente ativo é bloqueada até que o agente supervisor termine a avaliação) ou não bloqueio (o agente ativo continua enquanto o agente supervisor continua avaliando).
- Resultados: consulte Resultado