Os modelos de IA generativa, como o Gemini, exigem medidas de segurança robustas para reduzir riscos como geração de conteúdo prejudicial, vazamento de informações sensíveis ou uso indevido. A Gemini Enterprise Agent Platform oferece um conjunto de ferramentas e práticas para implementar a segurança holística dos seus modelos do Gemini.
Possíveis riscos à segurança e estratégias de mitigação
Ao implantar modelos do Gemini, é fundamental identificar e reduzir vários riscos potenciais. Uma abordagem proativa para entender esses riscos permite uma implementação mais eficaz de medidas de segurança. Uma abordagem multicamadas para a segurança é essencial, já que pode mitigar ou evitar:
- Riscos de conteúdo:podem incluir conteúdo nocivo, linguagem obscena e sexualização, além de violência e imagens sangrentas.
- Riscos de brand safety:o conteúdo gerado pode não estar alinhado ao tom ou aos valores da sua marca, pode endossar concorrentes ou produtos inadequados ou gerar conteúdo que pode resultar em danos à reputação.
- Riscos de alinhamento:o conteúdo gerado pode ser irrelevante ou impreciso.
- Riscos de segurança e privacidade:o conteúdo gerado pode vazar dados de treinamento ou comandos sensíveis, ou usuários maliciosos podem tentar forçar o modelo a substituir protocolos de segurança ou se comportar de maneiras não intencionais.
Nossos modelos implantados oferecem vários recursos para resolver esses problemas em potencial:
- O modelo padrão e os filtros não configuráveis oferecem uma proteção geral.
- As instruções do sistema fornecem orientações diretas ao modelo sobre o comportamento preferido e os temas a evitar.
- Com os filtros de conteúdo, você pode definir limites específicos para tipos comuns de danos.
- O Gemini como um filtro oferece um ponto de verificação avançado e personalizável para problemas de segurança complexos ou sutis que podem passar despercebidos pelas camadas anteriores ou exigir uma avaliação mais contextualizada.
- A Proteção de dados sensíveis aborda especificamente o risco crítico de vazamento de dados sensíveis, caso o modelo tenha acesso a eles. Também é possível criar listas de bloqueio personalizadas.
- O Model Armor oferece proteção de nível empresarial contra injeção de comandos e jailbreaks, danos ao conteúdo, exposição de dados sensíveis e detecção de malware.
- As credenciais de conteúdo adicionam metadados C2PA assinados criptograficamente a imagens geradas usando o modelo de imagem Gemini 3 Pro, indicando que elas foram criadas com IA e fornecendo um histórico verificável da origem delas.
Ferramentas de segurança disponíveis na Agent Platform para o Gemini
A Agent Platform oferece várias ferramentas para gerenciar a segurança dos seus modelos do Gemini. Entender como cada uma funciona, as considerações e os casos de uso ideais vai ajudar você a criar uma solução de segurança personalizada.
| Abordagem | Como funciona | Proteção fornecida | Riscos | Quando usar |
|---|---|---|---|---|
| Configurações padrão: Gemini + filtros não configuráveis | Os modelos do Gemini são projetados com foco na segurança e na imparcialidade, mesmo quando recebem comandos adversários. O Google investiu em avaliações de segurança abrangentes, incluindo viés e toxicidade. As configurações padrão incluem uma camada de proteção independente projetada para impedir a geração de conteúdo relacionado a material de abuso sexual infantil (CSAM, na sigla em inglês) ou conteúdo protegido por direitos autorais (recitação). | Proteção básica contra material de abuso sexual infantil e direitos autorais (recitação) | A segurança padrão do Gemini pode não atender às necessidades da sua organização. O modelo pode alucinar ou não seguir instruções. Invasores motivados ainda podem ter sucesso em jailbreaks e injeção de comando | Workflows em que não é esperado nenhum tipo de entrada maliciosa |
| Filtros configuráveis |
Os filtros de conteúdo pré-criados do Gemini oferecem proteção extra contra
várias categorias de conteúdo prejudicial, como sexual, de ódio, de assédio ou
perigoso. É possível configurar limites de bloqueio para cada categoria de dano (por exemplo, BLOCK_LOW_AND_ABOVE, BLOCK_MEDIUM_AND_ABOVE, BLOCK_ONLY_HIGH) com base na probabilidade e/ou gravidade do conteúdo prejudicial. Eles são uma camada independente do modelo e, portanto, são robustos contra
jailbreaks.
|
Resistente a violações de categorias predefinidas, sensibilidade ajustável | Não tem personalização refinada além das configurações de limite para categorias predefinidas. Pode bloquear conteúdo benigno (falsos positivos) ou não detectar conteúdo prejudicial (falsos negativos). Disponível apenas para filtragem de respostas, não de comandos. | Oferecer um nível básico de segurança para aplicativos ou agentes voltados ao usuário. Se o objetivo for garantir a segurança do conteúdo e da marca, os filtros de conteúdo precisam ser combinados com instruções do sistema. |
| Instruções do sistema | Você pode instruir o modelo sobre as diretrizes de segurança da marca e do conteúdo usando instruções do sistema ou preâmbulos. Por exemplo, você pode dizer ao modelo "não responda a perguntas relacionadas à política" ou para seguir diretrizes específicas de voz e tom da marca. As instruções do sistema orientam diretamente o comportamento do modelo. | Personalizável para brand safety e segurança de conteúdo, pode ser altamente eficaz. | O modelo pode alucinar ou não seguir as instruções. Invasores motivados ainda podem ter sucesso em jailbreaks e injeção de comando | Aplicativos ou agentes que precisam seguir diretrizes de marca específicas ou políticas de conteúdo detalhadas. Se o objetivo for garantir a segurança do conteúdo e a brand safety, as instruções do sistema devem ser combinadas com filtros de conteúdo. |
| Proteção de Dados Sensíveis para listas de bloqueio personalizadas |
A API DLP pode inspecionar textos para identificar e classificar informações sensíveis com base em uma ampla variedade de detectores de infoType predefinidos e personalizados.
Depois de identificados, eles podem aplicar técnicas de desidentificação, como encobrimento, mascaramento ou tokenização. A API DLP também pode ser usada para bloquear
palavras-chave.
Proteção de entrada:antes de enviar comandos ou dados do usuário para o Gemini, passe o texto pela API DLP para encobrir ou mascarar informações sensíveis. Isso impede que dados sensíveis sejam processados ou registrados pelo modelo. Proteção de saída:se houver risco de o Gemini gerar ou revelar informações sensíveis sem querer (por exemplo, se estiver resumindo documentos de origem que contenham PII), a saída do modelo poderá ser verificada pela API DLP antes de ser enviada ao usuário. |
Filtragem robusta de palavrões ou palavras personalizadas. Filtragem robusta de dados sensíveis. | Adiciona latência. Pode levar ao bloqueio excessivo. | Proteção de Dados Sensíveis para agentes que têm acesso a dados sensíveis. |
| Model Armor | O Model Armor é um Google Cloud serviço projetado para aumentar a segurança dos seus aplicativos de IA. Ele funciona verificando de maneira proativa os comandos e respostas de LLMs, protegendo contra vários riscos e garantindo práticas de IA responsável. Seja no Google Cloud ou em outros provedores de nuvem, o Model Armor ajuda a evitar entradas maliciosas, verificar a segurança do conteúdo, proteger dados sensíveis, manter a conformidade e aplicar suas políticas de segurança de IA de maneira consistente em todos os seus aplicativos de IA. | Filtragem de injeção de comandos e jailbreak, filtros de conteúdo, proteção de dados sensíveis, detecção de malware e navegação segura. | Custo e latência. | Oferta paga para clientes com necessidades empresariais. |
| Gemini como um filtro | Você pode usar o Gemini para filtrar comandos e respostas do seu agente ou app. Isso envolve fazer uma segunda chamada para um modelo do Gemini rápido e econômico (como o Gemini Flash ou Flash-Lite) para avaliar se a entrada de um usuário ou ferramenta, ou a saída do seu modelo principal do Gemini, é segura. O modelo de filtro recebe instruções para decidir se o conteúdo é seguro ou não com base nas políticas definidas, incluindo segurança de conteúdo, segurança da marca e desalinhamento do agente. Isso oferece proteção robusta e altamente personalizável contra violações de segurança do conteúdo, problemas de brand safety, deriva do modelo e alucinações, além de analisar texto, imagens, vídeo e áudio para uma compreensão holística. | Altamente robusto e personalizável para segurança de conteúdo/brand safety, degradação, alucinação e compreensão multimodal. | Custo e latência extras. Chance de falsos negativos extremamente raros. | Oferecer um nível personalizado de segurança para aplicativos ou agentes voltados ao usuário. |
| Abordagem combinada:filtros configuráveis + instruções do sistema + proteção de dados sensíveis + Gemini como filtro | Combina várias camadas de proteção: descarte de dados sensíveis de entrada e saída com a Proteção de Dados Sensíveis, instruções do sistema para diretrizes de marca e tema, filtros de segurança configuráveis para danos predefinidos e inspeção secundária usando o Gemini como filtro. | Altamente robusto e personalizável para segurança de conteúdo/brand safety, degradação, alucinação e compreensão multimodal. | Custo e latência extras. | Oferecer um nível robusto de segurança para aplicativos ou agentes voltados ao usuário, especialmente quando o uso malicioso e adversário é esperado. |
| Credenciais de conteúdo da C2PA | Para modelos compatíveis, a Gemini Enterprise Agent Platform adiciona automaticamente credenciais de conteúdo assinadas criptograficamente às imagens geradas, indicando que elas foram criadas por IA e fornecendo um histórico verificável da origem de acordo com o padrão C2PA. Para mais informações, consulte Credenciais de conteúdo. | Transparência sobre a origem do conteúdo, ajudando os usuários a identificar imagens geradas com IA. | O uso de ferramentas não compatíveis pode comprometer a autenticidade do arquivo e não garante a confiabilidade da fonte de mídia. | Casos de uso de geração de mídia, em que a transparência sobre a origem e o histórico do arquivo é importante para a confiança do usuário. |
Avaliação contínua de segurança
A avaliação contínua de segurança é crucial para sistemas de IA. O cenário da IA e os métodos de uso indevido estão em constante evolução, o que torna essas avaliações essenciais.
As avaliações regulares oferecem vários benefícios importantes. Elas ajudam a identificar vulnerabilidades, avaliar a eficácia da mitigação, se adaptar a riscos em evolução, garantir o alinhamento com políticas e valores, gerar confiança e manter a conformidade.
Para aproveitar esses benefícios, você pode realizar vários tipos de avaliações:
- Avaliações de desenvolvimento
- Avaliações de garantia
- Simulação com equipe vermelha
- Avaliações externas
- Teste de comparativo de mercado
O escopo da sua avaliação precisa abranger várias áreas importantes:
- Segurança do conteúdo
- Brand safety
- Relevância
- Viés e imparcialidade
- Veracidade
- Robustez a ataques adversários
Ferramentas como o serviço de avaliação de IA generativa da Agent Platform podem ajudar nesses esforços. Lembre-se de que as melhorias iterativas, com base nos resultados da avaliação, são essenciais para o desenvolvimento IA responsável.
A seguir
Políticas
Confira uma visão geral de como os administradores de segurança podem definir, aplicar e gerenciar políticas que regem as interações dos agentes.
Avalie seus agentes
Criar e implantar um agente básico e usar o serviço de avaliação de IA generativa para avaliar o agente