Modelos de IA generativa como o Gemini exigem medidas de segurança robustas para mitigar riscos como a geração de conteúdo nocivo, o vazamento de informações sensíveis ou o uso indevido. A Gemini Enterprise Agent Platform do Google Cloud oferece um conjunto de ferramentas e práticas para implementar uma segurança holística para seus modelos do Gemini.
Possíveis riscos de segurança e estratégias de mitigação
Ao implantar modelos do Gemini, é crucial identificar e mitigar vários riscos em potencial. Uma abordagem proativa para entender esses riscos permite uma implementação mais eficaz de medidas de segurança. Uma abordagem multicamadas para a segurança é fundamental, porque pode mitigar ou evitar:
- Riscos de conteúdo: podem incluir conteúdo nocivo, linguagem obscena, sexualização, violência e imagens sangrentas.
- Riscos de brand safety: o conteúdo gerado pode não estar alinhado ao tom ou aos valores da sua marca, pode endossar concorrentes ou produtos inadequados ou gerar conteúdo que pode resultar em danos à reputação.
- Riscos de alinhamento: o conteúdo gerado pode ser irrelevante ou impreciso.
- Riscos de segurança e privacidade: o conteúdo gerado pode vazar dados de treinamento ou comandos sensíveis, ou usuários adversários podem tentar forçar o modelo a ignorar protocolos de segurança ou se comportar de maneiras não intencionais.
Nossos modelos implantados oferecem vários recursos para resolver esses possíveis problemas:
- O modelo padrão e os filtros não configuráveis oferecem uma rede de segurança geral.
- As instruções do sistema fornecem orientações diretas ao modelo sobre o comportamento preferido e os tópicos que devem ser evitados.
- Os filtros de conteúdo permitem definir limites específicos para tipos comuns de danos.
- O Gemini como filtro oferece um ponto de verificação avançado e personalizável para preocupações de segurança complexas ou com nuances que podem passar despercebidas pelas camadas anteriores ou exigir uma avaliação mais sensível ao contexto.
- O Model Armor oferece proteção de nível empresarial contra injeção de comandos e jailbreaks, danos de conteúdo, proteção de dados sensíveis, detecção de malware e navegação segura.
- A DLP aborda especificamente o risco crítico de vazamento de dados sensíveis, caso o modelo tenha acesso a eles. Ele também permite criar listas de bloqueio personalizadas.
- As Content Credentials adicionam metadados C2PA assinados criptograficamente às imagens geradas usando o modelo de gerador de imagens Gemini 3 Pro, indicando que elas foram geradas com IA e fornecendo um histórico verificável da origem.
Ferramentas de segurança disponíveis na Gemini Enterprise Agent Platform para o Gemini
A Gemini Enterprise Agent Platform oferece várias ferramentas para gerenciar a segurança dos seus modelos do Gemini. Entender como cada um funciona, as considerações e os casos de uso ideais vai ajudar você a criar uma solução de segurança personalizada.
| Abordagem | Como funciona | Proteção oferecida | Riscos | Quando usar |
|---|---|---|---|---|
| Configurações padrão: Gemini + filtros não configuráveis | Os modelos do Gemini são projetados com foco na segurança e na imparcialidade, mesmo quando confrontados com comandos maliciosos. O Google investiu em avaliações de segurança abrangentes, incluindo para viés e toxicidade. As configurações padrão incluem uma camada de proteção independente projetada para impedir a geração de conteúdo relacionado a material de abuso sexual infantil (CSAM, na sigla em inglês) ou conteúdo protegido por direitos autorais (recitação). | Proteção básica contra material de abuso sexual infantil e direitos autorais (recitação) | A segurança padrão do Gemini pode não atender às necessidades da sua organização. O modelo pode alucinar ou não seguir as instruções. Invasores motivados ainda podem conseguir fazer jailbreaks e injeções de comandos | Workflows em que não há expectativa de entrada maliciosa |
| Filtros configuráveis |
Os filtros de conteúdo predefinidos do Gemini oferecem proteção extra contra
várias categorias de conteúdo nocivo, como conteúdo sexual, de ódio, assédio ou
perigoso. É possível configurar limites de bloqueio para cada categoria de dano
(por exemplo, BLOCK_LOW_AND_ABOVE, BLOCK_MEDIUM_AND_ABOVE,
BLOCK_ONLY_HIGH) com base na probabilidade e/ou gravidade do conteúdo
nocivo. Elas são uma camada independente do modelo, portanto, são robustas contra
jailbreaks.
|
Robusto contra violações de categorias predefinidas, sensibilidade ajustável | Não tem personalização detalhada além das configurações de limite para categorias predefinidas. Pode bloquear conteúdo benigno (falsos positivos) ou não detectar conteúdo nocivo (falsos negativos). Disponível apenas para filtragem de respostas, não de comandos. | Oferecer um nível básico de segurança para aplicativos ou agentes voltados ao usuário. Se o objetivo é garantir a segurança do conteúdo e da marca, os filtros de conteúdo precisam ser combinados com as instruções do sistema. |
| Instruções do sistema | Você pode instruir o modelo sobre as diretrizes de segurança de conteúdo e marca usando instruções do sistema ou preâmbulos. Por exemplo, você pode dizer ao modelo "não responda a perguntas relacionadas à política" ou seguir diretrizes específicas de voz e tom da marca. As instruções do sistema orientam diretamente o comportamento do modelo. | Personalizável para brand safety/conteúdo, pode ser altamente eficaz. | O modelo pode alucinar ou não seguir as instruções. Invasores motivados ainda podem conseguir fazer jailbreaks e injeções de comandos | Aplicativos ou agentes que precisam seguir diretrizes de marca específicas ou políticas de conteúdo com nuances. Se o objetivo é garantir a segurança do conteúdo e a brand safety, as instruções do sistema precisam ser combinadas com filtros de conteúdo. |
| Model Armor | O Model Armor é um serviço do Google Cloud projetado para aprimorar a segurança dos seus aplicativos com a IA. Ele funciona verificando de maneira proativa os comandos e respostas de LLMs, protegendo contra vários riscos e garantindo práticas de IA responsável. Seja no Google Cloud ou em outros provedores de nuvem, o Model Armor ajuda a evitar entradas mal-intencionadas, verificar a segurança do conteúdo, proteger dados sensíveis, manter a conformidade e aplicar suas políticas de segurança de IA de maneira consistente em todos os seus aplicativos de IA. | Filtragem de jailbreak e injeção de comando, filtros de conteúdo, proteção de dados sensíveis, detecção de malware e navegação segura. | Custo e latência. | Oferta paga para clientes com necessidades corporativas. |
| DLP para listas de bloqueio personalizadas e proteção de dados sensíveis | A API DLP pode inspecionar textos para identificar e classificar informações sensíveis com base em uma ampla variedade de detectores de infoType predefinidos e personalizados. Depois de identificadas, ela pode aplicar técnicas de desidentificação, como encobrimento, mascaramento ou tokenização. A API DLP também pode ser usada para bloquear palavras-chave. Proteção de entrada: antes de enviar comandos ou dados do usuário para o Gemini, é possível passar o texto pela API DLP para encobrir ou mascarar informações sensíveis. Isso impede que dados sensíveis sejam processados ou registrados pelo modelo. Proteção de saída: se houver o risco de o Gemini gerar ou revelar informações sensíveis inadvertidamente (por exemplo, se estiver resumindo documentos de origem que contêm PII), a saída do modelo poderá ser verificada pela API DLP antes de ser enviada ao usuário. | Filtragem robusta de linguagem obscena ou palavras personalizadas. Filtragem robusta para dados sensíveis. | Adiciona latência. Pode levar ao bloqueio excessivo. | Proteção contra perda de dados para agentes que têm acesso a dados sensíveis. |
| Gemini como filtro | Você pode usar o Gemini para filtrar comandos e respostas para seu agente ou app. Isso envolve fazer uma segunda chamada para um modelo do Gemini rápido e econômico (como o Gemini Flash ou o Flash Lite) para avaliar se a entrada de um usuário ou ferramenta ou a saída do modelo principal do Gemini é segura. O modelo de filtro recebe instruções para decidir se o conteúdo é seguro ou não com base nas políticas definidas, incluindo segurança de conteúdo, brand safety e desalinhamento do agente. Isso oferece proteção robusta e altamente personalizável contra violações de segurança de conteúdo, problemas de brand safety, desvios de modelo e alucinações, além de analisar textos, imagens, vídeos e áudios para uma compreensão holística. | Altamente robusto e personalizável para brand safety de conteúdo/marca, degradação, alucinação; compreensão multimodal. | Custo e latência adicionais. Chance de falsos negativos extremamente raros. | Oferecer um nível personalizado de segurança para aplicativos ou agentes voltados ao usuário |
| Abordagem em várias camadas: filtros configuráveis + instruções do sistema + DLP + Gemini como filtro | Altamente robusto e personalizável para brand safety/segurança de conteúdo, desvio, alucinação; compreensão multimodal | Custo e latência adicionais. | Oferecer um nível robusto de segurança para aplicativos ou agentes voltados ao usuário, especialmente quando o uso contraditório e malicioso é esperado | |
| Content Credentials da C2PA | Para modelos compatíveis, a Gemini Enterprise Agent Platform adiciona automaticamente às imagens geradas Credenciais de Conteúdo assinadas criptograficamente, indicando que elas foram geradas por IA e fornecendo um histórico verificável de sua origem de acordo com o padrão C2PA. Para mais informações, consulte Content Credentials. | Transparência sobre a origem do conteúdo, ajudando os usuários a identificar imagens geradas com IA. | O uso de ferramentas não compatíveis pode comprometer a autenticidade do arquivo e não garante a confiabilidade da fonte de mídia. | Casos de uso de geração de mídia, em que a transparência sobre a origem e o histórico do arquivo é importante para a confiança do usuário. |
Avaliação de segurança contínua
A avaliação contínua de segurança é crucial para sistemas de IA, já que o cenário da IA e os métodos de uso indevido estão em constante evolução. As avaliações regulares ajudam a identificar vulnerabilidades, avaliar a eficácia da mitigação, se adaptar aos riscos em evolução, garantir o alinhamento com políticas e valores, criar confiança e manter a conformidade. Vários tipos de avaliação, incluindo avaliações de desenvolvimento, avaliações de garantia, equipe vermelha, avaliações externas e testes de comparativo de mercado, ajudam a alcançar isso. O escopo da avaliação deve abranger segurança de conteúdo, brand safety, relevância, viés e imparcialidade, veracidade e robustez contra ataques adversários. Ferramentas como o serviço de avaliação de IA generativa da Gemini Enterprise Agent Platform podem ajudar nesses esforços, enfatizando que as melhorias iterativas com base nas descobertas da avaliação são essenciais para o desenvolvimento IA responsável.