A Proteção para IA ajuda a gerenciar a postura de segurança das cargas de trabalho de IA, detectando ameaças e ajudando a mitigar os riscos para o inventário de recursos de IA. Este documento oferece uma visão geral da Proteção para IA, incluindo os benefícios e vários conceitos importantes. A Proteção para IA está disponível com ativações no nível da organização do Security Command Center.
Para os níveis de serviço Premium e Enterprise, quando o Security Command Center é ativado no nível da organização, a Proteção para IA ajuda a fornecer uma visão abrangente da segurança de IA em todo o ambiente. Google Cloud O painel da Proteção para IA no Google Cloud console mostra um conjunto consistente de widgets e recursos, com dados agregados de todos os projetos e recursos da organização.
Recursos da Proteção para IA
A Proteção para IA ajuda a gerenciar ameaças e riscos aos sistemas de IA das seguintes maneiras:
- Avalie o inventário de recursos de IA: avalie e entenda seus sistemas e recursos de IA
incluindo o seguinte:
- Modelos
- Fontes de dados
- Endpoints
- Agentes (prévia)
- Servidores do Protocolo de Contexto de Modelo
(MCP, na sigla em inglês) catalogados no Registro de Agentes
(prévia). A descoberta de servidores MCP exige que a API App Hub (
apphub.googleapis.com) seja ativada em cada projeto que hospeda um servidor MCP.
- Identifique vulnerabilidades: identifique vulnerabilidades de software (CVEs) em cargas de trabalho agênticas implantadas com o Agent Runtime.
- Identifique riscos: identifique riscos agênticos e o impacto deles no ecossistema com base na simulação de caminho de ataque e em regras de gráfico de segurança predefinidas, com agentes e servidores MCP como recursos de alto valor.
- Detecte agentes com privilégios excessivos: detecte agentes do Agent Runtime que recebem permissões excessivas. (Prévia)
- Gerencie riscos e conformidade: gerencie proativamente os riscos para seus recursos de IA e verifique se as implantações de IA aderem aos padrões de segurança relevantes.
- Mitigue riscos legais e financeiros: reduza os riscos financeiros, de reputação, e legais associados a violações de segurança e não conformidade regulatória.
- Detecte e gerencie ameaças: detecte e responda a possíveis ameaças aos sistemas e recursos de IA de maneira oportuna.
- Acesse um painel: gerencie todos os riscos e ameaças relacionados à IA em um painel centralizado.
Casos de uso da Proteção para IA
A Proteção para IA ajuda as organizações a melhorar a segurança, identificando e mitigando ameaças e riscos relacionados a sistemas de IA e dados sensíveis. Os casos de uso a seguir são exemplos de como a Proteção para IA pode ser usada em diferentes organizações:
Instituição de serviços financeiros: dados financeiros do cliente
Uma grande instituição de serviços financeiros usa modelos de IA que processam dados financeiros sensíveis.
- Desafio:o processamento de dados financeiros altamente sensíveis com modelos de IA envolve vários riscos, incluindo o risco de violações de dados, exfiltração de dados durante o treinamento ou inferência e vulnerabilidades na infraestrutura de IA subjacente.
- Caso de uso:a Proteção para IA monitora continuamente os fluxos de trabalho de IA em busca de atividades suspeitas, trabalha para detectar acesso aos dados não autorizado e comportamento anômalo do modelo, realiza a classificação de dados sensíveis e ajuda a melhorar a conformidade com regulamentações como PCI DSS e GDPR.
Prestador de cuidados de saúde: privacidade e conformidade do paciente
Um grande prestador de cuidados de saúde gerencia registros eletrônicos de saúde e usa IA para diagnósticos e planejamento de tratamento, lidando com Informações protegidas de saúde (PHI).
- Desafio:as PHIs analisadas por modelos de IA estão sujeitas a regulamentações rigorosas, como a HIPAA. Os riscos incluem a exposição acidental de PHIs por configurações incorretas ou ataques maliciosos que visam sistemas de IA para dados de pacientes.
- Caso de uso:a Proteção para IA identifica e alerta sobre possíveis violações da HIPAA, detecta acesso não autorizado a PHIs por modelos ou usuários, sinaliza serviços de IA vulneráveis e potencialmente mal configurados e monitora vazamentos de dados.
Empresa de manufatura e robótica: propriedade intelectual exclusiva
Uma empresa de manufatura especializada em robótica avançada e automação depende muito da IA para otimizar linhas de produção e controle robótico, com propriedade intelectual (PI) vital incorporada aos algoritmos de IA e dados de manufatura.
- Desafio:algoritmos de IA proprietários e dados operacionais sensíveis são vulneráveis a roubo de ameaças internas ou adversários externos, o que pode levar a desvantagens competitivas ou interrupções operacionais.
- Caso de uso:a Proteção para IA monitora o acesso não autorizado a modelos de IA e repositórios de código, detecta tentativas de exfiltração de modelos treinados e padrões de acesso aos dados incomuns e sinaliza vulnerabilidades em ambientes de desenvolvimento de IA para evitar roubo de PI.
Regras do Event Threat Detection para recursos da plataforma de agentes do Gemini Enterprise
O Event Threat Detection detecta várias ameaças potenciais envolvendo recursos da plataforma de agentes do Gemini Enterprise, como atividades anômalas de conta de serviço, mudanças de permissões sensíveis e abuso de identidade agêntica.
As categorias de descoberta que se aplicam a recursos de IA incluem o seguinte:
- Persistência: novo método de API de IA
- Persistência: nova região geográfica para o serviço de IA
- Escalonamento de privilégios: falsificação de identidade anômala de conta de serviço para atividade de administrador de IA
- Escalonamento de privilégios: falsificador de identidade anômalo de conta de serviço para acesso a dados de IA
- Escalonamento de privilégios: delegação anômala de conta de serviço em várias etapas para atividade de administrador de IA
- Escalonamento de privilégios: delegação anômala de conta de serviço em várias etapas para acesso a dados de IA
- Escalonamento de privilégios: falsificador de identidade anômalo de conta de serviço para atividade de administrador de IA
- Acesso inicial: Atividade da Conta de Serviço inativa no serviço de IA
- Persistência: concessão anômala do IAM à identidade agêntica
- Acesso a credenciais: credencial de identidade agêntica usada fora de Google Cloud
- Persistência: permissão de IA sensível adicionada ao papel personalizado
- Persistência: papel sensível concedido pelo agente de IA
- Persistência: papel sensível concedido ao agente de IA externo
- Evasão de defesa: papel de criador de token no nível do projeto concedido ao agente de IA
- Evasão de defesa: papel de criador de token no nível da pasta concedido ao agente de IA
- Evasão de defesa: papel de criador de token no nível da organização concedido ao agente de IA
Para uma lista completa das descobertas do Event Threat Detection que se aplicam a recursos de IA, consulte Serviços de detecção.
Detecção de ameaças da plataforma do agente para o Agent Runtime
A detecção de ameaças da plataforma do agente oferece detecção de ameaças em tempo de execução para agentes implantados no Agent Runtime. Ele monitora agentes em execução em busca de possíveis ataques e gera descobertas no Security Command Center.
A detecção de ameaças da plataforma do agente pode gerar descobertas para o Agent Runtime, incluindo as seguintes categorias:
- Comando e controle: ferramenta de esteganografia detectada
- Acesso a credenciais: Find Google Cloud Credentials
- Acesso a credenciais: reconhecimento de chaves do GPG
- Acesso a credenciais: pesquisar senhas ou chaves privadas
- Evasão de defesa: linha de comando do arquivo ELF codificado em Base64
- Evasão de defesa: script Python codificado em base64 executado
- Evasão de defesa: script de shell codificado em base64 executado
- Evasão de defesa: iniciar a ferramenta de compilador de código no contêiner
- Execução: execução remota de código do Netcat no contêiner
- Execução: possível execução arbitrária de comandos com o CUPS (CVE-2024-47177)
- Execução: possível execução de comando remota detectada
- Execução: execução de programa com ambiente de proxy HTTP não permitido
- Execução: shell reverso do Socat detectado
- Execução: objeto compartilhado suspeito do OpenSSL carregado
- Exfiltração: iniciar as ferramentas de cópia de arquivos remotos no contêiner
- Impacto: detectar Cmdlines maliciosas
- Impacto: remover dados em massa do disco
- Impacto: atividade suspeita de mineração de criptomoedas usando o protocolo Stratum
- Escalonamento de privilégios: abuso do sudo para escalonamento de privilégios (CVE-2019-14287)
- Escalonamento de privilégios: vulnerabilidade de escalonamento de privilégios locais do Polkit (CVE-2021-4034)
- Escalonamento de privilégios: possível uso do comando sudo como vetor de escalonamento de privilégios (CVE-2021-3156)
- Execução: Python malicioso executado
- Execução: escape de contêiner
- Execução: execução de ferramenta de ataque do Kubernetes
- Execução: execução da ferramenta de reconhecimento local
- Impacto: script malicioso executado
- Impacto: URL malicioso observado
- Execução: shell filho inesperado
Para uma lista completa das descobertas da detecção de ameaças da plataforma do agente, consulte Serviços de detecção.
Framework de Proteção para IA
A Proteção para IA usa um framework que inclui controles de nuvem específicos implantados automaticamente no modo detetive. O modo detetive significa que o controle de nuvem é aplicado aos recursos definidos para fins de monitoramento. Todas as violações são detectadas, e alertas são gerados. Você usa frameworks e controles de nuvem para definir os requisitos de Proteção para IA e aplicá-los ao seu Google Cloud ambiente. A Proteção para IA inclui o framework padrão, que define os controles de linha de base recomendados para a Proteção para IA. Quando você ativa a Proteção para IA, o framework padrão é aplicado automaticamente à organização no modo detetive. Google Cloud
Se necessário, você pode fazer cópias do framework para criar frameworks personalizados de Proteção para IA. É possível adicionar os controles de nuvem aos frameworks personalizados e aplicá-los à organização, pastas ou projetos. Por exemplo, você pode criar frameworks personalizados que aplicam controles jurisdicionais específicos a pastas específicas para garantir que os dados dessas pastas permaneçam em uma região geográfica específica.
Controles de nuvem no framework padrão de Proteção para IA
Para mais informações sobre os controles de nuvem usados pelo framework de proteção para IA, consulte Google Recommended Fundamentos da IA - Vertex AI.
Áreas funcionais compatíveis com a Proteção para IA
Esta seção define as áreas funcionais que a Proteção para IA pode ajudar a proteger.
- Cargas de trabalho de IA: as cargas de trabalho de aplicativos de IA variam de ferramentas internas destinadas a melhorar a produtividade dos funcionários a soluções voltadas ao consumidor projetadas para melhorar a experiência do usuário e impulsionar os negócios. Os exemplos incluem agentes de IA, assistentes virtuais, chatbots de IA conversacionais e recomendações personalizadas.
- Agentes de IA: são sistemas de IA que podem perceber o ambiente, tomar decisões e realizar ações para alcançar metas específicas.
- Modelos de IA: os modelos de IA são classificados em modelos de IA de fundação, modelos de IA ajustados, modelos de IA próprios padrão e modelos de IA personalizados. Os exemplos incluem Gemini, Llama, modelos de tradução, e modelos personalizados para tarefas específicas.
- Recursos de IA: os recursos de IA contribuem para pipelines de operação de machine learning
e são usados por cargas de trabalho de IA. Os tipos de recursos de IA incluem o seguinte:
- Recursos de IA declarativos: ferramentas de gerenciamento do ciclo de vida de IA, como a plataforma de agentes do Gemini Enterprise, rastreiam esses recursos.
- Recursos de IA inferidos: recursos de uso geral, como recursos de computação e armazenamento, usados para processar dados ou cargas de trabalho de IA.
- Modelo como serviço (somente API): recursos que têm chamadas programáticas para modelos de IA próprios ou de terceiros.
Usar o painel AI Security
O painel AI Security permite visualizar o inventário de recursos de IA da sua organização e analisar as mitigações propostas para riscos e ameaças.
Acessar o painel AI Security
Para acessar o painel AI Security, no Google Cloud console, acesse a página Visão geral de riscos > AI Security:
Para mais informações, consulte Painel AI Security.
Entender o gerenciamento de riscos para sistemas de IA
Esta seção fornece informações sobre possíveis riscos associados a sistemas de IA. É possível conferir os principais riscos no inventário de IA.
Clique em qualquer problema para abrir um painel de detalhes que fornece uma visualização do problema.
Conferir ameaças de IA
Esta seção fornece insights sobre ameaças associadas a sistemas de IA. É possível conferir as cinco principais ameaças recentes associadas aos recursos de IA.
Nesta página, você pode fazer o seguinte:
- Clique em Ver tudo para conferir as ameaças associadas aos recursos de IA.
- Clique em qualquer ameaça para conferir mais detalhes sobre ela.
Visualizar o inventário de IA
É possível conferir uma visualização do inventário de IA no painel que fornece um resumo dos projetos que envolvem IA generativa, os modelos próprios e de terceiros em uso ativo e os conjuntos de dados usados no treinamento dos modelos de terceiros.
Nesta página, você pode fazer o seguinte:
- Para conferir a página de detalhes do inventário, clique em qualquer um dos nós na visualização.
- Para conferir uma lista detalhada de recursos individuais (como modelos de fundação e modelos personalizados), clique na dica de ferramenta.
- Para abrir uma visualização detalhada do modelo, clique nele. Essa visualização mostra detalhes como os endpoints em que o modelo está hospedado e o conjunto de dados usado para treinar o modelo. Se a Proteção de Dados Sensíveis estiver ativada, a visualização dos conjuntos de dados também mostrará se o conjunto de dados contém dados sensíveis.
Analisar o resumo das descobertas do framework de IA
Esta seção ajuda você a avaliar e gerenciar as descobertas das políticas de segurança de dados e do framework de IA e inclui o seguinte:
- Descobertas: esta seção mostra um resumo das descobertas geradas pelas políticas de segurança de dados e de IA. Clique em Conferir todas as descobertas ou no número ao lado de cada categoria de descoberta para conferir detalhes sobre a descoberta. Clique em uma descoberta para mostrar mais informações sobre ela.
- Dados sensíveis em conjuntos de dados da Vertex AI: esta seção mostra um resumo de descobertas com base em dados sensíveis em conjuntos de dados, conforme informado pela Proteção de Dados Sensíveis. Para mais informações, consulte Introdução ao Gemini Enterprise Agent Platform.
Examinar as descobertas do Model Armor
Um gráfico mostra o número total de comandos ou respostas que o Model Armor verificou e o número de problemas que ele detectou. Além disso, o gráfico mostra estatísticas de resumo para vários tipos de problemas detectados, como injeção de comandos e detecção de jailbreak, e detecção de dados sensíveis. Para cargas de trabalho agênticas, o Model Armor pode ser configurado no Agent Gateway (prévia) para analisar comandos e respostas de e para agentes.
Essas informações são preenchidas com base nas métricas que o Model Armor publica no Cloud Monitoring. Para mais informações, consulte Visão geral do Model Armor.
A seguir
- Aprenda a configurar a Proteção para IA.
- Para avaliar o risco, acesse os dados do painel.