A Proteção para IA ajuda a gerenciar a postura de segurança das cargas de trabalho de IA, detectando ameaças e ajudando a mitigar os riscos para o inventário de recursos de IA. Este documento oferece uma visão geral da Proteção para IA, incluindo os benefícios e vários conceitos importantes. A Proteção para IA está disponível com ativações no nível da organização do Security Command Center.
Para os níveis de serviço Premium e Enterprise, quando o Security Command Center é ativado no nível da organização, a Proteção para IA ajuda a fornecer uma visão abrangente da segurança de IA em todo o ambiente. Google Cloud O painel da Proteção para IA no Google Cloud console mostra um conjunto consistente de widgets e recursos, com dados agregados de todos os projetos e recursos da organização.
Recursos da Proteção para IA
A Proteção para IA ajuda a gerenciar ameaças e riscos aos sistemas de IA das seguintes maneiras:
- Avalie seu inventário de recursos de IA: avalie e entenda seus sistemas e recursos de IA usando o painel de segurança de IA e a guia "Recursos de IA", incluindo o seguinte:
- Modelos
- Fontes de dados
- Endpoints
- Agentes (prévia)
- Servidores do Protocolo de Contexto de Modelo
(MCP, na sigla em inglês) catalogados no Registro de Agentes
(prévia). A descoberta de servidores MCP exige que a API App Hub (
apphub.googleapis.com) esteja ativada em cada projeto que hospeda um servidor MCP.
- Identifique vulnerabilidades: identifique vulnerabilidades de software (CVEs) em cargas de trabalho agênticas implantadas com o Agent Runtime.
- Identifique riscos: identifique riscos agênticos e o impacto deles no ecossistema com base na simulação de caminho de ataque e em regras de gráfico de segurança predefinidas, com agentes e servidores MCP como recursos de alto valor.
- Detecte agentes com privilégios excessivos: detecte agentes do Agent Runtime que recebem permissões excessivas. (Prévia)
- Gerencie riscos e compliance: gerencie proativamente os riscos para seus recursos de IA e verifique se as implantações de IA aderem aos padrões de segurança relevantes.
- Mitigue riscos legais e financeiros: reduza os riscos financeiros, de reputação, e legais associados a violações de segurança e não conformidade regulatória.
- Detecte e gerencie ameaças: detecte e responda a possíveis ameaças aos sistemas e recursos de IA de maneira oportuna.
- Confira um painel: gerencie todos os riscos e ameaças relacionados à IA em um painel centralizado.
Casos de uso da Proteção para IA
A Proteção para IA ajuda as organizações a melhorar a segurança, identificando e mitigando ameaças e riscos relacionados a sistemas de IA e dados sensíveis. Os casos de uso a seguir são exemplos de como a Proteção para IA pode ser usada em diferentes organizações:
Instituição de serviços financeiros: dados financeiros do cliente
Uma grande instituição de serviços financeiros usa modelos de IA que processam dados financeiros sensíveis.
- Desafio:o processamento de dados financeiros altamente sensíveis com modelos de IA envolve vários riscos, incluindo o risco de violações de dados, exfiltração de dados durante o treinamento ou inferência e vulnerabilidades na infraestrutura de IA subjacente.
- Caso de uso:a Proteção para IA monitora continuamente os fluxos de trabalho de IA em busca de atividades suspeitas, trabalha para detectar acesso aos dados não autorizado e comportamento anômalo do modelo, realiza a classificação de dados sensíveis e ajuda a melhorar a conformidade com regulamentações como PCI DSS e GDPR.
Prestador de cuidados de saúde: privacidade e compliance do paciente
Um grande prestador de cuidados de saúde gerencia registros eletrônicos de saúde e usa IA para diagnósticos e planejamento de tratamento, lidando com Informações protegidas de saúde (PHI).
- Desafio:as PHIs analisadas por modelos de IA estão sujeitas a regulamentações rigorosas, como a HIPAA. Os riscos incluem a exposição acidental de PHIs por configurações incorretas ou ataques maliciosos que visam sistemas de IA para dados de pacientes.
- Caso de uso:a Proteção para IA identifica e alerta sobre possíveis violações da HIPAA, detecta acesso não autorizado a PHIs por modelos ou usuários, sinaliza serviços de IA vulneráveis e potencialmente mal configurados e monitora vazamentos de dados.
Empresa de manufatura e robótica: propriedade intelectual exclusiva
Uma empresa de manufatura especializada em robótica avançada e automação depende muito da IA para otimizar linhas de produção e controle robótico, com propriedade intelectual (PI) vital incorporada aos algoritmos de IA e dados de manufatura.
- Desafio:algoritmos de IA proprietários e dados operacionais sensíveis são vulneráveis a roubo de ameaças internas ou adversários externos, o que pode levar a desvantagens competitivas ou interrupções operacionais.
- Caso de uso:a Proteção para IA monitora o acesso não autorizado a modelos de IA e repositórios de código, detecta tentativas de exfiltração de modelos treinados e padrões de acesso aos dados incomuns e sinaliza vulnerabilidades em ambientes de desenvolvimento de IA para evitar roubo de PI.
Regras do Event Threat Detection para recursos da Gemini Enterprise Agent Platform
O Event Threat Detection detecta várias ameaças em potencial envolvendo recursos da Gemini Enterprise Agent Platform, como atividade anômala de conta de serviço, alterações de permissões sensíveis e abuso de identidade agêntica.
As categorias de descoberta que se aplicam a recursos de IA incluem o seguinte:
- Persistência: novo método de API de IA
- Persistência: nova região geográfica para o serviço de IA
- Escalonamento de privilégios: falsificação de identidade anômala de conta de serviço para atividade de administrador de IA
- Escalonamento de privilégios: falsificador de identidade anômalo de conta de serviço para acesso a dados de IA
- Escalonamento de privilégios: delegação anômala de conta de serviço em várias etapas para atividade de administrador de IA
- Escalonamento de privilégios: delegação anômala de conta de serviço em várias etapas para acesso a dados de IA
- Escalonamento de privilégios: falsificador de identidade anômalo de conta de serviço para atividade de administrador de IA
- Acesso inicial: Atividade da Conta de Serviço inativa no serviço de IA
- Persistência: concessão anômala de IAM à identidade agêntica
- Acesso a credenciais: credencial de identidade agêntica usada fora de Google Cloud
- Persistência: permissão de IA sensível adicionada ao papel personalizado
- Persistência: papel sensível concedido pelo agente de IA
- Persistência: papel sensível concedido ao agente de IA externo
- Evasão de defesa: papel de criador de token no nível do projeto concedido ao agente de IA
- Evasão de defesa: papel de criador de token no nível da pasta concedido ao agente de IA
- Evasão de defesa: papel de criador de token no nível da organização concedido ao agente de IA
Para uma lista completa das descobertas de Event Threat Detection que se aplicam a ativos de IA, consulte Serviços de detecção.
Detecção de ameaças da Agent Platform para o Agent Runtime
A detecção de ameaças da Agent Platform oferece detecção de ameaças em tempo de execução para agentes implantados no Agent Runtime. Ela monitora agentes em execução em busca de possíveis ataques e gera descobertas no Security Command Center.
A detecção de ameaças da Agent Platform pode gerar descobertas para o Agent Runtime, incluindo as seguintes categorias:
- Comando e controle: ferramenta de esteganografia detectada
- Acesso a credenciais: Find Google Cloud Credentials
- Acesso a credenciais: reconhecimento de chaves do GPG
- Acesso a credenciais: pesquisa de senhas ou chaves privadas
- Evasão de defesa: linha de comando do arquivo ELF codificado em Base64
- Evasão de defesa: script Python codificado em base64 executado
- Evasão de defesa: script de shell codificado em base64 executado
- Evasão de defesa: iniciar a ferramenta de compilador de código no contêiner
- Execução: execução remota de código do Netcat no contêiner
- Execução: possível execução arbitrária de comandos com o CUPS (CVE-2024-47177)
- Execução: possível execução de comando remota detectada
- Execução: execução de programa com ambiente de proxy HTTP não permitido
- Execução: shell reverso do Socat detectado
- Execução: objeto compartilhado suspeito do OpenSSL carregado
- Exfiltração: iniciar as ferramentas de cópia de arquivos remotos no contêiner
- Impacto: detectar Cmdlines maliciosas
- Impacto: remover dados em massa do disco
- Impacto: atividade suspeita de mineração de criptomoedas usando o protocolo Stratum
- Escalonamento de privilégios: abuso do sudo para escalonamento de privilégios (CVE-2019-14287)
- Escalonamento de privilégios: vulnerabilidade de escalonamento de privilégios locais do Polkit (CVE-2021-4034)
- Escalonamento de privilégios: possível uso do comando sudo como vetor de escalonamento de privilégios (CVE-2021-3156)
- Execução: Python malicioso executado
- Execução: escape de contêiner
- Execução: execução de ferramenta de ataque do Kubernetes
- Execução: execução da ferramenta de reconhecimento local
- Impacto: script malicioso executado
- Impacto: URL malicioso observado
- Execução: shell filho inesperado
Para uma lista completa das descobertas de detecção de ameaças da Agent Platform, consulte Serviços de detecção.
Framework de Proteção para IA
A Proteção para IA usa um framework que inclui controles de nuvem específicos implantados automaticamente no modo detetive. O modo detetive significa que o controle de nuvem é aplicado aos recursos definidos para fins de monitoramento. Todas as violações são detectadas, e alertas são gerados. Você usa frameworks e controles de nuvem para definir os requisitos de Proteção para IA e aplicá-los ao seu Google Cloud ambiente. A Proteção para IA inclui o framework padrão, que define os controles de linha de base recomendados para a Proteção para IA. Quando você ativa a Proteção para IA, o framework padrão é aplicado automaticamente à organização no modo detetive. Google Cloud
Se necessário, você pode fazer cópias do framework para criar frameworks personalizados de Proteção para IA. É possível adicionar os controles de nuvem aos frameworks personalizados e aplicá-los à organização, pastas ou projetos. Por exemplo, você pode criar frameworks personalizados que aplicam controles jurisdicionais específicos a pastas específicas para garantir que os dados dessas pastas permaneçam em uma região geográfica específica.
Controles de nuvem no framework padrão de Proteção para IA
Para mais informações sobre os controles de nuvem usados pelo framework de proteção para IA, consulte Google Recommended Fundamentos da IA - Vertex AI.
Áreas funcionais com suporte para a Proteção para IA
Esta seção define as áreas funcionais que a Proteção para IA pode ajudar a proteger.
- Cargas de trabalho de IA: as cargas de trabalho de aplicativos de IA variam de ferramentas internas destinadas a melhorar a produtividade dos funcionários a soluções voltadas ao consumidor projetadas para melhorar a experiência do usuário e impulsionar os negócios. Os exemplos incluem agentes de IA, assistentes virtuais, chatbots de IA conversacional e recomendações personalizadas.
- Agentes de IA: são sistemas de IA que podem perceber o ambiente, tomar decisões e realizar ações para alcançar metas específicas.
- Modelos de IA: os modelos de IA são classificados em modelos de IA de fundação, modelos de IA ajustados, modelos de IA padrão de terceiros e modelos de IA personalizados. Os exemplos incluem Gemini, Llama, modelos de tradução, e modelos personalizados para tarefas específicas.
- Recursos de IA: os recursos de IA contribuem para pipelines de operação de machine learning
e são usados por cargas de trabalho de IA. Os tipos de recursos de IA incluem o seguinte:
- Recursos de IA declarativos: ferramentas de gerenciamento do ciclo de vida de IA, como a Gemini Enterprise Agent Platform, rastreiam esses recursos.
- Recursos de IA inferidos: recursos de uso geral, como recursos de computação e armazenamento, usados para processar dados ou cargas de trabalho de IA.
- Modelo como serviço (somente API): recursos que têm chamadas programáticas para modelos de IA de terceiros ou de terceiros.
- Recursos de IA sombra: recursos e ativos de IA não autorizados ou não gerenciados e cargas de trabalho. Os recursos de IA sombra não são compatíveis com o Security Command Center no Google Cloud console.