A Proteção para IA ajuda a gerenciar a postura de segurança das cargas de trabalho de IA, detectando ameaças e ajudando a reduzir os riscos ao inventário de recursos de IA. Este documento oferece uma visão geral da proteção para IA, incluindo os benefícios e vários conceitos importantes. A proteção para IA está disponível com ativações no nível da organização do Security Command Center.
Para os níveis de serviço Premium e Enterprise (descontinuado), quando o Security Command Center é ativado no nível da organização, a Proteção de IA ajuda a fornecer uma visão abrangente da segurança de IA em todo o seu ambiente do Google Cloud . O painel da Proteção para IA no console Google Cloud mostra um conjunto consistente de widgets e recursos, com dados agregados de todos os projetos e recursos da organização.
Recursos da Proteção para IA
A Proteção para IA ajuda a gerenciar ameaças e riscos aos seus sistemas de IA das seguintes maneiras:
- Avalie seu inventário de recursos de IA: avalie e entenda seus sistemas e recursos de IA usando o painel de segurança e a guia de recursos de IA, incluindo o seguinte:
- Modelos
- Fontes de dados
- Endpoints
- Agentes (Pré-lançamento)
- Servidores do Protocolo de Contexto de Modelo (MCP) catalogados no Registro de Agente (Prévia). A descoberta de servidores MCP exige que a API App Hub (
apphub.googleapis.com) seja ativada em cada projeto que hospeda um servidor MCP.
- Identificar vulnerabilidades: identifique vulnerabilidades de software (CVEs) em cargas de trabalho agênticas implantadas com o Agent Runtime.
- Identificar riscos: identifique riscos de agentes e o impacto deles no ecossistema com base na simulação de caminho de ataque e em regras predefinidas do gráfico de segurança, com agentes e servidores MCP como recursos de alto valor.
- Detectar agentes com privilégios excessivos: detecte agentes do Agent Runtime que recebem permissões excessivas. (Prévia)
- Gerenciar riscos e compliance: gerencie proativamente os riscos aos seus recursos de IA e verifique se as implantações de IA aderem aos padrões de segurança relevantes.
- Reduza os riscos legais e financeiros: diminua os riscos financeiros, de reputação e legais associados a violações de segurança e não conformidade regulatória.
- Detectar e gerenciar ameaças: detecte e responda a possíveis ameaças aos seus sistemas e recursos de IA de maneira oportuna.
- Conferir um painel: gerencie todos os riscos e ameaças relacionados à IA em um painel centralizado.
Casos de uso da proteção para IA
A proteção para IA ajuda as organizações a melhorar a segurança identificando e mitigando ameaças e riscos relacionados a sistemas de IA e dados sensíveis. Os casos de uso a seguir são exemplos de como a proteção para IA pode ser usada em diferentes organizações:
Instituição de serviços financeiros: dados financeiros do cliente
Uma grande instituição de serviços financeiros usa modelos de IA que processam dados financeiros sensíveis.
- Desafio:o processamento de dados financeiros altamente sensíveis com modelos de IA envolve vários riscos, incluindo vazamento e exfiltração de dados durante o treinamento ou a inferência, além de vulnerabilidades na infraestrutura de IA subjacente.
- Caso de uso:a proteção para IA monitora continuamente os fluxos de trabalho de IA em busca de atividade suspeita, detecta acesso aos dados não autorizado e comportamento anômalo de modelos, realiza a classificação de dados sensíveis e ajuda a melhorar a conformidade com regulamentações como PCI DSS e GDPR.
Prestador de cuidados de saúde: privacidade e conformidade do paciente
Um grande prestador de cuidados de saúde gerencia prontuários eletrônicos e usa IA para diagnóstico e planejamento de tratamento, lidando com Informações protegidas de saúde (PHI).
- Desafio:as PHI analisadas por modelos de IA estão sujeitas a regulamentações rigorosas, como a HIPAA. Os riscos incluem a exposição acidental de PHI por erros de configuração ou ataques maliciosos direcionados a sistemas de IA para dados de pacientes.
- Caso de uso:a proteção para IA identifica e alerta sobre possíveis violações da HIPAA, detecta acesso não autorizado a PHI por modelos ou usuários, sinaliza serviços de IA vulneráveis e com possíveis configurações incorretas e monitora vazamentos de dados.
Empresa de manufatura e robótica: propriedade intelectual exclusiva
Uma empresa de manufatura especializada em robótica avançada e automação depende muito da IA para otimizar linhas de produção e controle robótico, com propriedade intelectual (PI) vital incorporada aos algoritmos de IA e dados de manufatura.
- Desafio:algoritmos de IA e dados operacionais sensíveis reservados são vulneráveis a roubo por pessoas internas com informações privilegiadas ou adversários externos, o que pode levar a desvantagens competitivas ou interrupções operacionais.
- Caso de uso:a proteção para IA monitora o acesso não autorizado a modelos de IA e repositórios de código, detecta tentativas de exfiltrar modelos treinados e padrões incomuns de acesso aos dados e sinaliza vulnerabilidades em ambientes de desenvolvimento de IA para evitar o roubo de PI.
Regras do Event Threat Detection para recursos da Gemini Enterprise Agent Platform
A Event Threat Detection detecta várias ameaças potenciais envolvendo recursos da Gemini Enterprise Agent Platform, como atividade anômala da conta de serviço, mudanças de permissão sensível e abuso de identidade agêntica.
As categorias de descoberta que se aplicam a recursos de IA incluem:
- Persistência: novo método de API de IA
- Persistência: nova região geográfica para o serviço de IA
- Escalonamento de privilégios: representação anômala da identidade da conta de serviço na atividade do administrador de IA
- Escalonamento de privilégios: representação anômala de identidade temporária de conta de serviço no acesso a dados de IA
- Escalonamento de privilégios: delegação anômala de conta de serviço de várias etapas na atividade do administrador de IA
- Escalonamento de privilégios: delegação anômala de conta de serviço em várias etapas para acesso a dados de IA
- Escalonamento de privilégios: representação anômala de identidade temporária de conta de serviço na atividade do admin de IA
- Acesso inicial: Atividade da Conta de Serviço inativa no Serviço de IA
- Persistência: concessão anômala de IAM para identidade de agente
- Acesso a credenciais: credencial de identidade de agente usada fora de Google Cloud
- Persistência: permissão de IA sensível adicionada ao papel personalizado
- Persistência: papel sensível concedido pelo agente de IA
- Persistência: papel sensível concedido ao agente de IA externo
- Evasão de defesa: papel de criador de token no nível do projeto concedido ao agente de IA
- Evasão de defesa: papel de criador de token no nível da pasta concedido ao agente de IA
- Evasão de defesa: papel de criador de token no nível da organização concedido ao agente de IA
Para conferir uma lista completa das descobertas do Event Threat Detection que se aplicam a recursos de IA, consulte Serviços de detecção.
Detecção de ameaças da Agent Platform para o Agent Runtime
A detecção de ameaças da Agent Platform oferece detecção de ameaças em tempo de execução para agentes implantados no Agent Runtime. Ele monitora agentes em execução para possíveis ataques e gera descobertas no Security Command Center.
A Detecção de ameaças do Agent Platform pode gerar descobertas para o Agent Runtime, incluindo as seguintes categorias:
- Comando e controle: ferramenta de esteganografia detectada
- Acesso com credenciais: Find Google Cloud Credentials
- Acesso a credenciais: reconhecimento de chaves GPG
- Acesso a credenciais: pesquisar senhas ou chaves privadas
- Evasão de defesa: linha de comando do arquivo ELF codificado em Base64
- Evasão de defesa: script Python codificado em base64 executado
- Evasão de defesa: script de shell codificado em base64 executado
- Evasão de defesa: iniciar a ferramenta de compilador de código no contêiner
- Execução: execução remota de código com a rede Netcat em contêiner
- Execução: possível execução arbitrária de comandos com o CUPS (CVE-2024-47177)
- Execução: possível execução remota de comandos detectada
- Execução: execução de programa com ambiente de proxy HTTP não permitido
- Execução: shell reverso do Socat detectado
- Execução: objeto compartilhado suspeito do OpenSSL carregado
- Exfiltração: iniciar ferramentas de cópia de arquivos remotos no contêiner
- Impacto: Detectar Cmdlines maliciosas
- Impacto: remover dados em massa do disco
- Impacto: atividade suspeita de mineração de criptomoedas usando o protocolo Stratum
- Escalonamento de privilégios: abuso do sudo para escalonamento de privilégios (CVE-2019-14287)
- Escalonamento de privilégios: vulnerabilidade de escalonamento de privilégios local do Polkit (CVE-2021-4034)
- Escalonamento de privilégios: possível uso do comando sudo como vetor de escalonamento de privilégios (CVE-2021-3156)
- Execução: Python malicioso executado
- Execução: escape de contêiner
- Execução: execução de ferramenta de ataque do Kubernetes
- Execução: execução da ferramenta de reconhecimento local
- Impacto: script malicioso executado
- Impacto: URL malicioso observado
- Execução: shell filho inesperado
Para uma lista completa das descobertas da detecção de ameaças do Agent Platform, consulte Serviços de detecção.
Framework de proteção para IA
A Proteção por IA usa uma estrutura que inclui controles específicos da nuvem implantados automaticamente no modo de detecção. O modo detective significa que o controle de nuvem é aplicado aos recursos definidos para fins de monitoramento. Todas as violações são detectadas, e alertas são gerados. Você usa estruturas e controles de nuvem para definir os requisitos de proteção para IA e aplicá-los ao seu ambiente Google Cloud . A proteção para IA inclui o framework padrão, que define controles de referência recomendados para a proteção para IA. Quando você ativa a proteção para IA, o framework padrão é aplicado automaticamente à organização Google Cloud no modo de detecção.
Se necessário, faça cópias do framework para criar frameworks de proteção para IA personalizados. É possível adicionar os controles de nuvem aos seus frameworks personalizados e aplicá-los à organização, pastas ou projetos. Por exemplo, é possível criar estruturas personalizadas que aplicam controles jurisdicionais específicos a pastas específicas para garantir que os dados nessas pastas permaneçam em uma região geográfica específica.
Controles de nuvem no framework padrão de proteção para IA
Para mais informações sobre os controles de nuvem que o framework de proteção para IA usa, consulte Fundamentos da IA recomendados pelo Google: Vertex AI.
Áreas funcionais com suporte para a proteção para IA
Esta seção define as áreas funcionais que a proteção para IA pode ajudar a proteger.
- Workloads de IA: os workloads de aplicativos de IA variam de ferramentas internas destinadas a melhorar a produtividade dos funcionários até soluções voltadas ao consumidor projetadas para melhorar a experiência do usuário e impulsionar os negócios. Por exemplo, agentes de IA, assistentes virtuais, chatbots de IA de conversação e recomendações personalizadas.
- Agentes de IA: são sistemas de IA que podem perceber o ambiente, tomar decisões e realizar ações para alcançar metas específicas.
- Modelos de IA: são classificados em modelos básicos, ajustados, padrão próprios e personalizados. Por exemplo, Gemini, Llama, modelos de tradução e modelos personalizados para tarefas específicas.
- Recursos de IA: contribuem para pipelines de operações de machine learning e são usados por cargas de trabalho de IA. Confira alguns tipos de recursos de IA:
- Ativos de IA declarativos: ferramentas de gerenciamento do ciclo de vida da IA, como a Gemini Enterprise Agent Platform, rastreiam esses ativos.
- Recursos de IA inferidos: recursos de uso geral, como computação e armazenamento, usados para processar dados ou cargas de trabalho de IA.
- Modelo como serviço (somente API): recursos com chamadas programáticas para modelos de IA próprios ou de terceiros.
- Recursos de IA sombra: ativos e cargas de trabalho de IA não autorizados ou não gerenciados. Os recursos de IA sombra não são compatíveis com o Security Command Center no console Google Cloud .