A Proteção para IA ajuda a gerenciar a postura de segurança das cargas de trabalho de IA, detectando ameaças e ajudando a mitigar os riscos para o inventário de recursos de IA. Este documento oferece uma visão geral da Proteção para IA, incluindo os benefícios e vários conceitos importantes. A Proteção para IA está disponível com ativações no nível da organização do Security Command Center.
Para os níveis de serviço Premium e Enterprise, quando o Security Command Center é ativado no nível da organização, a Proteção para IA ajuda a fornecer uma visão abrangente da segurança de IA em todo o ambiente. Google Cloud O painel da Proteção para IA no Google Cloud console mostra um conjunto consistente de widgets e recursos, com dados agregados de todos os projetos e recursos da organização.
Recursos da Proteção para IA
A Proteção para IA ajuda a gerenciar ameaças e riscos aos sistemas de IA das seguintes maneiras:
- Avalie seu inventário de recursos de IA: avalie e entenda seus sistemas e recursos de IA usando o painel AI Security e a guia "Recursos de IA", incluindo o seguinte:
- Modelos
- Fontes de dados
- Endpoints
- Agentes (prévia)
- Servidores do Protocolo de Contexto de Modelo
(MCP, na sigla em inglês) catalogados no Registro de Agente
(prévia). A descoberta de servidores MCP exige que a API App Hub (
apphub.googleapis.com) esteja ativada em cada projeto que hospeda um servidor MCP.
- Identifique vulnerabilidades: identifique vulnerabilidades de software (CVEs) em cargas de trabalho agênticas implantadas com o Agent Runtime.
- Identifique riscos: identifique riscos agênticos e o impacto deles no ecossistema com base na simulação de caminho de ataque e em regras de gráfico de segurança predefinidas, com agentes e servidores MCP como recursos de alto valor.
- Detecte agentes com privilégios excessivos: detecte agentes do Agent Runtime que recebem permissões excessivas. (Prévia)
- Gerencie riscos e compliance: gerencie proativamente os riscos para seus recursos de IA e verifique se as implantações de IA aderem aos padrões de segurança relevantes.
- Mitigue riscos financeiros e legais: reduza os riscos financeiros, de reputação, e legais associados a violações de segurança e não conformidade regulatória.
- Detecte e gerencie ameaças: detecte e responda a possíveis ameaças aos sistemas e recursos de IA de maneira oportuna.
- Acesse um painel: gerencie todos os riscos e ameaças relacionados à IA em um painel centralizado.
Casos de uso da Proteção para IA
A Proteção para IA ajuda as organizações a melhorar a segurança, identificando e mitigando ameaças e riscos relacionados a sistemas de IA e dados sensíveis. Os casos de uso a seguir são exemplos de como a Proteção para IA pode ser usada em diferentes organizações:
Instituição de serviços financeiros: dados financeiros do cliente
Uma grande instituição de serviços financeiros usa modelos de IA que processam dados financeiros sensíveis.
- Desafio:o processamento de dados financeiros altamente sensíveis com modelos de IA envolve vários riscos, incluindo o risco de violações de dados, exfiltração de dados durante o treinamento ou a inferência e vulnerabilidades na infraestrutura de IA subjacente.
- Caso de uso:a Proteção para IA monitora continuamente os fluxos de trabalho de IA em busca de atividades suspeitas, trabalha para detectar acesso aos dados não autorizado e comportamento anômalo do modelo, realiza a classificação de dados sensíveis e ajuda a melhorar a conformidade com regulamentações como PCI DSS e GDPR.
Prestador de cuidados de saúde: privacidade e compliance do paciente
Um grande prestador de cuidados de saúde gerencia registros eletrônicos de saúde e usa IA para diagnósticos e planejamento de tratamento, lidando com Informações protegidas de saúde (PHI).
- Desafio:as PHIs analisadas por modelos de IA estão sujeitas a regulamentações rigorosas, como a HIPAA. Os riscos incluem a exposição acidental de PHIs por configurações incorretas ou ataques maliciosos que visam sistemas de IA para dados de pacientes.
- Caso de uso:a Proteção para IA identifica e alerta sobre possíveis violações da HIPAA, detecta acesso não autorizado a PHIs por modelos ou usuários, sinaliza serviços de IA vulneráveis e potencialmente mal configurados e monitora vazamentos de dados.
Empresa de manufatura e robótica: propriedade intelectual exclusiva
Uma empresa de manufatura especializada em robótica avançada e automação depende muito da IA para otimizar linhas de produção e controle robótico, com propriedade intelectual (PI) vital incorporada aos algoritmos de IA e dados de manufatura.
- Desafio:algoritmos de IA proprietários e dados operacionais sensíveis são vulneráveis a roubo de ameaças internas ou adversários externos, o que pode levar a desvantagens competitivas ou interrupções operacionais.
- Caso de uso:a Proteção para IA monitora o acesso não autorizado a modelos de IA e repositórios de código, detecta tentativas de exfiltração de modelos treinados e padrões de acesso aos dados incomuns e sinaliza vulnerabilidades em ambientes de desenvolvimento de IA para evitar roubo de PI.
Regras de Event Threat Detection para ativos da Gemini Enterprise Agent Platform
O Event Threat Detection detecta várias ameaças em potencial envolvendo recursos da Gemini Enterprise Agent Platform, como atividade anômala de conta de serviço, alterações de permissões sensíveis e abuso de identidade agêntica.
As categorias de descoberta que se aplicam a recursos de IA incluem o seguinte:
- Persistência: novo método de API de IA
- Persistência: nova região geográfica para o serviço de IA
- Escalonamento de privilégios: falsificação de identidade anômala de conta de serviço para atividade de administrador de IA
- Escalonamento de privilégios: falsificador de identidade anômalo de conta de serviço para acesso a dados de IA
- Escalonamento de privilégios: delegação anômala de conta de serviço em várias etapas para atividade de administrador de IA
- Escalonamento de privilégios: delegação anômala de conta de serviço em várias etapas para acesso a dados de IA
- Escalonamento de privilégios: falsificador de identidade anômalo de conta de serviço para atividade de administrador de IA
- Acesso inicial: Atividade da Conta de Serviço inativa no serviço de IA
- Persistência: concessão anômala do IAM à identidade agêntica
- Acesso a credenciais: credencial de identidade agêntica usada fora de Google Cloud
- Persistência: permissão de IA sensível adicionada ao papel personalizado
- Persistência: papel sensível concedido pelo agente de IA
- Persistência: papel sensível concedido ao agente de IA externo
- Evasão de defesa: papel de criador de token no nível do projeto concedido ao agente de IA
- Evasão de defesa: papel de criador de token no nível da pasta concedido ao agente de IA
- Evasão de defesa: papel de criador de token no nível da organização concedido ao agente de IA
Para uma lista completa das descobertas de Event Threat Detection que se aplicam a ativos de IA, consulte Serviços de detecção.
Detecção de ameaças do Agent Platform para o Agent Runtime
A detecção de ameaças da plataforma de agentes oferece detecção de ameaças em tempo de execução para agentes implantados no Agent Runtime. Ela monitora agentes em execução em busca de possíveis ataques e gera descobertas no Security Command Center.
A detecção de ameaças do Agent Platform pode gerar descobertas para o Agent Runtime, incluindo as seguintes categorias:
- Comando e controle: ferramenta de esteganografia detectada
- Acesso a credenciais: Find Google Cloud Credentials
- Acesso a credenciais: reconhecimento de chaves do GPG
- Acesso a credenciais: pesquisa de senhas ou chaves privadas
- Evasão de defesa: linha de comando do arquivo ELF codificado em Base64
- Evasão de defesa: script Python codificado em base64 executado
- Evasão de defesa: script de shell codificado em base64 executado
- Evasão de defesa: iniciar a ferramenta de compilador de código no contêiner
- Execução: execução remota de código do Netcat no contêiner
- Execução: possível execução arbitrária de comandos com o CUPS (CVE-2024-47177)
- Execução: possível execução de comando remota detectada
- Execução: execução de programa com ambiente de proxy HTTP não permitido
- Execução: shell reverso do Socat detectado
- Execução: objeto compartilhado suspeito do OpenSSL carregado
- Exfiltração: iniciar as ferramentas de cópia de arquivos remotos no contêiner
- Impacto: detectar Cmdlines maliciosas
- Impacto: remover dados em massa do disco
- Impacto: atividade suspeita de mineração de criptomoedas usando o protocolo Stratum
- Escalonamento de privilégios: abuso do sudo para escalonamento de privilégios (CVE-2019-14287)
- Escalonamento de privilégios: vulnerabilidade de escalonamento de privilégios locais do Polkit (CVE-2021-4034)
- Escalonamento de privilégios: possível uso do comando sudo como vetor de escalonamento de privilégios (CVE-2021-3156)
- Execução: Python malicioso executado
- Execução: escape de contêiner
- Execução: execução de ferramenta de ataque do Kubernetes
- Execução: execução da ferramenta de reconhecimento local
- Impacto: script malicioso executado
- Impacto: URL malicioso observado
- Execução: shell filho inesperado
Para uma lista completa das descobertas de detecção de ameaças do Agent Platform, consulte Serviços de detecção.
Framework de Proteção para IA
A Proteção para IA usa um framework que inclui controles de nuvem específicos implantados automaticamente no modo detetive. O modo detetive significa que o controle de nuvem é aplicado aos recursos definidos para fins de monitoramento. Todas as violações são detectadas, e alertas são gerados. Você usa frameworks e controles de nuvem para definir os requisitos de Proteção para IA e aplicá-los ao seu Google Cloud ambiente. A Proteção para IA inclui o framework padrão, que define os controles de linha de base recomendados para a Proteção para IA. Quando você ativa a Proteção para IA, o framework padrão é aplicado automaticamente à organização no modo detetive. Google Cloud
Se necessário, faça cópias do framework para criar frameworks personalizados de Proteção para IA. É possível adicionar os controles de nuvem aos frameworks personalizados e aplicá-los à organização, pastas ou projetos. Por exemplo, você pode criar frameworks personalizados que aplicam controles jurisdicionais específicos a pastas específicas para garantir que os dados dessas pastas permaneçam em uma região geográfica específica.
Controles de nuvem no framework padrão de Proteção para IA
Para mais informações sobre os controles de nuvem usados pelo framework de proteção para IA, consulte Google Recommended Fundamentos da IA - Vertex AI.
Áreas funcionais compatíveis com a Proteção para IA
Esta seção define as áreas funcionais que a Proteção para IA pode ajudar a proteger.
- Cargas de trabalho de IA: as cargas de trabalho de aplicativos de IA variam de ferramentas internas destinadas a melhorar a produtividade dos funcionários a soluções voltadas ao consumidor, projetadas para melhorar a experiência do usuário e impulsionar os negócios. Os exemplos incluem agentes de IA, assistentes virtuais, chatbots de IA conversacionais e recomendações personalizadas.
- Agentes de IA: são sistemas de IA que podem perceber o ambiente, tomar decisões e realizar ações para alcançar metas específicas.
- Modelos de IA: os modelos de IA são classificados em modelos de IA de fundação, modelos de IA ajustados, modelos de IA padrão próprios e modelos de IA personalizados. Os exemplos incluem Gemini, Llama, modelos de tradução, e modelos personalizados para tarefas específicas.
- Recursos de IA: os recursos de IA contribuem para pipelines de operação de machine learning
e são usados por cargas de trabalho de IA. Os tipos de recursos de IA incluem o seguinte:
- Recursos de IA declarativos: ferramentas de gerenciamento do ciclo de vida de IA, como a Gemini Enterprise Agent Platform, rastreiam esses recursos.
- Recursos de IA inferidos: recursos de uso geral, como recursos de computação e armazenamento, usados para processar dados ou cargas de trabalho de IA.
- Modelo como serviço (somente API): recursos que têm chamadas programáticas para modelos de IA próprios ou de terceiros.
Usar o painel AI Security
O painel AI Security permite visualizar o inventário de recursos de IA da sua organização e analisar as mitigações propostas para riscos e ameaças.
Acessar o painel AI Security
Para acessar o painel AI Security, no Google Cloud console, acesse a página Visão geral > Segurança de IA:
Para mais informações, consulte Painel AI Security.
Entender o gerenciamento de riscos para sistemas de IA
Esta seção fornece informações sobre possíveis riscos associados a sistemas de IA. É possível conferir os principais riscos no inventário de IA.
Clique em qualquer problema para abrir um painel de detalhes que fornece uma visualização do problema.
Conferir ameaças de IA
Esta seção fornece insights sobre ameaças associadas a sistemas de IA. É possível conferir as cinco principais ameaças recentes associadas aos recursos de IA.
Nesta página, você pode fazer o seguinte:
- Clique em Conferir tudo para ver as ameaças associadas aos recursos de IA.
- Clique em qualquer ameaça para ver mais detalhes sobre ela.
Visualizar o inventário de IA
É possível conferir uma visualização do inventário de IA no painel, que fornece um resumo dos projetos que envolvem IA generativa, os modelos próprios e de terceiros em uso ativo e os conjuntos de dados usados no treinamento dos modelos de terceiros.
Nesta página, você pode fazer o seguinte:
- Para conferir a página de detalhes do inventário, clique em qualquer um dos nós na visualização.
- Para conferir uma lista detalhada de recursos individuais (como modelos básicos e modelos personalizados), clique na dica de ferramenta.
- Para abrir uma visualização detalhada do modelo, clique nele. Essa visualização mostra detalhes como os endpoints em que o modelo está hospedado e o conjunto de dados usado para treinar o modelo. Se a Proteção de Dados Sensíveis estiver ativada, a visualização dos conjuntos de dados também mostrará se o conjunto de dados contém dados sensíveis.
Analisar o resumo das descobertas do framework de IA
Esta seção ajuda a avaliar e gerenciar as descobertas das políticas de segurança de dados e do framework de IA e inclui o seguinte:
- Descobertas: esta seção mostra um resumo das descobertas geradas pelas políticas de segurança de dados e de IA. Clique em Conferir todas as descobertas ou no número ao lado de cada categoria de descoberta para conferir detalhes sobre a descoberta. Clique em uma descoberta para mostrar mais informações sobre ela.
- Dados sensíveis em conjuntos de dados da Vertex AI: esta seção mostra um resumo de descobertas com base em dados sensíveis em conjuntos de dados, conforme informado pela Proteção de Dados Sensíveis. Para mais informações, consulte Introdução à plataforma de agentes do Gemini Enterprise.
Examinar as descobertas do Model Armor
Um gráfico mostra o número total de comandos ou respostas que o Model Armor verificou e o número de problemas que ele detectou. Além disso, o gráfico mostra estatísticas de resumo para vários tipos de problemas detectados, como injeção de comandos e detecção de jailbreak, e detecção de dados sensíveis. Para cargas de trabalho agênticas, o Model Armor pode ser configurado no Agent Gateway (prévia) para verificar comandos e respostas de e para agentes.
Essas informações são preenchidas com base nas métricas que o Model Armor publica no Cloud Monitoring. Para mais informações, consulte Visão geral do Model Armor.
Inspecionar recursos de IA na página "Recursos"
Além do painel AI Security, é possível inspecionar e consultar o inventário de recursos de IA da sua organização diretamente na página Recursos do Google Cloud console usando a guia Recursos de IA.
A guia Recursos de IA oferece uma visualização detalhada e filtrável dos sistemas e recursos de IA descobertos, incluindo modelos, endpoints, fontes de dados, pipelines, agentes (prévia), servidores do Protocolo de Contexto de Modelo (MCP, na sigla em inglês) (prévia) e notebooks.
É possível usar a guia Recursos de IA para:
- Entender o inventário de IA: confira listas abrangentes de recursos de IA ativos em toda a organização, filtrados por projeto, local ou tipo de recurso.
- Realizar investigações de segurança: examine os metadados completos, o histórico de alterações e as políticas do IAM associadas de recursos de IA específicos.
- Examinar descobertas relacionadas: confira rapidamente todas as descobertas de segurança associadas a um recurso de IA específico para avaliar a exposição ao risco e determinar as etapas de correção necessárias.
Para mais informações sobre como visualizar e filtrar recursos de IA no console, consulte Inspecionar recursos monitorados pelo Security Command Center.
A seguir
- Aprenda a configurar a Proteção para IA.
- Para avaliar o risco, acesse os dados do painel.