A Proteção para IA ajuda a gerenciar a postura de segurança das cargas de trabalho de IA oferecendo uma visão da segurança de IA em todo o ambiente Google Cloud e ajudando a detectar ameaças e mitigar riscos ao inventário de IA. Este documento oferece uma visão geral da Proteção para IA, incluindo os benefícios e vários conceitos importantes.
A Proteção para IA está disponível com ativações do Security Command Center no nível da organização e para envolvidos no projeto.
Quando você ativa o Security Command Center no nível da organização, o painel AI Security e as visualizações AI Security nas páginas do console mostram dados agregados de todos os projetos e recursos da organização.
Quando você ativa o Security Command Center no nível do projeto, o painel AI Security e as visualizações nas páginas do console mostram dados relacionados aos recursos do projeto selecionado.
Recursos da Proteção para IA
A Proteção para IA ajuda a gerenciar ameaças e riscos aos componentes dos sistemas de IA. O nível de serviço determina os recursos disponíveis, que incluem o seguinte:
- Avalie seu inventário de recursos de IA: entenda seus sistemas de IA e recursos.
- Identifique vulnerabilidades (níveis de serviço Premium e Enterprise (descontinuado)): identifique vulnerabilidades de software (CVEs) e Secrets de texto simples em cargas de trabalho com agentes implantadas com o Agent Runtime.
- Identifique riscos (níveis de serviço Premium e Enterprise (descontinuado)): identifique riscos e o impacto deles no ecossistema com base na simulação de caminho de ataque e em regras de gráfico de segurança predefinidas, com agentes e servidores MCP como recursos de alto valor.
- Detectar agentes com privilégios excessivos: detecte agentes do Agent Runtime que recebem permissões excessivas.
- Gerencie a conformidade: verifique proativamente se os recursos de IA nas suas implantações aderem aos padrões de segurança relevantes. O nível de serviço Standard inclui descobertas de segurança básicas com o Security Essentials, enquanto os níveis de serviço Premium e Enterprise incluem conformidade avançada de framework.
- Detecte e gerencie ameaças: detecte e responda a possíveis ameaças aos seus sistemas e recursos de IA de maneira oportuna.
Casos de uso da Proteção para IA
A Proteção para IA ajuda as organizações a melhorar a segurança, identificando e mitigando ameaças e riscos relacionados a sistemas de IA e dados sensíveis. Os casos de uso a seguir são exemplos de como a Proteção para IA pode ser usada em diferentes organizações:
Instituição de serviços financeiros: dados financeiros do cliente
Uma grande instituição de serviços financeiros usa modelos de IA que processam dados financeiros sensíveis.
- Desafio:o processamento de dados financeiros altamente sensíveis com modelos de IA envolve vários riscos, incluindo o risco de vazamento de dados, exfiltração de dados durante o treinamento ou inferência e vulnerabilidades na infraestrutura de IA subjacente.
- Caso de uso:a Proteção para IA monitora continuamente os fluxos de trabalho de IA em busca de atividade suspeita, trabalha para detectar acesso aos dados não autorizado e comportamento anômalo de modelos, realiza a classificação de dados sensíveis e ajuda a melhorar a conformidade com regulamentações como PCI DSS e GDPR.
Prestador de cuidados de saúde: privacidade e conformidade do paciente
Um grande prestador de cuidados de saúde gerencia registros eletrônicos de saúde e usa IA para diagnósticos e planejamento de tratamento, lidando com Informações protegidas de saúde (PHI).
- Desafio:as PHIs analisadas por modelos de IA estão sujeitas a regulamentações rigorosas, como a HIPAA. Os riscos incluem a exposição acidental de PHIs por configurações incorretas ou ataques maliciosos que visam sistemas de IA para dados de pacientes.
- Caso de uso:a Proteção para IA identifica e alerta sobre possíveis violações da HIPAA, detecta acesso não autorizado a PHIs por modelos ou usuários, sinaliza serviços de IA vulneráveis e potencialmente mal configurados e monitora o vazamento de dados.
Empresa de manufatura e robótica: propriedade intelectual reservada
Uma empresa de manufatura especializada em robótica avançada e automação depende muito da IA para otimizar linhas de produção e controle robótico, com propriedade intelectual (PI) vital incorporada aos algoritmos de IA e dados de manufatura.
- Desafio:algoritmos de IA e dados operacionais sensíveis reservados são vulneráveis a roubo por pessoas internas com informações privilegiadas ou adversários externos, o que pode levar a desvantagens competitivas ou interrupções operacionais.
- Caso de uso:a Proteção para IA monitora o acesso não autorizado a modelos de IA e repositórios de código, detecta tentativas de exfiltração de modelos treinados e padrões de acesso aos dados incomuns e sinaliza vulnerabilidades em ambientes de desenvolvimento de IA para evitar roubo de PI.
Serviços de detecção na Proteção para IA
A seção a seguir descreve regras e serviços de detecção que criam descobertas quando você ativa a Proteção para IA. O nível de serviço do Security Command Center e o escopo de ativação (nível da organização ou do projeto) determinam quais serviços de detecção o Security Command Center oferece suporte e as descobertas criadas. O Security Command Center ativa automaticamente alguns serviços de detecção, mas é necessário configurar outros manualmente. Para mais informações, consulte Configurar a Proteção para IA.
Serviço de descoberta de IA
Esse é um serviço integrado que usa dados do Cloud Monitoring para descobrir modelos de IA e determinar se o Model Armor protege os modelos. No nível de serviço Standard, a descoberta de IA não oferece suporte à detecção de Gemini.
Para informações sobre as descobertas criadas por esse serviço, consulte Descobertas do serviço de descoberta de IA.
Frameworks do Compliance Manager
A Proteção para IA usa frameworks do Compliance Manager que o Security Command Center implanta automaticamente no modo de detetive.
Frameworks integrados do Compliance Manager
A Proteção para IA inclui os frameworks a seguir. Quando você ativa a Proteção para IA, o Security Command Center ativa automaticamente esses frameworks na sua organização ou projeto.
O framework do Security Essentials está disponível nos níveis de serviço Standard, Premium e Enterprise.
Os Fundamentos da IA recomendados pelo Google: a Gemini Enterprise Agent Platform estão disponíveis nos níveis de serviço Premium e Enterprise.
Dependendo do nível de serviço, é possível configurar outros frameworks do Compliance Manager e controles de nuvem. Para mais informações sobre o Compliance Manager, consulte Compliance Manager.
Frameworks personalizados do Compliance Manager
É possível criar frameworks personalizados fazendo cópias de frameworks integrados disponíveis no seu nível de serviço.
- Personalização:é possível adicionar ou remover controles de nuvem nos frameworks personalizados para corresponder às suas políticas de segurança.
- Aplicação direcionada:é possível aplicar frameworks personalizados a organizações, pastas ou projetos específicos. Por exemplo, é possível aplicar controles jurisdicionais específicos a pastas específicas para garantir que os dados permaneçam em uma região geográfica específica.
- Limitação:não é possível atribuir frameworks de Proteção para IA a aplicativos.
Regras do Event Threat Detection para recursos da Gemini Enterprise Agent Platform
O Event Threat Detection detecta várias ameaças potenciais envolvendo recursos da Gemini Enterprise Agent Platform, como atividade anômala de conta de serviço, mudanças de permissão sensíveis e abuso de identidade agêntica.
As categorias de descoberta que se aplicam a recursos de IA incluem o seguinte:
- Persistência: novo método de API de IA
- Persistência: nova região geográfica para o serviço de IA
- Escalonamento de privilégios: falsificação de identidade anômala de conta de serviço para atividade de administrador de IA
- Escalonamento de privilégios: falsificador de identidade anômalo de conta de serviço para acesso a dados de IA
- Escalonamento de privilégios: delegação anômala de conta de serviço em várias etapas para atividade de administrador de IA
- Escalonamento de privilégios: delegação anômala de conta de serviço em várias etapas para acesso a dados de IA
- Escalonamento de privilégios: falsificador de identidade anômalo de conta de serviço para atividade de administrador de IA
- Acesso inicial: Atividade da Conta de Serviço inativa no serviço de IA
- Persistência: concessão anômala de IAM à identidade agêntica
- Acesso a credenciais: credencial de identidade agêntica usada fora de Google Cloud
- Persistência: permissão de IA sensível adicionada ao papel personalizado
- Persistência: papel sensível concedido pelo agente de IA
- Persistência: papel sensível concedido ao agente de IA externo
- Evasão de defesa: papel de criador de token de conta de serviço no projeto concedido ao agente de IA
- Evasão de defesa: papel de criador de token de conta de serviço na pasta concedido ao agente de IA
- Evasão de defesa: papel de criador de token de conta de serviço na organização concedido ao agente de IA
Para uma lista completa de descobertas do Event Threat Detection que se aplicam a recursos de IA, consulte Visão geral do Event Threat Detection.
Detecção de ameaças da Agent Platform para o Agent Runtime
A detecção de ameaças da Agent Platform (prévia) oferece detecção de ameaças de ambiente de execução para agentes implantados no Agent Runtime. Ela monitora agentes em execução em busca de possíveis ataques e gera descobertas no Security Command Center.
A detecção de ameaças da Agent Platform gera descobertas para o Agent Runtime, incluindo as seguintes categorias:
- Comando e controle: ferramenta de esteganografia detectada
- Acesso a credenciais: Find Google Cloud Credentials
- Acesso a credenciais: reconhecimento de chaves do GPG
- Acesso a credenciais: pesquisar senhas ou chaves privadas
- Evasão de defesa: linha de comando do arquivo ELF codificado em Base64
- Evasão de defesa: script Python codificado em base64 executado
- Evasão de defesa: script de shell codificado em base64 executado
- Evasão de defesa: iniciar a ferramenta de compilador de código no contêiner
- Execução: execução remota de código do Netcat no contêiner
- Execução: possível execução arbitrária de comandos com o CUPS (CVE-2024-47177)
- Execução: possível execução de comando remota detectada
- Execução: execução de programa com ambiente de proxy HTTP não permitido
- Execução: shell reverso do Socat detectado
- Execução: objeto compartilhado suspeito do OpenSSL carregado
- Exfiltração: iniciar as ferramentas de cópia de arquivos remotos no contêiner
- Impacto: detectar Cmdlines maliciosas
- Impacto: remover dados em massa do disco
- Impacto: atividade suspeita de mineração de criptomoedas usando o protocolo Stratum
- Escalonamento de privilégios: abuso do sudo para escalonamento de privilégios (CVE-2019-14287)
- Escalonamento de privilégios: vulnerabilidade de escalonamento de privilégios locais do Polkit (CVE-2021-4034)
- Escalonamento de privilégios: possível uso do comando sudo como vetor de escalonamento de privilégios (CVE-2021-3156)
- Execução: Python malicioso executado
- Execução: escape de contêiner
- Execução: execução de ferramenta de ataque do Kubernetes
- Execução: execução da ferramenta de reconhecimento local
- Impacto: script malicioso executado
- Impacto: URL malicioso observado
- Execução: shell filho inesperado
Saiba mais sobre a detecção de ameaças da Agent Platform.
Avaliação de vulnerabilidades da Agent Platform
A avaliação de vulnerabilidades da Agent Platform (prévia) identifica vulnerabilidades e segredos de texto simples, como credenciais, chaves, tokens de acesso ou certificados, em imagens de contêiner da Gemini Enterprise Agent Platform.
Para mais informações, consulte Avaliação de vulnerabilidades da Agent Platform em "Serviços de detecção".
Notebook Security Scanner
O Notebook Security Scanner (prévia) verifica notebooks do Colab Enterprise para detectar vulnerabilidades em pacotes Python.
Para mais informações, consulte Notebook Security Scanner em "Serviços de detecção".
Proteção de Dados Sensíveis
O serviço de descoberta da Proteção de Dados Sensíveis é um serviço totalmente gerenciado Google Cloud que ajuda a descobrir, classificar e proteger seus dados sensíveis. É possível usar a Proteção de Dados Sensíveis para determinar se você está armazenando informações sensíveis ou informações de identificação pessoal (PII).
Para mais informações, consulte Descobertas da Proteção de Dados Sensíveis em "Serviços de detecção".
Model Armor
Depois de ativar o Model Armor e configurá-lo para integrar um ou mais componentes relacionados à IA, é possível investigar as descobertas do Model Armor no Security Command Center.
No nível de serviço Standard do Security Command Center, a Proteção para IA não oferece suporte a Gemini.
Para configurar o Model Armor, consulte Criar e gerenciar modelos.
Mecanismo de risco
O mecanismo de risco é um recurso do Security Command Center que avalia a exposição ao risco das suas implantações na nuvem, atribui pontuações de exposição a ataques a descobertas de vulnerabilidade e recursos de alto valor e diagrama caminhos que um possível invasor pode seguir para alcançar seus recursos de alto valor.
Para mais informações, consulte Mecanismo de risco em "Serviços de detecção".
Recursos com suporte na Proteção para IA
A Proteção para IA descobre recursos usando os seguintes mecanismos:
- Recursos declarativos de IA: recursos que as ferramentas de gerenciamento do ciclo de vida de IA (como a Gemini Enterprise Agent Platform) rastreiam.
- Recursos de IA inferidos: recursos de uso geral (como recursos de computação e armazenamento) que processam dados ou cargas de trabalho de IA.
- Modelo como serviço (somente API): recursos que fazem chamadas programáticas para modelos de IA próprios ou de terceiros.
Esta seção define o inventário e os recursos de IA com suporte que a Proteção para IA pode ajudar a proteger.
- Apps de pesquisa do Gemini Enterprise e do agente: são sistemas de IA que podem perceber o ambiente, tomar decisões e realizar ações para alcançar metas específicas.
- Endpoints: as cargas de trabalho de aplicativos de IA variam de ferramentas internas destinadas a melhorar a produtividade dos funcionários a soluções voltadas ao consumidor projetadas para melhorar a experiência do usuário e impulsionar os negócios. Os exemplos incluem agentes de IA, assistentes virtuais, chatbots de IA conversacional e recomendações personalizadas. A Proteção para IA os identifica como endpoints da Agent Platform na guia Recursos de IA da página Recursos.
- Fontes de dados: as fontes de dados com suporte incluem tabelas do BigQuery, Cloud Storage, conjuntos de dados da Agent Platform, e datastores do Gemini Enterprise.
- Modelos: a Proteção para IA identifica modelos de IA como modelos de fundação,
modelos de IA ajustados, modelos de IA próprios padrão e modelos de IA personalizados.
Os exemplos incluem:
- Gemini (disponível nos níveis de serviço Premium e Enterprise (descontinuado))
- Llama
- modelos de tradução
- Modelos personalizados para tarefas específicas
- Recursos de IA: os recursos de IA contribuem para pipelines de operação de machine learning e são usados por cargas de trabalho de IA. Os tipos de recursos de IA incluem o seguinte:
- Servidores do Protocolo de Contexto de Modelo (MCP): a Proteção para IA identifica servidores MCP catalogados no Agent Registry. Para usar esse recurso, é necessário configurar a API App Hub em cada projeto que hospeda um servidor MCP.
Impactos de mudanças no nível de serviço
Se você fizer downgrade do nível de serviço de Premium ou Enterprise para Standard, o downgrade afetará os recursos de Proteção para IA da seguinte maneira:
- Serviços de detecção: o Security Command Center desativa os serviços de detecção e os frameworks do Compliance Manager que o nível Standard não oferece suporte. Para mais informações, consulte Gerenciar níveis de serviço no Compliance Manager.
- Recursos de investigação: você perde o acesso a recursos de investigação avançados, como simulações de caminho de ataque para recursos de IA, avaliação de vulnerabilidades de agentes e detecção de agentes com privilégios excessivos.
- As descobertas ficam inativas:as descobertas criadas por frameworks do Compliance Manager que não são compatíveis com o nível Standard ficam inativas. Para mais informações, consulte Gerenciar níveis de serviço no Compliance Manager.
Se você fizer upgrade de volta para o nível Premium ou Enterprise, o Security Command Center vai restaurar os recursos avançados, mas não vai recuperar automaticamente as implantações de framework que foram removidas durante o downgrade. É necessário reimplantar os frameworks manualmente.