A Proteção para IA ajuda a gerenciar a postura de segurança das cargas de trabalho de IA no ambiente do Google Cloud . Você pode usá-lo para ter visibilidade do seu inventário de IA, detectar ameaças e mitigar riscos aos seus sistemas de IA.
A Proteção para IA está disponível com ativações no nível da organização e para envolvidos no projeto do Security Command Center. Com base no escopo de ativação, o painel Segurança de IA no console do Google Cloud mostra dados agregados de todos os projetos e recursos ou dados do projeto selecionado.
Recursos da Proteção para IA
A Proteção para IA ajuda a gerenciar ameaças e riscos aos componentes nos seus sistemas de IA. O nível de serviço determina os recursos disponíveis, que incluem:
- Avalie seu inventário de recursos de IA: entenda seus sistemas e recursos de IA.
- Identificar vulnerabilidades (níveis de serviço Premium e Enterprise (descontinuado)): identifique vulnerabilidades de software (CVEs) e secrets em texto simples em cargas de trabalho agênticas implantadas com o Agent Runtime.
- Identificar riscos (níveis de serviço Premium e Enterprise (descontinuado)): identificar riscos e o impacto deles no ecossistema com base na simulação de caminho de ataque e em regras predefinidas de gráfico de segurança, com agentes e servidores MCP como recursos de alto valor.
- Detectar agentes com privilégios excessivos: detecte agentes do Agent Runtime que receberam permissões excessivas.
- Gerenciar compliance: verifique proativamente se os recursos de IA nas suas implantações aderem aos padrões de segurança relevantes. O nível de serviço Standard inclui descobertas de segurança básicas com o Security Essentials, enquanto os níveis de serviço Premium e Enterprise incluem conformidade avançada com frameworks.
- Detectar e gerenciar ameaças: detecte e responda a possíveis ameaças aos seus sistemas e recursos de IA em tempo hábil.
Casos de uso da proteção para IA
A Proteção de IA ajuda as organizações a melhorar a segurança identificando e mitigando ameaças e riscos relacionados a sistemas de IA e dados sensíveis. Os casos de uso a seguir são exemplos de como a Proteção para IA pode ser usada em diferentes organizações:
Instituição de serviços financeiros: dados financeiros de clientes
Uma grande instituição de serviços financeiros usa modelos de IA que processam dados financeiros sensíveis.
- Desafio: o processamento de dados financeiros altamente sensíveis com modelos de IA envolve vários riscos, incluindo o risco de violações de dados, exfiltração de dados durante o treinamento ou a inferência e vulnerabilidades na infraestrutura de IA subjacente.
- Caso de uso: a Proteção de IA monitora continuamente os fluxos de trabalho de IA em busca de atividades suspeitas, detecta acessos não autorizados a dados e comportamentos anômalos de modelos, classifica dados sensíveis e ajuda a melhorar a conformidade com regulamentações como PCI DSS e GDPR.
Provedor de serviços de saúde: privacidade e compliance do paciente
Um grande prestador de cuidados de saúde gerencia históricos de saúde eletrônicos e usa IA para diagnósticos e planejamento de tratamento, lidando com informações protegidas de saúde (PHI).
- Desafio: as PHI analisadas por modelos de IA estão sujeitas a regulamentações rigorosas, como a HIPAA. Os riscos incluem a exposição acidental de PHI por erros de configuração ou ataques maliciosos que visam sistemas de IA para dados de pacientes.
- Caso de uso: a Proteção de IA identifica e alerta sobre possíveis violações da HIPAA, detecta acesso não autorizado a PHI por modelos ou usuários, sinaliza serviços de IA vulneráveis e com possíveis configurações incorretas e monitora vazamentos de dados.
Empresa de manufatura e robótica: propriedade intelectual reservada
Uma empresa de manufatura especializada em robótica avançada e automação depende muito da IA para otimizar as linhas de produção e o controle robótico, com propriedade intelectual (PI) vital incorporada aos algoritmos de IA e aos dados de manufatura.
- Desafio: algoritmos de IA reservados e dados operacionais sensíveis são vulneráveis a roubo por pessoas internas com informações privilegiadas ou adversários externos, o que pode levar a desvantagens competitivas ou interrupções operacionais.
- Caso de uso: a Proteção de IA monitora o acesso não autorizado a modelos de IA e repositórios de código, detecta tentativas de exfiltrar modelos treinados e padrões incomuns de acesso a dados e sinaliza vulnerabilidades em ambientes de desenvolvimento de IA para evitar o roubo de IP.
Serviços de detecção na Proteção para IA
A seção a seguir descreve as regras e os serviços de detecção que criam descobertas quando você ativa a Proteção de IA. O nível de serviço do Security Command Center e o escopo de ativação (no nível da organização ou do projeto) determinam quais serviços de detecção são compatíveis com o Security Command Center e as descobertas criadas. O Security Command Center ativa automaticamente alguns serviços de detecção, mas é necessário configurar outros manualmente. Para mais informações, consulte Configurar a proteção para IA.
Serviço AI Discovery
Esse é um serviço integrado que usa dados do Cloud Monitoring para descobrir modelos de IA e determinar se o Model Armor os protege. No nível de serviço Standard, a AI Discovery não oferece suporte à detecção de modelos do Gemini.
Para informações sobre as descobertas que esse serviço cria, consulte Descobertas do serviço AI Discovery.
Frameworks do Compliance Manager
A Proteção para IA usa frameworks do Compliance Manager que o Security Command Center implanta automaticamente no modo de detecção.
Frameworks integrados do Compliance Manager
A Proteção de IA inclui os seguintes frameworks. Quando você ativa a Proteção de IA, o Security Command Center ativa automaticamente esses frameworks na sua organização ou projeto.
O framework de Fundamentos de Segurança está disponível nos níveis de serviço Standard, Premium e Enterprise.
Recommendations AI: Gemini Enterprise Agent Platform está disponível nos níveis de serviço Premium e Enterprise.
Dependendo do nível de serviço, é possível configurar outros frameworks e controles de nuvem do Compliance Manager. Para mais informações sobre o Compliance Manager, consulte Compliance Manager.
Frameworks personalizados do Compliance Manager
É possível criar frameworks personalizados fazendo cópias de frameworks integrados disponíveis no seu nível de serviço.
- Personalização: é possível adicionar ou remover controles de nuvem nos frameworks personalizados para que correspondam às suas políticas de segurança.
- Aplicativo segmentado: é possível aplicar frameworks personalizados a organizações, pastas ou projetos específicos. Por exemplo, é possível aplicar controles jurisdicionais específicos a pastas específicas para garantir que os dados permaneçam em uma região geográfica específica.
- Limitação: não é possível atribuir frameworks de proteção de IA a aplicativos.
Regras do Event Threat Detection para recursos da Gemini Enterprise Agent Platform
O Event Threat Detection detecta várias ameaças em potencial envolvendo recursos da Gemini Enterprise Agent Platform, como atividade anômala de conta de serviço, mudanças em permissões sensíveis e abuso de identidade de agentes.
As categorias de descoberta que se aplicam aos recursos de IA incluem:
- Persistência: novo método da API IA
- Persistência: nova região geográfica para o serviço de IA
- Escalonamento de privilégios: representação anômala da identidade da conta de serviço na atividade do administrador de IA
- Escalonamento de privilégios: representação anômala de identidade temporária de conta de serviço no acesso a dados de IA
- Escalonamento de privilégios: delegação anômala de conta de serviço em várias etapas para atividade de administrador de IA
- Escalonamento de privilégios: delegação anômala de conta de serviço em várias etapas para acesso a dados de IA
- Escalonamento de privilégios: representação anômala de identidade temporária de conta de serviço na atividade do admin de IA
- Acesso inicial: atividade de conta de serviço inativa no AI Service
- Persistência: concessão anômala de IAM para identidade agêntica
- Acesso a credenciais: credencial de identidade agêntica usada fora do Google Cloud
- Persistência: permissão de IA sensível adicionada ao papel personalizado
- Persistência: papel sensível concedido pelo agente de IA
- Persistência: papel sensível concedido ao agente de IA externo
- Persistência: acesso externo concedido aos apps da API Discovery Engine Gemini
- Impacto: importação de documentos da API Discovery Engine Gemini por usuário externo
- Impacto: importação de documentos da API Discovery Engine do Gemini de um recurso externo
- Impacto: violação do perímetro de VPC da importação de documentos da API Discovery Engine do Gemini
- Evasão de defesa: papel de criador de token no nível do projeto concedido ao agente de IA
- Evasão de defesa: papel de criador de token no nível da pasta concedido ao agente de IA
- Evasão de defesa: papel de criador de token no nível da organização concedido ao agente de IA
Para uma lista completa de descobertas do Event Threat Detection que se aplicam a recursos de IA, consulte Visão geral do Event Threat Detection.
Detecção de ameaças da Agent Platform para o Agent Runtime
A Detecção de Ameaças da Plataforma do Agente (pré-lançamento) oferece detecção de ameaças em ambiente de execução para agentes implantados no Agent Runtime. Ele monitora os agentes em execução em busca de possíveis ataques e gera descobertas no Security Command Center.
A Detecção de Ameaças da Plataforma de Agentes gera descobertas para o Agent Runtime, incluindo as seguintes categorias:
- Comando e controle: ferramenta de esteganografia detectada
- Acesso com credenciais: encontrar Google Cloud credenciais
- Acesso a credenciais: reconhecimento de chaves do GPG
- Acesso a credenciais: pesquisar senhas ou chaves privadas
- Evasão de defesa: linha de comando do arquivo ELF codificado em Base64
- Evasão de defesa: script Python codificado em base64 executado
- Evasão de defesa: script de shell codificado em Base64 executado
- Evasão de defesas: iniciar a ferramenta de compilador de código no contêiner
- Execução: execução remota de código do Netcat no contêiner
- Execução: possível execução arbitrária de comandos com o CUPS (CVE-2024-47177)
- Execução: possível execução de comando remota detectada
- Execução: execução de programa com ambiente de proxy HTTP não permitido
- Execução: shell reverso do Socat detectado
- Execução: objeto compartilhado suspeito do OpenSSL carregado
- Exfiltração: iniciar as ferramentas de cópia de arquivos remotos no contêiner
- Impacto: detectar linhas de comando mal-intencionadas
- Impacto: remover dados em massa do disco
- Impacto: atividade suspeita de mineração de criptomoedas usando o protocolo Stratum
- Escalonamento de privilégios: abuso do sudo para escalonamento de privilégios (CVE-2019-14287)
- Escalonamento de privilégios: vulnerabilidade de escalonamento de privilégios locais do Polkit (CVE-2021-4034)
- Escalonamento de privilégios: possível uso do comando sudo como vetor de escalonamento de privilégios (CVE-2021-3156)
- Execução: Python mal-intencionado executado
- Execução: escape de contêiner
- Execução: execução de ferramenta de ataque do Kubernetes
- Execução: execução da ferramenta de reconhecimento local
- Impacto: script malicioso executado
- Impacto: URL malicioso observado
- Execução: shell filho inesperado
Saiba mais sobre a Detecção de ameaças do Agent Platform.
Avaliação de Vulnerabilidades da Agent Platform
A Avaliação de Vulnerabilidades da Agent Platform (pré-lançamento) identifica vulnerabilidades e secrets em texto simples, como credenciais, chaves, tokens de acesso ou certificados, em imagens de contêiner da Gemini Enterprise Agent Platform.
Para mais informações, consulte Avaliação de vulnerabilidades da plataforma de agentes em "Serviços de detecção".
Notebook Security Scanner
O Notebook Security Scanner (pré-lançamento) verifica os notebooks do Colab Enterprise para detectar vulnerabilidades em pacotes Python.
Para mais informações, consulte Notebook Security Scanner em "Serviços de detecção".
Proteção de Dados Sensíveis
O serviço de descoberta da Proteção de Dados Sensíveis é um serviço totalmente gerenciado Google Cloud que ajuda a descobrir, classificar e proteger dados sensíveis. É possível usar a Proteção de Dados Sensíveis para determinar se você está armazenando informações sensíveis ou informações de identificação pessoal (PII).
Para mais informações, consulte Descobertas da Proteção de Dados Sensíveis em "Serviços de detecção".
Model Armor
Depois de ativar o Model Armor e configurá-lo para integração com um ou mais componentes relacionados à IA, é possível investigar as descobertas do Model Armor no Security Command Center.
No nível de serviço Security Command Center Standard, a Proteção para IA não é compatível com modelos do Gemini.
Para configurar o Model Armor, consulte Criar e gerenciar modelos.
Mecanismo de risco
O Mecanismo de Risco é um recurso do Security Command Center que avalia a exposição ao risco das suas implantações na nuvem, atribui pontuações de exposição a ataques a descobertas de vulnerabilidade e aos seus recursos de alto valor e cria diagramas de caminhos que um possível invasor pode seguir para alcançar seus recursos de alto valor.
Para mais informações, consulte Mecanismo de risco em "Serviços de detecção".
Recursos compatíveis com a Proteção por IA
A Proteção para IA descobre recursos usando os seguintes mecanismos:
- Recursos de IA declarativos: recursos que as ferramentas de gestão do ciclo de vida da IA (como a Gemini Enterprise Agent Platform) monitoram.
- Recursos de IA inferidos: recursos de uso geral (como recursos de computação e armazenamento) que processam dados ou cargas de trabalho de IA.
- Modelo como serviço (somente API): recursos que fazem chamadas programáticas para modelos de IA próprios ou de terceiros.
Nesta seção, definimos o inventário e os recursos de IA compatíveis que a Proteção de IA pode ajudar a proteger.
- Apps Gemini Enterprise e Agent Search: são sistemas de IA que podem perceber o ambiente, tomar decisões e entrar em ação para alcançar metas específicas.
- Endpoints: as cargas de trabalho de aplicativos de IA variam de ferramentas internas destinadas a melhorar a produtividade dos funcionários a soluções voltadas ao consumidor, projetadas para melhorar a experiência do usuário e impulsionar os negócios. Exemplos incluem agentes de IA, assistentes virtuais, chatbots de IA de conversação e recomendações personalizadas. A Proteção para IA os identifica como endpoints da plataforma de agentes na guia Recursos de IA da página Recursos.
- Fontes de dados: as fontes de dados compatíveis incluem tabelas do BigQuery, Cloud Storage, conjuntos de dados da plataforma de agentes e repositórios de dados do Gemini Enterprise.
- Modelos: a Proteção de IA identifica modelos de IA como modelos de IA de fundação,
modelos de IA ajustados, modelos de IA próprios padrão e modelos de IA personalizados.
Por exemplo:
- Gemini (disponível nos níveis de serviço Premium e Enterprise (descontinuado))
- Llama
- modelos de tradução
- Modelos personalizados para tarefas específicas
- Recursos de IA: os recursos de IA contribuem para os pipelines de operação de machine learning e são usados por cargas de trabalho de IA. Os tipos de recursos de IA incluem:
- Servidores do Protocolo de Contexto de Modelo (MCP): a Proteção de IA identifica servidores MCP catalogados no Registro de Agentes. Para usar esse recurso, é necessário configurar a API App Hub em cada projeto que hospeda um servidor MCP.
Impactos das mudanças no nível de serviço
Se você fizer downgrade do nível de serviço de Premium ou Enterprise para Standard, o downgrade afetará os recursos de proteção de IA da seguinte maneira:
- Serviços de detecção: o Security Command Center desativa os serviços de detecção e os frameworks do Compliance Manager que não são compatíveis com o nível Standard. Para mais informações, consulte Gerenciar níveis de serviço gerenciado no Compliance Manager.
- Recursos de investigação: você perde o acesso a recursos avançados de investigação, como simulações de caminho de ataque para recursos de IA, avaliação de vulnerabilidade de agentes e detecção de agentes com privilégios excessivos.
- As descobertas ficam inativas: as descobertas criadas por frameworks do Compliance Manager que não são compatíveis com o nível Standard ficam inativas. Para mais informações, consulte Gerenciar níveis de serviço gerenciado no Compliance Manager.
Se você fizer upgrade para o nível Premium ou Enterprise, o Security Command Center vai restaurar os recursos avançados, mas não vai recuperar automaticamente as implantações de framework que foram removidas durante o downgrade. É preciso reimplantar manualmente os frameworks.