A Proteção para IA ajuda a gerenciar a postura de segurança das cargas de trabalho de IA detectando ameaças e ajudando a mitigar riscos ao inventário de recursos de IA. Este documento oferece uma visão geral da proteção para IA, incluindo os benefícios e vários conceitos importantes. A proteção para IA está disponível com ativações no nível da organização do Security Command Center.
Para os níveis de serviço Premium e Empresarial, quando o Security Command Center é ativado no nível da organização, a proteção para IA ajuda a fornecer uma visão abrangente da segurança de IA em todo o seu ambiente do Google Cloud . O painel de proteção para IA no console Google Cloud mostra um conjunto consistente de widgets e recursos, com dados agregados de todos os projetos e recursos da organização.
Recursos da proteção para IA
A Proteção contra IA ajuda a gerenciar ameaças e riscos aos seus sistemas de IA das seguintes maneiras:
- Inventário de recursos de IA em toda a organização: ajuda a descobrir, avaliar e gerenciar seus sistemas e recursos de IA em todos os projetos, incluindo modelos, conjuntos de dados, endpoints, Vertex AI, Cloud Storage e BigQuery.
- Gestão integrada de riscos e vulnerabilidades: ajuda a identificar, analisar e gerenciar vulnerabilidades, configurações incorretas, ameaças e riscos específicos de IA nos seus ativos de IA com contexto organizacional completo.
- Suporte à compliance: ajuda a verificar a adesão aos padrões de segurança relevantes usando os controles de detecção no framework de proteção para IA.
- Visibilidade da segurança de dados: integra-se a serviços como o Gerenciamento de Postura de Segurança de Dados para fornecer insights sobre sensibilidade, linhagem e riscos associados às suas cargas de trabalho de IA.
- Gerenciamento unificado da segurança de IA: ajuda a monitorar e aplicar políticas e práticas recomendadas de segurança de IA de maneira consistente em toda a organização em um único painel centralizado. A Proteção para IA também ajuda a detectar e responder a possíveis ameaças, vulnerabilidades e configurações incorretas.
- Suporte para conscientização de riscos: ajuda a minimizar os riscos financeiros, de reputação e legais associados a violações de segurança e não conformidade regulatória nas implantações de IA.
Casos de uso da proteção para IA
A proteção para IA ajuda as organizações a melhorar a segurança identificando e mitigando ameaças e riscos relacionados a sistemas de IA e dados sensíveis. Os casos de uso a seguir são exemplos de como a proteção para IA pode ser usada em diferentes organizações:
Instituição de serviços financeiros: dados financeiros do cliente
Uma grande instituição de serviços financeiros usa modelos de IA que processam dados financeiros sensíveis.
- Desafio:o processamento de dados financeiros altamente sensíveis com modelos de IA envolve vários riscos, incluindo violações e exfiltração de dados durante o treinamento ou a inferência, além de vulnerabilidades na infraestrutura de IA subjacente.
- Caso de uso:a proteção para IA monitora continuamente os fluxos de trabalho de IA para detectar atividades suspeitas, acesso aos dados não autorizado e comportamento anômalo do modelo, além de classificar dados sensíveis e ajudar a melhorar a conformidade com regulamentações como PCI DSS e GDPR.
Prestador de cuidados de saúde: privacidade e conformidade do paciente
Um grande prestador de cuidados de saúde gerencia prontuários eletrônicos e usa IA para diagnósticos e planejamento de tratamento, lidando com Informações protegidas de saúde (PHI).
- Desafio:as PHIs analisadas por modelos de IA estão sujeitas a regulamentações estritas, como a HIPAA. Os riscos incluem exposição acidental de PHI por erros de configuração ou ataques maliciosos que visam sistemas de IA para dados de pacientes.
- Caso de uso:a proteção para IA identifica e alerta sobre possíveis violações da HIPAA, detecta acesso não autorizado a PHI por modelos ou usuários, sinaliza serviços de IA vulneráveis e potencialmente mal configurados e monitora vazamento de dados.
Empresa de manufatura e robótica: propriedade intelectual exclusiva
Uma empresa de manufatura especializada em robótica avançada e automação depende muito da IA para otimizar linhas de produção e controle robótico, com propriedade intelectual (PI) vital incorporada aos algoritmos de IA e dados de manufatura.
- Desafio:algoritmos de IA proprietários e dados operacionais sensíveis estão vulneráveis a roubo por ameaças internas ou adversários externos, o que pode levar a desvantagens competitivas ou interrupções operacionais.
- Caso de uso:a proteção para IA monitora o acesso não autorizado a modelos de IA e repositórios de código, detecta tentativas de exfiltração de modelos treinados e padrões incomuns de acesso aos dados e sinaliza vulnerabilidades em ambientes de desenvolvimento de IA para evitar o roubo de propriedade intelectual.
Regras do Event Threat Detection para recursos da Vertex AI
As seguintes regras do Event Threat Detection executam detecções em recursos da Vertex AI:
- Persistência: novo método da API IA
- Persistência: nova região geográfica para o serviço de IA
- Escalonamento de privilégios: falsificação de identidade anômala de conta de serviço para atividade de administrador de IA
- Escalonamento de privilégios: falsificador de identidade anômalo de conta de serviço para acesso a dados de IA
- Escalonamento de privilégios: delegação anômala de conta de serviço em várias etapas para atividade de administrador de IA
- Escalonamento de privilégios: delegação anômala de conta de serviço em várias etapas para acesso a dados de IA
- Escalonamento de privilégios: representação anômala de conta de serviço na atividade do admin de IA
- Acesso inicial: Atividade da Conta de Serviço inativa no Serviço de IA
Para mais informações sobre o Event Threat Detection, consulte Visão geral do Event Threat Detection.
Framework de proteção para IA
A Proteção por IA usa uma estrutura que inclui controles específicos da nuvem implantados automaticamente no modo de detecção. O modo detective significa que o controle de nuvem é aplicado aos recursos definidos para fins de monitoramento. Todas as violações são detectadas, e alertas são gerados. Você usa estruturas e controles de nuvem para definir os requisitos de proteção para IA e aplicá-los ao seu ambiente Google Cloud . A proteção para IA inclui o framework padrão, que define controles de base recomendados para a proteção para IA. Quando você ativa a proteção para IA, o framework padrão é aplicado automaticamente à organização Google Cloud no modo de detecção.
Se necessário, faça cópias do framework para criar frameworks personalizados de proteção para IA. É possível adicionar os controles de nuvem aos seus frameworks personalizados e aplicá-los à organização, pastas ou projetos. Por exemplo, é possível criar estruturas personalizadas que aplicam controles jurisdicionais específicos a pastas específicas para garantir que os dados nessas pastas permaneçam em uma região geográfica específica.
Controles de nuvem no framework padrão de proteção para IA
Para mais informações sobre os controles de nuvem que o framework de proteção para IA usa, consulte Fundamentos da IA recomendados pelo Google: Vertex AI.
Áreas funcionais com suporte para a proteção para IA
Esta seção define as áreas funcionais que a proteção para IA pode ajudar a proteger.
- Workloads de IA: os workloads de aplicativos de IA variam de ferramentas internas destinadas a melhorar a produtividade dos funcionários até soluções voltadas ao consumidor projetadas para melhorar a experiência do usuário e impulsionar os negócios. Por exemplo, agentes de IA, assistentes virtuais, chatbots de IA de conversação e recomendações personalizadas.
- Agentes de IA: são sistemas de IA que podem perceber o ambiente, tomar decisões e realizar ações para alcançar metas específicas.
- Modelos de IA: são classificados como modelos básicos, ajustados, padrão de terceiros e personalizados. Por exemplo, Gemini, Llama, modelos de tradução e modelos personalizados para tarefas específicas.
- Recursos de IA: contribuem para pipelines de operações de machine learning e são usados por cargas de trabalho de IA. Confira alguns tipos de recursos de IA:
- Ativos de IA declarativos: ferramentas de gerenciamento do ciclo de vida da IA, como a Vertex AI, rastreiam esses ativos.
- Recursos de IA inferidos: recursos de uso geral, como recursos de computação e armazenamento, usados para processar dados ou cargas de trabalho de IA.
- Modelo como serviço (somente API): recursos com chamadas programáticas para modelos de IA próprios ou de terceiros.
Usar o painel do AI Security
O painel AI Security permite visualizar o inventário de recursos de IA da sua organização e analisar as mitigações propostas para riscos e ameaças.
Acessar o painel do AI Security
Para acessar o painel de segurança de IA, no console do Google Cloud , acesse a página Visão geral de risco > Segurança de IA:
Para mais informações, consulte o AI Security dashboard.
Entender o gerenciamento de riscos para sistemas de IA
Esta seção fornece informações sobre os possíveis riscos associados aos sistemas de IA. Você pode conferir os principais riscos no seu inventário de IA.
Clique em qualquer problema para abrir um painel de detalhes que mostra uma visualização dele.
Ver ameaças de IA
Esta seção fornece insights sobre ameaças associadas a sistemas de IA. Você pode conferir as cinco principais ameaças recentes associadas aos seus recursos de IA.
Nessa página, você pode fazer o seguinte:
- Clique em Ver tudo para conferir as ameaças associadas aos seus recursos de IA.
- Clique em qualquer ameaça para ver mais detalhes.
Visualizar seu inventário de IA
É possível conferir uma visualização do seu inventário de IA no painel, que fornece um resumo dos projetos que envolvem IA generativa, os modelos próprios e de terceiros em uso ativo e os conjuntos de dados usados no treinamento dos modelos de terceiros.
Nessa página, você pode fazer o seguinte:
- Para acessar a página de detalhes do inventário, clique em qualquer um dos nós na visualização.
- Para ver uma lista detalhada de ativos individuais (como modelos de fundação e modelos personalizados), clique na dica.
- Para abrir uma visualização detalhada do modelo, clique nele. Essa visualização mostra detalhes como os endpoints em que o modelo está hospedado e o conjunto de dados usado para treinar o modelo. Se a Proteção de Dados Sensíveis estiver ativada, a visualização de conjuntos de dados também vai mostrar se o conjunto contém dados sensíveis.
Analisar o resumo das descobertas da estrutura de IA
Esta seção ajuda você a avaliar e gerenciar descobertas do framework de IA e das políticas de segurança de dados, incluindo o seguinte:
- Descobertas: esta seção mostra um resumo das descobertas geradas por políticas de segurança de IA e políticas de segurança de dados. Clique em Ver todas as descobertas ou clique na contagem de cada categoria para ver detalhes sobre a descoberta. Clique em uma descoberta para mostrar mais informações sobre ela.
- Dados sensíveis em conjuntos de dados da Vertex AI: esta seção mostra um resumo das descobertas com base em dados sensíveis em conjuntos de dados, conforme informado pela proteção de dados sensíveis. Para mais informações, consulte Introdução à Vertex AI.
Analisar as descobertas do Model Armor
Um gráfico mostra o número total de comandos ou respostas verificados pelo Model Armor e o número de problemas detectados por ele. Além disso, ele mostra estatísticas resumidas para vários tipos de problemas detectados, como injeção de comandos, detecção de jailbreak e detecção de dados sensíveis.
Essas informações são preenchidas com base nas métricas que o Model Armor publica no Cloud Monitoring. Para mais informações, consulte a visão geral do Model Armor.
A seguir
- Saiba como configurar a Proteção de IA.
- Para avaliar o risco, acesse os dados do painel.