Perspetiva da IA e ML: segurança

Este documento no Well-Architected Framework: perspetiva de IA e ML oferece uma vista geral dos princípios e das recomendações para garantir que as suas implementações de IA e ML cumprem os requisitos de segurança e conformidade da sua organização. As recomendações neste documento estão alinhadas com o pilar de segurança da Google Cloud Well-Architected Framework.

A implementação segura de cargas de trabalho de IA e ML é um requisito fundamental, especialmente em ambientes empresariais. Para cumprir este requisito, tem de adotar uma abordagem de segurança holística que comece na conceptualização inicial das suas soluções de IA e ML e se estenda ao desenvolvimento, à implementação e às operações contínuas.O Google Cloud oferece ferramentas e serviços robustos concebidos para ajudar a proteger as suas cargas de trabalho de IA e ML.

As recomendações neste documento estão mapeadas para os seguintes princípios fundamentais:

Para mais informações sobre a segurança da IA, também pode rever os seguintes recursos:

  • A Google CloudSecure AI Framework (SAIF) oferece um guia abrangente para a criação de sistemas de IA seguros e responsáveis. Descreve os princípios e as práticas recomendadas essenciais para abordar as considerações de segurança e conformidade ao longo do ciclo de vida da IA.
  • Para saber mais sobre a abordagem da Google Cloudà confiança na IA, consulte o nosso centro de recursos de conformidade.

Defina objetivos e requisitos claros

A segurança eficaz da IA e da ML é um componente essencial da sua estratégia empresarial global. É mais fácil integrar os controlos de segurança e conformidade necessários no início do processo de conceção e desenvolvimento, em vez de adicionar controlos após o desenvolvimento.

Desde o início do processo de conceção e desenvolvimento, tome decisões adequadas para o seu ambiente de risco específico e as prioridades específicas da sua empresa. Por exemplo, as medidas de segurança excessivamente restritivas podem proteger os dados, mas também dificultar a inovação e atrasar os ciclos de desenvolvimento. No entanto, a falta de segurança pode levar a violações de dados, danos na reputação e perdas financeiras, o que é prejudicial para os objetivos empresariais.

Para definir objetivos e requisitos claros, considere as seguintes recomendações.

Alinhe a segurança da IA e da AA com os objetivos empresariais

Para alinhar os seus esforços de segurança de IA e ML com os objetivos da sua empresa, use uma abordagem estratégica que integre a segurança em todas as fases do ciclo de vida da IA. Para seguir esta abordagem, faça o seguinte:

  1. Defina objetivos de negócio e requisitos de segurança claros:

    • Identifique os principais objetivos de negócio: defina objetivos de negócio claros que as suas iniciativas de IA e ML foram concebidas para alcançar. Por exemplo, os seus objetivos podem ser melhorar a experiência do cliente, otimizar as operações ou desenvolver novos produtos.
    • Traduza os objetivos em requisitos de segurança: quando esclarecer os objetivos da sua empresa, defina requisitos de segurança específicos para apoiar esses objetivos. Por exemplo, o seu objetivo pode ser usar a IA para personalizar as recomendações aos clientes. Para apoiar esse objetivo, os seus requisitos de segurança podem ser proteger a privacidade dos dados dos clientes e impedir o acesso não autorizado aos algoritmos de recomendações.

  2. Equilibre a segurança com as necessidades da empresa:

    • Realizar avaliações de risco: identifique potenciais ameaças de segurança e vulnerabilidades nos seus sistemas de IA.
    • Dê prioridade às medidas de segurança: baseie a prioridade destas medidas de segurança no respetivo impacto potencial nos seus objetivos empresariais.
    • Analise os custos e as vantagens: certifique-se de que investe nas soluções mais eficazes. Pondere os custos e os benefícios de diferentes medidas de segurança.
    • Mude a segurança para a esquerda: implemente as práticas recomendadas de segurança na fase de design e adapte as suas medidas de segurança à medida que as necessidades empresariais mudam e surgem ameaças.

Identificar potenciais vetores de ataque e riscos

Considere potenciais vetores de ataque que possam afetar os seus sistemas de IA, como contaminação de dados, inversão de modelos ou ataques adversariais. Monitorize e avalie continuamente a superfície de ataque em evolução à medida que o seu sistema de IA se desenvolve e acompanhe novas ameaças e vulnerabilidades. Lembre-se de que as alterações aos seus sistemas de IA também podem introduzir alterações à respetiva superfície de ataque.

Para mitigar potenciais riscos legais e de reputação, também tem de abordar os requisitos de conformidade relacionados com a privacidade dos dados, a parcialidade algorítmica e outros regulamentos relevantes.

Para antecipar potenciais ameaças e vulnerabilidades antecipadamente e fazer escolhas de design que mitiguem os riscos, adote uma abordagem segura por design.

OGoogle Cloud oferece um conjunto abrangente de ferramentas e serviços para ajudar a implementar uma abordagem segura desde a conceção:

  • Gestão da postura de segurança na nuvem: Use o Security Command Center para identificar potenciais vulnerabilidades e configurações incorretas na sua infraestrutura de IA.
  • Pontuações de exposição a ataques e caminhos de ataque: Refine e use as pontuações de exposição a ataques e os caminhos de ataque que o Security Command Center gera.
  • Google Threat Intelligence: Mantenha-se a par das novas ameaças e técnicas de ataque que surgem para segmentar sistemas de IA.
  • Registo e monitorização: acompanhe o desempenho e a segurança dos seus sistemas de IA e detete quaisquer anomalias ou atividades suspeitas. Realize auditorias de segurança regulares para identificar e resolver potenciais vulnerabilidades na sua infraestrutura e modelos de IA.
  • Gestão de vulnerabilidades: Implemente um processo de gestão de vulnerabilidades para monitorizar e corrigir vulnerabilidades de segurança nos seus sistemas de IA.

Para mais informações, consulte os artigos Segurança desde a conceção na Google e Implemente a segurança desde a conceção.

Mantenha os dados seguros e evite a perda ou o manuseamento indevido

Os dados são um recurso valioso e sensível que tem de ser mantido em segurança. A segurança de dados ajuda a manter a confiança dos utilizadores, apoiar os objetivos da sua empresa e cumprir os requisitos de conformidade.

Para ajudar a manter os seus dados seguros, considere as seguintes recomendações.

Aderir aos princípios de minimização de dados

Para garantir a privacidade dos dados, siga o princípio da minimização de dados. Para minimizar os dados, não recolha, mantenha nem use dados que não sejam estritamente necessários para os objetivos da sua empresa. Sempre que possível, use dados sintéticos ou totalmente anónimos.

A recolha de dados pode ajudar a gerar estatísticas e análises empresariais, mas é fundamental exercer discrição no processo de recolha de dados. Se recolher informações de identificação pessoal (PII) sobre o seu cliente, revelar informações confidenciais ou criar parcialidade ou controvérsia, pode criar modelos de ML parciais.

Pode usar Google Cloud funcionalidades para ajudar a melhorar a minimização de dados e a privacidade dos dados para vários exemplos de utilização:

  • Para remover a identificação dos seus dados e também preservar a respetiva utilidade, aplique métodos de transformação, como a pseudonimização, a remoção da identificação e a generalização, como a agrupagem. Para implementar estes métodos, pode usar a proteção de dados confidenciais.
  • Para enriquecer os dados e mitigar um potencial viés, pode usar uma tarefa de etiquetagem de dados do Vertex AI. O processo de etiquetagem de dados adiciona etiquetas informativas e significativas aos dados não processados, o que os transforma em dados de preparação estruturados para modelos de ML. A etiquetagem de dados adiciona especificidade aos dados e reduz a ambiguidade.
  • Para ajudar a proteger os recursos contra acesso prolongado ou manipulação, use as funcionalidades do Cloud Storage para controlar os ciclos de vida dos dados.

Para ver as práticas recomendadas sobre como implementar a encriptação de dados, consulte a secção Encriptação de dados inativos ou em movimento no Well-Architected Framework.

Monitorize a recolha, o armazenamento e a transformação de dados

Os dados de preparação da sua aplicação de IA representam os maiores riscos para a introdução de parcialidade e fuga de dados. Para manter a conformidade e gerir os dados em diferentes equipas, estabeleça uma camada de administração de dados para monitorizar os fluxos de dados, as transformações e o acesso. Manter registos de atividades de acesso e manipulação de dados. Os registos ajudam a auditar o acesso aos dados, detetar tentativas de acesso não autorizado e impedir o acesso indesejado.

Pode usar Google Cloud funcionalidades para ajudar a implementar estratégias de governação de dados:

  • Para estabelecer uma plataforma de governação de dados ao nível da organização ou do departamento, use o Dataplex Universal Catalog. Uma plataforma de governação de dados pode ajudar a descobrir, gerir, monitorizar e governar centralmente dados e artefactos de IA nas suas plataformas de dados. A plataforma de administração de dados também fornece acesso a utilizadores fidedignos. Pode realizar as seguintes tarefas com o Dataplex Universal Catalog:
    • Faça a gestão da linhagem de dados. O BigQuery também pode fornecer a linhagem ao nível da coluna.
    • Faça a gestão das verificações de qualidade de dados e dos perfis de dados.
    • Faça a gestão da descoberta, da exploração e do tratamento de dados em diferentes data marts.
    • Faça a gestão dos metadados das funcionalidades e dos artefactos do modelo.
    • Crie um glossário empresarial para gerir metadados e estabelecer um vocabulário padronizado.
    • Enriqueça os metadados com contexto através de aspetos e tipos de aspetos.
    • Unifique a gestão de dados no BigLake e em tabelas de formato aberto, como o Iceberg e o Delta.
    • Crie uma malha de dados para descentralizar a propriedade dos dados entre os proprietários de dados de diferentes equipas ou domínios. Esta prática cumpre os princípios de segurança dos dados e pode ajudar a melhorar a acessibilidade dos dados e a eficiência operacional.
    • Inspeção e envio de resultados de dados confidenciais do BigQuery para o catálogo universal do Dataplex.
  • Para criar um lakehouse unificado e aberto, integre os seus data lakes e armazéns com serviços de metastore geridos, como o Dataproc Metastore e o BigLake metastore. Um lakehouse aberto usa formatos de tabelas abertos que são compatíveis com diferentes motores de processamento de dados.
  • Para agendar a monitorização de funcionalidades e grupos de funcionalidades, use o Vertex AI Feature Store.
  • Para analisar os seus conjuntos de dados do Vertex AI ao nível da organização, da pasta ou do projeto, use a descoberta de dados confidenciais para o Vertex AI. Também pode analisar os perfis de dados armazenados no BigQuery.
  • Para capturar registos em tempo real e recolher métricas relacionadas com pipelines de dados, use o Cloud Logging e o Cloud Monitoring. Para recolher rastos de auditoria de chamadas API, use os registos de auditoria do Cloud. Não registe PII nem dados confidenciais em experiências ou em diferentes servidores de registo.

Implemente controlos de acesso baseados em funções com princípios de menor privilégio

Implemente controlos de acesso baseados em funções (RBAC) para atribuir diferentes níveis de acesso com base nas funções dos utilizadores. Os utilizadores só devem ter as autorizações mínimas necessárias para lhes permitir realizar as atividades da respetiva função. Atribua autorizações com base no princípio do menor privilégio para que os utilizadores tenham apenas o acesso de que precisam, como nenhum acesso, só de leitura ou escrita.

O RBAC com o mínimo de privilégios é importante para a segurança quando a sua organização usa dados confidenciais que residem em data lakes, em repositórios de funcionalidades ou em hiperparâmetros para a preparação de modelos. Esta prática ajuda a evitar o roubo de dados, preservar a integridade do modelo e limitar a área de superfície para acidentes ou ataques.

Para ajudar a implementar estas estratégias de acesso, pode usar as seguintes Google Cloud funcionalidades:

  • Para implementar a granularidade do acesso, considere as seguintes opções:

    • Mapeie as funções de IAM de diferentes produtos a um utilizador, um grupo ou uma conta de serviço para permitir o acesso detalhado. Mapeie estas funções com base nas necessidades do seu projeto, nos padrões de acesso ou nas etiquetas.
    • Defina políticas de IAM com condições para gerir o acesso detalhado aos seus dados, modelo e configurações do modelo, como código, definições de recursos e hiperparâmetros.

    • Explore o acesso detalhado ao nível da aplicação que ajuda a proteger dados confidenciais que audita e partilha fora da sua equipa.

  • Para limitar o acesso a determinados recursos, pode usar políticas de limite de acesso principal (PAB). Também pode usar o Privileged Access Manager para controlar a elevação de privilégios temporária e imediata para determinados diretores. Mais tarde, pode ver os registos de auditoria desta atividade do gestor de acesso privilegiado.

  • Para restringir o acesso a recursos com base no endereço IP e nos atributos do dispositivo do utilizador final, pode estender as políticas de acesso do Identity-Aware Proxy (IAP).

  • Para criar padrões de acesso para diferentes grupos de utilizadores, pode usar o controlo de acesso do Vertex AI com o IAM para combinar as funções predefinidas ou personalizadas.

  • Para proteger as instâncias do Vertex AI Workbench através de controlos de acesso sensível ao contexto, use o Access Context Manager e o Chrome Enterprise Premium. Com esta abordagem, o acesso é avaliado sempre que um utilizador se autentica na instância.

Implemente medidas de segurança para a movimentação de dados

Implemente perímetros seguros e outras medidas, como a encriptação e as restrições ao movimento de dados. Estas medidas ajudam a impedir a exfiltração e a perda de dados, que podem causar perdas financeiras, danos à reputação, responsabilidades legais e uma interrupção das operações empresariais.

Para ajudar a evitar a exfiltração e a perda de dados no Google Cloud, pode usar uma combinação de ferramentas e serviços de segurança.

Para implementar a encriptação, considere o seguinte:

  • Para ter mais controlo sobre as chaves de encriptação, use chaves de encriptação geridas pelo cliente (CMEKs) no Cloud KMS. Quando usa CMEKs, os seguintes serviços integrados com CMEKs encriptam os dados em repouso por si:
  • Para ajudar a proteger os seus dados no Cloud Storage, use a encriptação do lado do servidor para armazenar as suas CMEKs. Se gerir as CMEKs nos seus próprios servidores, a encriptação por parte do servidor pode ajudar a proteger as CMEKs e os dados associados, mesmo que o seu sistema de armazenamento de CMEKs seja comprometido.
  • Para encriptar dados em trânsito, use HTTPS para todas as chamadas API para serviços de IA e ML. Para aplicar o protocolo HTTPS às suas aplicações e APIs, use balanceadores de carga HTTPS.

Para ver mais práticas recomendadas sobre como encriptar dados, consulte o artigo Encriptar dados inativos ou em movimento no pilar de segurança da Well-Architected Framework.

Para implementar perímetros, considere o seguinte:

  • Para criar um limite de segurança em torno dos seus recursos de IA e ML e impedir a exfiltração de dados da sua nuvem privada virtual (VPC), use os VPC Service Controls para definir um perímetro de serviço. Inclua os seus recursos de IA e ML, bem como dados confidenciais no perímetro. Para controlar o fluxo de dados, configure regras de entrada e saída para o seu perímetro.
  • Para restringir o tráfego de entrada e saída para os seus recursos de IA e ML, configure regras de firewall. Implemente políticas que neguem todo o tráfego por predefinição e permitam explicitamente apenas o tráfego que cumpre os seus critérios. Para ver um exemplo de política, consulte o artigo Exemplo: negar todas as ligações externas, exceto para portas específicas.

Para implementar restrições na movimentação de dados, considere o seguinte:

  • Para partilhar dados e dimensionar os limites de privacidade num ambiente seguro, use a partilha do BigQuery e as salas de dados do BigQuery, que oferecem uma estrutura de segurança e privacidade robusta.
  • Para partilhar dados diretamente em destinos incorporados a partir de painéis de controlo de inteligência empresarial, use o Action Hub do Looker, que oferece um ambiente de nuvem seguro.

Proteja-se contra a contaminação de dados

O envenenamento de dados é um tipo de ciberataque em que os atacantes injetam dados maliciosos em conjuntos de dados de preparação para manipular o comportamento do modelo ou degradar o desempenho. Este ciberataque pode ser uma ameaça grave para os sistemas de preparação de AA. Para proteger a validade e a qualidade dos dados, mantenha práticas que protejam os seus dados. Esta abordagem é fundamental para a consistência da imparcialidade, fiabilidade e integridade do seu modelo.

Para acompanhar o comportamento inconsistente, a transformação ou o acesso inesperado aos seus dados, configure uma monitorização e alertas abrangentes para pipelines de dados e pipelines de ML.

AsGoogle Cloud funcionalidades podem ajudar a implementar mais proteções contra o envenenamento de dados:

  • Para validar a integridade dos dados, tenha em atenção o seguinte:

    • Implemente verificações de validação de dados robustas antes de usar os dados para preparação. Valide os formatos, os intervalos e as distribuições de dados. Pode usar as capacidades automáticas de qualidade de dados no Dataplex Universal Catalog.
    • Use a Proteção de dados confidenciais com o Model Armor para tirar partido das capacidades abrangentes de prevenção contra a perda de dados. Para mais informações, consulte Conceitos básicos do Model Armor. A proteção de dados confidenciais com o Model Armor permite-lhe descobrir, classificar e proteger dados confidenciais, como propriedade intelectual. Estas capacidades podem ajudar a evitar a exposição não autorizada de dados confidenciais nas interações com MDIs/CEs.
    • Para detetar anomalias nos seus dados de preparação que possam indicar envenenamento de dados, use a deteção de anomalias no BigQuery com métodos estatísticos ou modelos de ML.

  • Para se preparar para uma preparação robusta, faça o seguinte:

    • Use métodos de conjunto para reduzir o impacto dos pontos de dados contaminados. Prepare vários modelos em diferentes subconjuntos dos dados com a ajustamento de hiperparâmetros.
    • Use técnicas de aumento de dados para equilibrar a distribuição de dados em conjuntos de dados. Esta abordagem pode reduzir o impacto do envenenamento de dados e permite-lhe adicionar exemplos adversariais.

  • Para incorporar a revisão humana nos dados de preparação ou nos resultados do modelo, faça o seguinte:

    • Analise as métricas de avaliação do modelo para detetar potenciais parcialidades, anomalias ou comportamentos inesperados que possam indicar envenenamento de dados. Para ver detalhes, consulte o artigo Avaliação de modelos no Vertex AI.
    • Tire partido da experiência no domínio para avaliar o modelo ou a aplicação e identificar padrões ou pontos de dados suspeitos que os métodos automáticos podem não detetar. Para ver detalhes, consulte o artigo Vista geral do serviço de avaliação de IA gen.

Para ver as práticas recomendadas sobre como criar plataformas de dados focadas na infraestrutura e na segurança dos dados, consulte o princípio Implementar segurança desde a conceção no Well-Architected Framework.

Mantenha os pipelines de IA seguros e robustos contra adulteração

O seu código de IA e ML, bem como os pipelines definidos por código, são recursos críticos. O código que não está protegido pode ser adulterado, o que pode levar a fugas de dados, falhas de conformidade e interrupção de atividades empresariais críticas. Manter o código de IA e ML seguro ajuda a garantir a integridade e o valor dos seus modelos e resultados dos modelos.

Para manter o código e os pipelines de IA seguros, considere as seguintes recomendações.

Use práticas de programação seguras

Para evitar vulnerabilidades, use práticas de programação seguras quando desenvolver os seus modelos. Recomendamos que implemente a validação de entrada e saída específica da IA, faça a gestão de todas as dependências de software e incorpore de forma consistente os princípios de programação segura no seu desenvolvimento. Incorpore a segurança em todas as fases do ciclo de vida da IA, desde o pré-processamento de dados ao código da aplicação final.

Para implementar uma validação rigorosa, considere o seguinte:

  • Para evitar a manipulação de modelos ou as explorações do sistema, valide e limpe as entradas e as saídas no seu código.

    • Use o Model Armor ou GMLs otimizados para filtrar automaticamente comandos e respostas quanto a riscos comuns.
    • Implemente a validação de dados nos seus scripts de carregamento e pré-processamento de dados para tipos de dados, formatos e intervalos. Para os pipelines da Vertex AI ou o BigQuery, pode usar o Python para implementar esta validação de dados.
    • Use agentes de GML de assistente de programação, como o CodeMender, para melhorar a segurança do código. Manter uma pessoa envolvida para validar as alterações propostas.

  • Para gerir e proteger os seus pontos finais da API do modelo de IA, use o Apigee, que inclui funcionalidades configuráveis, como a validação de pedidos, o controlo de tráfego e a autenticação.

  • Para ajudar a mitigar o risco ao longo do ciclo de vida da IA, pode usar a proteção de IA para fazer o seguinte:

    • Descubra o inventário de IA no seu ambiente.
    • Avalie o inventário quanto a potenciais vulnerabilidades.
    • Proteja os recursos de IA com controlos, políticas e proteções.
    • Faça a gestão de sistemas de IA com capacidades de deteção, investigação e resposta.

Para ajudar a proteger as dependências de código e artefactos no pipeline de CI/CD, considere o seguinte:

  • Para resolver os riscos que as dependências de bibliotecas de código aberto podem introduzir no seu projeto, use a análise de artefactos com o Artifact Registry para detetar vulnerabilidades conhecidas. Use e mantenha as versões aprovadas das bibliotecas. Armazene os seus pacotes de ML personalizados e dependências validadas num repositório privado do Artifact Registry.
  • Para incorporar a análise de dependências nos pipelines de MLOps do Cloud Build, use a autorização binária. Aplique políticas que permitam implementações apenas se as imagens do contentor do seu código passarem nas verificações de segurança.
  • Para obter informações de segurança sobre a sua cadeia de fornecimento de software, use os painéis de controlo na Google Cloud consola que fornecem detalhes sobre origens, compilações, artefactos, implementações e tempos de execução. Estas informações incluem vulnerabilidades em artefactos de compilação, proveniência de compilação e listas de dependências da lista de materiais de software (SBOM).
  • Para avaliar o nível de maturidade da segurança da sua cadeia de abastecimento de software, use a framework de níveis da cadeia de abastecimento para artefactos de software (SLSA).

Para incorporar consistentemente princípios de programação segura em todas as fases de desenvolvimento, considere o seguinte:

  • Para evitar a exposição de dados confidenciais das interações com o modelo, use o registo com a proteção de dados confidenciais. Quando usa estes produtos em conjunto, pode controlar os dados que as suas aplicações de IA e os componentes do pipeline registam, bem como ocultar dados confidenciais.
  • Para implementar o princípio do menor privilégio, certifique-se de que as contas de serviço que usa para as tarefas personalizadas, os pipelines e os modelos implementados da Vertex AI têm apenas as autorizações do IAM mínimas necessárias. Para mais informações, consulte o artigo Implemente controlos de acesso baseados em funções com princípios de privilégios mínimos.
  • Para ajudar a proteger as suas pipelines e artefactos de compilação, compreenda as configurações de segurança (VPC e VPC Service Controls) no ambiente em que o seu código é executado.

Proteja os pipelines e os artefactos de modelos contra o acesso não autorizado

Os seus artefactos e pipelines de modelos são propriedade intelectual, e os respetivos dados de preparação também contêm informações proprietárias. Para proteger os pesos dos modelos, os ficheiros e as configurações de implementação contra adulterações e vulnerabilidades, armazene e aceda a estes artefactos com segurança melhorada. Implemente diferentes níveis de acesso para cada artefacto com base nas funções e necessidades dos utilizadores.

Para ajudar a proteger os artefactos do modelo, considere o seguinte:

  • Para proteger artefactos de modelos e outros ficheiros confidenciais, encripta-os com o Cloud KMS. Esta encriptação ajuda a proteger os dados inativos e em trânsito, mesmo que o armazenamento subjacente seja comprometido.
  • Para ajudar a proteger o acesso aos seus ficheiros, armazene-os no Cloud Storage e configure os controlos de acesso.
  • Para acompanhar configurações incorretas ou inadequadas e qualquer desvio dos padrões definidos, use o Security Command Center para configurar posturas de segurança.
  • Para ativar o controlo de acesso detalhado e a encriptação em repouso, armazene os artefactos do modelo no Registo de modelos do Vertex AI. Para maior segurança, crie uma assinatura digital para pacotes e contentores produzidos durante os processos de compilação aprovados.
  • Para beneficiar da segurança de nível empresarial do Google Cloud, use modelos disponíveis no Model Garden. O Model Garden oferece modelos proprietários da Google e modelos de terceiros de parceiros em destaque.

  • Para aplicar a gestão central para todos os ciclos de vida de utilizadores e grupos, e para aplicar o princípio do menor privilégio, use o IAM.

    • Crie e use contas de serviço dedicadas com o menor número possível de privilégios para os seus pipelines de MLOps. Por exemplo, a conta de serviço de um pipeline de formação tem as autorizações para ler dados apenas de um contentor do Cloud Storage específico e para escrever artefactos do modelo no Model Registry.
    • Use as condições do IAM para aplicar o controlo de acesso condicional baseado em atributos. Por exemplo, uma condição permite que uma conta de serviço acione um pipeline do Vertex AI apenas se o pedido tiver origem num acionador do Cloud Build fidedigno.

Para ajudar a proteger os pipelines de implementação, considere o seguinte:

  • Para gerir as fases de MLOps em Google Cloud serviços e recursos, use o Vertex AI Pipelines, que pode ser integrado com outros serviços e fornecer controlo de acesso de baixo nível. Quando voltar a executar os pipelines, certifique-se de que realiza verificações de IA explicável do Vertex e de IA responsável antes de implementar os artefactos do modelo. Estas verificações podem ajudar a detetar ou evitar os seguintes problemas de segurança:

    • Alterações não autorizadas, que podem indicar adulteração do modelo.
    • Cross-site scripting (XSS), que pode indicar imagens de contentores ou dependências comprometidas.
    • Pontos finais não seguros, que podem indicar uma infraestrutura de publicação incorretamente configurada.

  • Para ajudar a proteger as interações do modelo durante a inferência, use pontos finais privados baseados no Private Service Connect com contentores pré-criados ou contentores personalizados. Crie assinaturas de modelos com um esquema de entrada e saída predefinido.

  • Para automatizar o acompanhamento das alterações ao código, use o Git para a gestão do código-fonte e integre o controlo de versões com pipelines de CI/CD robustos.

Para mais informações, consulte o artigo Proteger o pipeline de IA.

Aplique a linhagem e o acompanhamento

Para ajudar a cumprir os requisitos de conformidade regulamentar que possa ter, aplique a linhagem e o acompanhamento dos seus recursos de IA e ML. A linhagem e a monitorização de dados fornecem registos de alterações extensos para dados, modelos e código. A proveniência do modelo oferece transparência e responsabilidade ao longo do ciclo de vida da IA e da AA.

Para aplicar eficazmente a linhagem e a monitorização no Google Cloud, considere as seguintes ferramentas e serviços:

  • Para acompanhar a linhagem de modelos, conjuntos de dados e artefactos que são automaticamente encriptados em repouso, use o Vertex ML Metadata. Registar metadados sobre origens de dados, transformações, parâmetros do modelo e resultados da experiência.
  • Para acompanhar a linhagem de artefactos de pipelines do Vertex AI Pipelines e pesquisar recursos de modelos e conjuntos de dados, pode usar o catálogo universal do Dataplex. Acompanhe os artefactos individuais do pipeline quando quiser realizar a depuração, a resolução de problemas ou uma análise da causa principal. Para acompanhar todo o seu pipeline de MLOps, que inclui a linhagem dos artefactos do pipeline, use o Vertex ML Metadata. O Vertex ML Metadata também lhe permite analisar os recursos e as execuções. O registo de modelos aplica e gere as versões de cada modelo que armazena.
  • Para acompanhar as chamadas API e as ações administrativas, ative os registos de auditoria para o Vertex AI. Analise os registos de auditoria com o Log Analytics para saber quem acedeu ou modificou os dados e os modelos, e quando. Também pode encaminhar registos para destinos de terceiros.

Implemente em sistemas seguros com ferramentas e artefactos seguros

Certifique-se de que o código e os modelos são executados num ambiente seguro. Este ambiente tem de ter um sistema de controlo de acesso robusto e fornecer garantias de segurança para as ferramentas e os artefactos que implementa.

Para implementar o seu código em sistemas seguros, considere as seguintes recomendações.

Treine e implemente modelos num ambiente seguro

Para manter a integridade, a confidencialidade e a disponibilidade do sistema para os seus sistemas de IA e ML, implemente controlos de acesso rigorosos que impeçam a manipulação não autorizada de recursos. Esta defesa ajuda a fazer o seguinte:

  • Mitigar a adulteração de modelos que possa produzir resultados inesperados ou contraditórios.
  • Proteja os seus dados de preparação contra violações de privacidade.
  • Manter o tempo de atividade do serviço.
  • Manter a conformidade regulamentar.
  • Crie confiança nos utilizadores.

Para preparar os seus modelos de ML num ambiente com segurança melhorada, use serviços geridos, como o Cloud Run, o GKE e o Dataproc. Google Cloud Também pode usar o Vertex AI serverless training.

Esta secção fornece recomendações para ajudar a proteger ainda mais o seu ambiente de preparação e implementação.

Para ajudar a proteger o seu ambiente e perímetros, considere o seguinte:

Para ajudar a proteger a sua implementação, considere o seguinte:

  • Quando implementar modelos, use o registo de modelos. Se implementar modelos em contentores, use o GKE Sandbox e o SO otimizado para contentores para melhorar a segurança e isolar as cargas de trabalho. Restrinja o acesso aos modelos do Model Garden de acordo com as funções e as responsabilidades do utilizador.
  • Para ajudar a proteger as APIs do seu modelo, use o Apigee ou o Gateway da API. Para evitar abusos, implemente chaves de API, autenticação, autorização e limites de taxa. Para controlar o acesso às APIs de modelos, use chaves da API e mecanismos de autenticação.
  • Para ajudar a proteger o acesso aos modelos durante a previsão, use a inferência do Vertex AI. Para impedir a exfiltração de dados, use perímetros dos VPC Service Controls para proteger pontos finais privados e reger o acesso aos modelos subjacentes. Use pontos finais privados para ativar o acesso aos modelos numa rede VPC. O IAM não é aplicado diretamente ao ponto final privado, mas o serviço de destino usa o IAM para gerir o acesso aos modelos. Para a previsão online, recomendamos que use o Private Service Connect.
  • Para acompanhar as chamadas API relacionadas com a implementação de modelos, ative os registos de auditoria do Cloud para o Vertex AI. As chamadas API relevantes incluem atividades como a criação de pontos finais, a implementação de modelos e as atualizações de configuração.
  • Para estender a Google Cloud infraestrutura a localizações periféricas, considere as soluções do Google Distributed Cloud. Para uma solução totalmente desligada, pode usar o Distributed Cloud air-gapped, que não requer conetividade com o Google Cloud.
  • Para ajudar a uniformizar as implementações e garantir a conformidade com as necessidades regulamentares e de segurança, use o Assured Workloads.

Siga as diretrizes da SLSA para artefactos de IA

Siga as diretrizes padrão dos níveis da cadeia de abastecimento para artefactos de software (SLSA) para os seus artefactos específicos de IA, como modelos e pacotes de software.

O SLSA é uma framework de segurança concebida para ajudar a melhorar a integridade dos artefactos de software e ajudar a evitar a adulteração. Quando cumpre as diretrizes da SLSA, pode melhorar a segurança do seu pipeline de IA e ML, bem como dos artefactos que o pipeline produz. A conformidade com a SLSA pode oferecer as seguintes vantagens:

  • Maior confiança nos seus artefactos de IA e ML: a SLSA ajuda a garantir que não ocorre adulteração nos seus modelos e pacotes de software. Os utilizadores também podem rastrear modelos e pacotes de software até à respetiva origem, o que aumenta a confiança dos utilizadores na integridade e fiabilidade dos artefactos.
  • Risco reduzido de ataques à cadeia de abastecimento: o SLSA ajuda a mitigar o risco de ataques que exploram vulnerabilidades na cadeia de abastecimento de software, como ataques que injetam código malicioso ou que comprometem os processos de compilação.
  • Postura de segurança melhorada: a SLSA ajuda a reforçar a postura de segurança geral dos seus sistemas de IA e ML. Esta implementação pode ajudar a reduzir o risco de ataques e proteger os seus bens valiosos.

Para implementar o SLSA para os seus artefactos de IA e ML no Google Cloud, faça o seguinte:

  1. Compreenda os níveis da SLSA: familiarize-se com os diferentes níveis da SLSA e os respetivos requisitos. À medida que os níveis aumentam, a integridade que oferecem também aumenta.
  2. Avalie o seu nível atual: avalie as suas práticas atuais em função da estrutura da SLSA para determinar o seu nível atual e identificar áreas de melhoria.
  3. Defina o nível de destino: determine o nível SLSA adequado para segmentar com base na sua tolerância ao risco, requisitos de segurança e criticidade dos seus sistemas de IA e ML.

  4. Implemente os requisitos da SLSA: para atingir o nível da SLSA pretendido, implemente os controlos e as práticas necessários, que podem incluir o seguinte:

    • Controlo de origem: use um sistema de controlo de versões, como o Git, para acompanhar as alterações ao seu código e configurações.
    • Processo de compilação: use um serviço que ajude a proteger as suas compilações, como o Cloud Build, e certifique-se de que o processo de compilação é programado ou automatizado.
    • Geração de proveniência: gere metadados de proveniência que captam detalhes sobre como os seus artefactos foram criados, incluindo o processo de criação, o código fonte e as dependências. Para obter detalhes, consulte os artigos Monitorize os metadados do Vertex ML e Monitorize as execuções e os artefactos.
    • Assinatura de artefactos: assine os seus artefactos para verificar a respetiva autenticidade e integridade.
    • Gestão de vulnerabilidades: analise regularmente os seus artefactos e dependências para verificar a existência de vulnerabilidades. Use ferramentas como a Análise de artefactos.
    • Segurança da implementação: implemente práticas de implementação que ajudem a proteger os seus sistemas, como as práticas descritas neste documento.

  5. Melhoria contínua: monitorize e melhore a sua implementação da SLSA para resolver novas ameaças e vulnerabilidades, e esforce-se por alcançar níveis mais elevados da SLSA.

Use imagens de contentores pré-criadas validadas

Para evitar um único ponto de falha nas fases de MLOps, isole as tarefas que requerem uma gestão de dependências diferente em contentores diferentes. Por exemplo, use contentores separados para tarefas de engenharia de funcionalidades, preparação ou ajuste preciso e inferência. Esta abordagem também dá aos engenheiros de ML a flexibilidade para controlar e personalizar o respetivo ambiente.

Para promover a consistência de MLOps na sua organização, use contentores pré-criados. Mantenha um repositório central de imagens da plataforma base validadas e fidedignas com as seguintes práticas recomendadas:

  • Mantenha uma equipa de plataforma centralizada na sua organização que crie e faça a gestão de contentores base padronizados.
  • Estenda as imagens de contentores pré-criadas que a Vertex AI fornece especificamente para IA e ML. Faça a gestão das imagens de contentores num repositório central na sua organização.

O Vertex AI oferece uma variedade de contentores de aprendizagem avançada pré-criados para preparação e inferência, e também lhe permite usar contentores personalizados. Para modelos mais pequenos, pode reduzir a latência para a inferência se carregar modelos em contentores.

Para melhorar a segurança da gestão de contentores, considere as seguintes recomendações:

  • Use o Artifact Registry para criar, armazenar e gerir repositórios de imagens de contentores com diferentes formatos. O Artifact Registry processa o controlo de acesso com o IAM e tem funcionalidades de observabilidade e avaliação de vulnerabilidades integradas. O Artifact Registry permite-lhe ativar funcionalidades de segurança de contentores, analisar imagens de contentores e investigar vulnerabilidades.
  • Execute passos de integração contínua e crie imagens de contentores com o Cloud Build. Nesta fase, podem ser realçados problemas de dependência. Se quiser implementar apenas as imagens criadas pelo Cloud Build, pode usar a autorização binária. Para ajudar a evitar ataques à cadeia de fornecimento, implemente as imagens criadas pelo Cloud Build no Artifact Registry. Integre ferramentas de testes automatizados, como o SonarQube, o PyLint ou o OWASP ZAP.
  • Use uma plataforma de contentores como o GKE ou o Cloud Run, que estão otimizados para GPU ou TPU para cargas de trabalho de IA e ML. Considere as opções de análise de vulnerabilidades para contentores em clusters do GKE.

Considere a computação confidencial para GPUs

Para proteger os dados em utilização, pode usar a computação confidencial. As medidas de segurança convencionais protegem os dados inativos e em trânsito, mas a computação confidencial encripta os dados durante o processamento. Quando usa a computação confidencial para GPUs, ajuda a proteger os dados de preparação e os parâmetros do modelo sensíveis contra o acesso não autorizado. Também pode ajudar a evitar o acesso não autorizado de utilizadores privilegiados da nuvem ou potenciais atacantes que possam obter acesso à infraestrutura subjacente.

Para determinar se precisa da computação confidencial para GPUs, considere a sensibilidade dos dados, os requisitos regulamentares e os potenciais riscos.

Se configurar a computação confidencial, considere as seguintes opções:

  • Para cargas de trabalho de IA e ML de uso geral, use instâncias de VMs confidenciais com GPUs NVIDIA T4. Estas instâncias de VM oferecem encriptação baseada em hardware de dados em utilização.
  • Para cargas de trabalho contentorizadas, use os Confidential GKE Nodes. Estes nós oferecem um ambiente seguro e isolado para os seus pods.
  • Para garantir que a sua carga de trabalho está a ser executada num enclave genuíno e seguro, valide os relatórios de atestação fornecidos pela VM confidencial.
  • Para acompanhar o desempenho, a utilização de recursos e os eventos de segurança, monitorize os seus recursos de computação confidencial e os seus nós do GKE confidenciais através da monitorização e do registo.

Valide e proteja as entradas

Trate todas as entradas nos seus sistemas de IA como não fidedignas, independentemente de as entradas serem de utilizadores finais ou de outros sistemas automatizados. Para ajudar a manter os seus sistemas de IA seguros e garantir que funcionam conforme previsto, tem de detetar e limpar potenciais vetores de ataque antecipadamente.

Para validar e proteger as suas entradas, considere as seguintes recomendações.

Implemente práticas que ajudam a proteger os sistemas de IA generativa

Trate os comandos como um componente de aplicação crítico que tem a mesma importância para a segurança que o código. Implemente uma estratégia de defesa em profundidade que combine um design proativo, uma filtragem automática e uma gestão do ciclo de vida disciplinada.

Para ajudar a proteger os seus comandos de IA generativa, tem de os criar para segurança, analisá-los antes da utilização e geri-los ao longo do respetivo ciclo de vida.

Para melhorar a segurança do design e da engenharia dos seus comandos, considere as seguintes práticas:

  • Estruture os comandos para maior clareza: crie e teste todos os seus comandos usando as capacidades de gestão de comandos do Vertex AI Studio. Os comandos têm de ter uma estrutura clara e inequívoca. Defina uma função, inclua exemplos de poucos disparos e dê instruções específicas e limitadas. Estes métodos reduzem o risco de o modelo interpretar incorretamente a entrada de um utilizador de uma forma que crie uma falha de segurança.

  • Teste as entradas quanto à robustez e ao fundamento: teste proativamente todos os seus sistemas em relação a entradas inesperadas, com erros de formatação e maliciosas para evitar falhas ou resultados não seguros. Use testes de equipa vermelha para simular ataques do mundo real. Como um passo padrão nos Vertex AI Pipelines, automatize os testes de robustez. Pode usar as seguintes técnicas de testes:

    • Testes de fuzzing.
    • Teste diretamente em relação a PII, entradas confidenciais e injeções SQL.
    • Analisar entradas multimodais que podem conter software malicioso ou violar as políticas de comandos.

  • Implemente uma defesa em camadas: use várias defesas e nunca confie numa única medida defensiva. Por exemplo, para uma aplicação baseada na geração aumentada por obtenção (RAG), use um GML separado para classificar a intenção do utilizador recebida e verificar a existência de padrões maliciosos. Em seguida, esse GML pode transmitir o pedido ao GML principal mais potente que gera a resposta final.

  • Limpe e valide entradas: antes de incorporar entradas externas ou entradas fornecidas pelo utilizador num comando, filtre e valide todas as entradas no código da sua aplicação. Esta validação é importante para ajudar a evitar a injeção de comandos indireta.

Para a filtragem automatizada de comandos e respostas, considere as seguintes práticas:

  • Use serviços de segurança abrangentes: implemente um serviço de segurança dedicado e independente do modelo, como o Model Armor, como uma camada de proteção obrigatória para os seus MDIs. O Model Armor inspeciona comandos e respostas quanto a ameaças como injeção de comandos, tentativas de jailbreak e conteúdo prejudicial. Para ajudar a garantir que os seus modelos não divulgam dados de preparação confidenciais nem propriedade intelectual nas respetivas respostas, use a integração da proteção de dados confidenciais com o Model Armor. Para ver detalhes, consulte o artigo Filtros Model Armor.
  • Monitorize e registe interações: mantenha registos detalhados de todos os comandos e respostas dos seus pontos finais do modelo. Use o Registo para auditar estas interações, identificar padrões de utilização indevida e detetar vetores de ataque que possam surgir contra os seus modelos implementados.

Para ajudar a proteger a gestão do ciclo de vida dos comandos, considere as seguintes práticas:

  • Implemente o controlo de versões para comandos: trate todos os seus comandos de produção como código de aplicação. Use um sistema de controlo de versões como o Git para criar um histórico completo de alterações, aplicar normas de colaboração e permitir reversões para versões anteriores. Esta prática essencial de MLOps pode ajudar a manter sistemas de IA estáveis e seguros.
  • Centralize a gestão de comandos: use um repositório central para armazenar, gerir e implementar todos os seus comandos com versões. Esta estratégia aplica a consistência entre ambientes e permite atualizações de tempo de execução sem a necessidade de uma nova implementação completa da aplicação.
  • Realize auditorias regulares e testes de red team: teste as defesas do seu sistema continuamente contra vulnerabilidades conhecidas, como as listadas no OWASP Top 10 for LLM Applications. Como engenheiro de IA, tem de ser proativo e testar a sua própria aplicação com uma equipa vermelha para descobrir e corrigir vulnerabilidades antes que um atacante as possa explorar.

Impeça consultas maliciosas aos seus sistemas de IA

Juntamente com a autenticação e a autorização, que foram abordadas anteriormente neste documento, pode tomar medidas adicionais para ajudar a proteger os seus sistemas de IA contra entradas maliciosas. Tem de preparar os seus sistemas de IA para cenários pós-autenticação nos quais os atacantes contornam os protocolos de autenticação e autorização e, em seguida, tentam atacar o sistema internamente.

Para implementar uma estratégia abrangente que possa ajudar a proteger o seu sistema contra ataques pós-autenticação, aplique os seguintes requisitos:

  • Proteja as camadas de rede e de aplicação: estabeleça uma defesa de várias camadas para todos os seus recursos de IA.

    • Para criar um perímetro de segurança que impeça a exfiltração de dados de modelos do Model Registry ou de dados confidenciais do BigQuery, use os VPC Service Controls. Use sempre o modo de teste para validar o impacto de um perímetro antes de o aplicar.
    • Para ajudar a proteger ferramentas baseadas na Web, como blocos de notas, use o IAP.
    • Para ajudar a proteger todos os pontos finais de inferência, use o Apigee para segurança e governação de nível empresarial. Também pode usar o API Gateway para uma autenticação simples.

  • Procure anomalias nos padrões de consulta: por exemplo, um atacante que analisa um sistema em busca de vulnerabilidades pode enviar milhares de consultas ligeiramente diferentes e sequenciais. Sinalizar padrões de consulta anormais que não refletem o comportamento normal do utilizador.

  • Monitorize o volume de pedidos: um aumento repentino no volume de consultas indica fortemente um ataque de negação de serviço (DoS) ou um ataque de roubo de modelo, que é uma tentativa de fazer engenharia reversa do modelo. Use a limitação de taxa e a restrição para controlar o volume de pedidos de um único endereço IP ou utilizador.

  • Monitorize e defina alertas para anomalias geográficas e temporais: Estabeleça uma base de referência para padrões de acesso normais. Gere alertas para atividade súbita de localizações geográficas invulgares ou em horas estranhas. Por exemplo, um aumento enorme nos inícios de sessão a partir de um novo país às 03:00.

Monitorize, avalie e prepare-se para responder às saídas

Os sistemas de IA oferecem valor porque produzem resultados que aumentam, otimizam ou automatizam a tomada de decisões humanas. Para manter a integridade e a fidedignidade dos seus sistemas e aplicações de IA, certifique-se de que as saídas são seguras e estão dentro dos parâmetros esperados. Também precisa de um plano para responder a incidentes.

Para manter os seus resultados, considere as seguintes recomendações.

Avalie o desempenho do modelo com métricas e medidas de segurança

Para garantir que os seus modelos de IA cumprem as referências de desempenho, os requisitos de segurança e as normas de equidade e conformidade, avalie os modelos exaustivamente. Realize avaliações antes da implementação e, em seguida, continue a avaliar os modelos em produção regularmente. Para minimizar os riscos e criar sistemas de IA fidedignos, implemente uma estratégia de avaliação abrangente que combine métricas de desempenho com avaliações de segurança de IA específicas.

Para avaliar a robustez e a postura de segurança do modelo, considere as seguintes recomendações:

  • Implemente a assinatura e a validação de modelos no seu pipeline de MLOps.

    • Para modelos contentorizados, use a autorização binária para validar as assinaturas.
    • Para modelos implementados diretamente em pontos finais do Vertex AI, use verificações personalizadas nos scripts de implementação para validação.
    • Para qualquer modelo, use o Cloud Build para a assinatura de modelos.

  • Avalie a resiliência do seu modelo a entradas inesperadas ou adversas.

    • Para todos os seus modelos, teste-os quanto a corrupções de dados comuns e modificações de dados potencialmente maliciosas. Para orquestrar estes testes, pode usar o Vertex AI Training ou o Vertex AI Pipelines.
    • Para modelos críticos para a segurança, realize simulações de ataques adversariais para compreender as potenciais vulnerabilidades.
    • Para modelos implementados em contentores, use a análise de artefactos no Artifact Registry para verificar se existem vulnerabilidades nas imagens base.

  • Use o Vertex AI Model Monitoring para detetar desvio e assimetria para modelos implementados. Em seguida, transmita estas estatísticas novamente para os ciclos de reavaliação ou reciclagem.

  • Use avaliações de modelos do Vertex AI como um componente de pipeline com o Vertex AI Pipelines. Pode executar o componente de avaliação do modelo sozinho ou com outros componentes do pipeline. Compare as versões do modelo com as métricas e os conjuntos de dados definidos. Registe os resultados da avaliação no Vertex ML Metadata para linhagem e acompanhamento.

  • Use ou crie com base no serviço de avaliação de IA gen para avaliar os modelos escolhidos ou implementar fluxos de trabalho de avaliação humana personalizados.

Para avaliar a justiça, a parcialidade, a capacidade de explicação e a factualidade, considere as seguintes recomendações:

  • Defina medidas de equidade que correspondam aos seus exemplos de utilização e, em seguida, avalie os seus modelos quanto a potenciais tendências em diferentes segmentos de dados.
  • Compreender que funcionalidades geram previsões do modelo para garantir que as funcionalidades e as previsões resultantes estão alinhadas com o conhecimento do domínio e as diretrizes éticas.
  • Use a Vertex Explainable AI para obter atribuições de funcionalidades para os seus modelos.
  • Use o serviço de avaliação de IA gen para calcular métricas. Durante a fase de verificação da fonte dos testes, a métrica de fundamentação do serviço verifica a factualidade em relação ao texto de origem fornecido.
  • Ative a fundamentação para a saída do seu modelo, de modo a facilitar uma segunda camada de validação de fontes ao nível do utilizador.
  • Reveja os nossos princípios da IA e adapte-os às suas aplicações de IA.

Monitorize os resultados dos modelos de IA e ML na produção

Monitorize continuamente os seus modelos de IA e ML, bem como a respetiva infraestrutura de apoio técnico em produção. É importante identificar e diagnosticar rapidamente degradações na qualidade ou no desempenho do resultado do modelo, vulnerabilidades de segurança emergentes e desvios das obrigações de conformidade. Esta monitorização ajuda a manter a segurança, a fiabilidade e a fidedignidade do sistema.

Para monitorizar os resultados do sistema de IA quanto a anomalias, ameaças e degradação da qualidade, considere as seguintes recomendações:

  • Use a monitorização de modelos para as saídas do modelo para acompanhar alterações inesperadas nas distribuições de previsões ou picos nas previsões do modelo de baixa confiança. Monitorize ativamente os resultados do seu modelo de IA generativa para verificar se existe conteúdo gerado que seja inseguro, tendencioso, irrelevante ou malicioso. Também pode usar o Model Armor para filtrar todas as saídas do modelo.
  • Identificar padrões de erros específicos, captar indicadores de qualidade ou detetar resultados prejudiciais ou não conformes ao nível da aplicação. Para encontrar estes problemas, use a monitorização personalizada nos painéis de controlo de monitorização e use métricas baseadas em registos do Logging.

Para monitorizar os resultados de sinais específicos de segurança e alterações não autorizadas, considere as seguintes recomendações:

  • Identificar tentativas de acesso não autorizado a modelos de IA, conjuntos de dados no Cloud Storage ou no BigQuery, ou componentes da pipeline de MLOps. Em particular, identifique alterações inesperadas ou não autorizadas nas autorizações do IAM para recursos de IA. Para monitorizar estas atividades e revê-las quanto a padrões suspeitos, use os registos de auditoria da atividade do administrador e os registos de auditoria de acesso aos dados nos registos de auditoria do Cloud. Integre os resultados do Security Command Center, que podem sinalizar configurações incorretas de segurança e potenciais ameaças relevantes para os seus recursos de IA.
  • Monitorize os resultados para volumes elevados de pedidos ou pedidos de origens suspeitas, o que pode indicar tentativas de engenharia reversa de modelos ou exfiltração de dados. Também pode usar a Proteção de dados confidenciais para monitorizar a exfiltração de dados potencialmente confidenciais.
  • Integre registos nas suas operações de segurança. Use o Google Security Operations para ajudar a detetar, orquestrar e responder a quaisquer ciberameaças dos seus sistemas de IA.

Para monitorizar o estado operacional e o desempenho da infraestrutura que serve os seus modelos de IA, considere as seguintes recomendações:

  • Identifique problemas operacionais que podem afetar a prestação de serviços ou o desempenho do modelo.
  • Monitorize os pontos finais do Vertex AI quanto à latência, às taxas de erro e aos padrões de tráfego.
  • Monitorize pipelines de MLOps quanto ao estado de execução e erros.
  • Use a monitorização, que fornece métricas prontas a usar. Também pode criar painéis de controlo personalizados para ajudar a identificar problemas, como interrupções de pontos finais ou falhas de pipelines.

Implemente procedimentos de resposta a incidentes e alertas

Quando identifica potenciais problemas de desempenho, segurança ou conformidade, é fundamental dar uma resposta eficaz. Para garantir notificações atempadas às equipas adequadas, implemente mecanismos de alerta robustos. Estabelecer e operacionalizar procedimentos de resposta a incidentes abrangentes e com reconhecimento de IA para gerir, conter e corrigir estes problemas de forma eficiente.

Para estabelecer mecanismos de alerta robustos para problemas de IA que identificar, considere as seguintes recomendações:

  • Configure alertas acionáveis para notificar as equipas relevantes com base nas atividades de monitorização da sua plataforma. Por exemplo, configure alertas para serem acionados quando a monitorização de modelos deteta desvio, assimetria ou anomalias de previsão significativos. Em alternativa, configure alertas para serem acionados quando o Model Armor ou as regras de monitorização personalizadas sinalizam entradas maliciosas ou saídas não seguras.
  • Defina canais de notificação claros, que podem incluir o Slack, o email ou SMS através de integrações do Pub/Sub. Personalize os canais de notificação para as gravidades dos alertas e as equipas responsáveis.

Desenvolva e operacionalize um plano de resposta a incidentes com reconhecimento de IA. Um plano de resposta a incidentes estruturado é vital para minimizar potenciais impactos e garantir a recuperação. Personalize este plano para abordar riscos específicos da IA, como adulteração de modelos, previsões incorretas devido a desvio, injeção de comandos ou resultados não seguros de modelos generativos. Para criar um plano eficaz, inclua as seguintes fases principais:

  • Preparação: identifique os recursos e as respetivas vulnerabilidades, desenvolva planos de contingência e certifique-se de que as suas equipas têm privilégios adequados. Esta fase inclui as seguintes tarefas:

    • Identificar recursos de IA críticos, como modelos, conjuntos de dados e recursos específicos da Vertex AI, como pontos finais ou instâncias do Vertex AI Feature Store.
    • Identificar os potenciais modos de falha ou vetores de ataque dos recursos.

    • Desenvolva manuais de procedimentos específicos de IA para incidentes que correspondam ao modelo de ameaças da sua organização. Por exemplo, os manuais de estratégias podem incluir o seguinte:

      • Uma reversão de modelo que usa o controlo de versões no Registo de modelos.
      • Um pipeline de reformação de emergência no Vertex AI Training.
      • O isolamento de uma origem de dados comprometida no BigQuery ou Cloud Storage.

    • Use o IAM para garantir que as equipas de resposta têm o acesso com privilégios mínimos necessário às ferramentas que são necessárias durante um incidente.

  • Identificação e triagem: use alertas configurados para detetar e validar potenciais incidentes. Estabeleça critérios e limites claros para a forma como a sua organização investiga ou declara um incidente relacionado com a IA. Para uma investigação detalhada e recolha de provas, use o Logging para registos de aplicações e registos de serviços, e use os registos de auditoria do Google Cloud para atividades administrativas e padrões de acesso aos dados. As equipas de segurança podem usar o Google SecOps para análises mais detalhadas da telemetria de segurança.

  • Contenção: isole os sistemas ou os componentes de IA afetados para evitar mais impacto ou exfiltração de dados. Esta fase pode incluir as seguintes tarefas:

    • Desative um ponto final do Vertex AI problemático.
    • Revogue autorizações de IAM específicas.
    • Atualize as regras de firewall ou as políticas do Cloud Armor.
    • Pause um pipeline do Vertex AI com um comportamento anormal.

  • Erradicação: identificar e remover a causa principal do incidente. Esta fase pode incluir as seguintes tarefas:

    • Aplique uma correção ao código vulnerável num contentor de modelo personalizado.
    • Remover as portas traseiras maliciosas identificadas de um modelo.
    • Limpe os dados contaminados antes de iniciar uma tarefa de preparação segura na preparação do Vertex AI.
    • Atualize todas as configurações não seguras.
    • Refine a lógica de validação de entrada para bloquear técnicas específicas de injeção de comandos.

  • Recuperação e reimplementação segura: restaure os sistemas de IA afetados para um estado operacional conhecido, bom e seguro. Esta fase pode incluir as seguintes tarefas:

    • Implemente uma versão do modelo previamente validada e fidedigna a partir do Registo de modelos.
    • Certifique-se de que encontra e aplica todas as correções de segurança para vulnerabilidades que possam estar presentes no seu código ou sistema.
    • Reponha as autorizações de IAM para o princípio do menor privilégio.

  • Atividade pós-incidente e conclusões: depois de resolver os incidentes de IA significativos, faça uma revisão pós-incidente exaustiva. Esta revisão envolve todas as equipas relevantes, como as equipas de IA e ML, MLOps, segurança e ciência de dados. Compreenda o ciclo de vida completo do incidente. Use estas estatísticas para refinar o design do sistema de IA, atualizar os controlos de segurança, melhorar as configurações de monitorização e melhorar o plano de resposta a incidentes de IA e os manuais de procedimentos.

Integre a resposta a incidentes de IA com as estruturas organizacionais mais amplas, como a gestão de incidentes de TI e de segurança, para um esforço coordenado. Para alinhar a resposta a incidentes específicos de IA com as estruturas organizacionais, considere o seguinte:

  • Encaminhamento: defina caminhos claros para o encaminhamento de incidentes significativos de IA para o SOC central, o departamento de TI, o departamento jurídico ou as unidades de negócio relevantes.
  • Comunicação: use canais organizacionais estabelecidos para todos os relatórios e atualizações de incidentes internos e externos.
  • Ferramentas e processos: use os sistemas de gestão de incidentes e emissão de pedidos empresariais existentes para incidentes de IA para garantir um acompanhamento e uma visibilidade consistentes.
  • Colaboração: pré-defina protocolos de colaboração entre a IA e a aprendizagem automática, a MLOps, a ciência de dados, a segurança, as equipas jurídicas e de conformidade para respostas a incidentes de IA eficazes.

Colaboradores

Autores:

Outros colaboradores:

Anterior
Excelência operacional
Avançar
Fiabilidade