Responsabilidade compartilhada do Dataflow

A segurança é uma responsabilidade compartilhada. O Dataflow protege a infraestrutura escalonável usada para executar pipelines do Dataflow e fornece ferramentas e controles de segurança para proteger dados, códigos e modelos. Embora não seja uma lista completa, este documento lista as responsabilidades do Google e do cliente.

Responsabilidades do Google

  • Proteger a infraestrutura: o Google é responsável por fornecer infraestrutura segura para os serviços, incluindo segurança física dos data centers, da rede e dos aplicativos.

  • Proteger a plataforma: o Google é responsável por proteger a plataforma, incluindo o gerenciamento de controles de acesso, o monitoramento de incidentes de segurança e a resposta a eventos de segurança. O Google também fornece aos clientes ferramentas para gerenciar as próprias configurações de segurança.

  • Manter a conformidade: o Google obedece às leis e regulamentações de proteção de dados relevantes. Saiba mais sobre a conformidade do Google Cloud.

  • Proteção e aplicação de patches em imagens: o Google protege e aplica patches no sistema operacional das imagens de base usadas pelas imagens de propriedade do Dataflow. O Google disponibiliza todos os patches dessas imagens. Boletins de segurança são fornecidos para vulnerabilidades conhecidas.

    Para dependências de código aberto, como o Apache Beam, o Dataflow fornece imagens de base e atualiza o SDK do Apache Beam da melhor maneira possível para sua conveniência. Como o Dataflow depende da comunidade de código aberto para essas correções, o Google não tem controle total sobre a priorização ou o tempo das correções. As correções para vulnerabilidades e exposições comuns (CVEs) geralmente são incluídas nas próximas versões do Apache Beam.

Responsabilidades do cliente

  • Use e atualize seu ambiente para as versões mais recentes de contêineres, imagens de VM e SDKs do Dataflow: o Dataflow fornece contêineres e imagens de VM pré-criados para simplificar o uso dos serviços. O Google cria novas versões dessas imagens quando vulnerabilidades são identificadas.

    Suas responsabilidades incluem:

    • Monitore os boletins de segurança e atualize seu ambiente assim que novas versões estiverem disponíveis.

    • Reiniciar jobs de streaming de longa duração para usar os patches de imagem de VM ou atualizações de contêiner mais recentes. Isso se aplica apenas a jobs de streaming, já que os jobs em lote usam automaticamente a versão mais recente da imagem sempre que são iniciados.

      Para aplicar imagens de VM ou de contêiner atualizadas a jobs de streaming, inicie um job de substituição com a flag --update ou drene e reinicie o pipeline. As atualizações de opções em andamento do Streaming Engine (gcloud dataflow jobs update-options) ajustam apenas os parâmetros de escalonamento automático e não recriam VMs de trabalho nem extraem imagens de contêiner atualizadas.

      As VMs de worker do Dataflow executam uma imagem do Container-Optimized OS somente leitura e sem estado, sem um gerenciador de pacotes (como apt ou yum). Consequentemente, não é possível modificar as VMs de worker no local, executar o Gerenciamento de correções do SO nelas ou instalar agentes de endpoint do host diretamente no SO do host.

      Para mais informações, consulte Fazer upgrade e corrigir VMs do Dataflow. Para gerenciar problemas de segurança de maneira responsiva, recomendamos o uso de imagens de contêineres personalizados. Se você tiver requisitos rigorosos de contrato de nível de serviço (SLA) de segurança, como os de conformidade com o FedRAMP, o uso de contêineres personalizados permite gerenciar suas próprias versões do Apache Beam e ciclos de patch, em vez de depender da programação de lançamento de código aberto do Apache Beam.

    • Atualize regularmente as versões do SDK do Apache Beam para garantir que você tenha os recursos e as correções de segurança mais recentes.

    • Verificação e aplicação de patch em imagens personalizadas para reduzir vulnerabilidades se você estiver usando um contêiner personalizado ou um modelo personalizado.

    • Use imagens de base sem distribuição sempre que possível se você estiver usando uma imagem de base do modelo Flex para garantir a segurança e reduzir os riscos de vulnerabilidade.

  • Gerenciar controles de acesso: você é responsável por gerenciar os controles de acesso aos seus dados e serviços. Isso inclui o gerenciamento de controles de autorização, acesso e autenticação do usuário e a proteção dos seus próprios aplicativos e dados. Saiba mais sobre segurança e permissões do Dataflow.

  • Aplicativos seguros: você é responsável por proteger seus próprios aplicativos em execução no Dataflow, incluindo a implementação de práticas de codificação seguras e o teste regular de vulnerabilidades.

    Saiba mais sobre chaves de criptografia gerenciadas pelo cliente, redes e VPC Service Controls e práticas recomendadas de permissões.

  • Monitorar incidentes de segurança: você é responsável por monitorar seus próprios aplicativos e verificar incidentes no Google, conforme necessário.

A seguir