Visão geral do ambiente do SO para as VMs de um job

Este documento explica os conceitos do ambiente do sistema operacional (SO), ou seja, os discos de inicialização e a imagem do SO, para as instâncias de máquina virtual (VM) do Compute Engine que executam jobs em lote.

Um job é executado seguindo as instruções no disco de inicialização de cada uma das VMs. Cada disco de inicialização contém um carregador de inicialização, um sistema de arquivos e um SO. Você pode configurar o ambiente do SO da VM para um job fazendo uma das seguintes ações:

  • Para configurar apenas o software nos discos de inicialização, especifique a imagem do SO da VM do job.
  • Para configurar qualquer propriedade do disco de inicialização, incluindo a imagem do SO da VM, o tamanho e/ou o tipo de disco, personalize os discos de inicialização do job.

As seções a seguir descrevem quando configurar o ambiente do SO, o ambiente padrão do SO, as opções de imagem do SO da VM e as opções de disco de inicialização.

Quando configurar o ambiente do SO

Revise esta seção para determinar se é necessário configurar a imagem do SO da VM e/ou discos de inicialização ao criar um job ou usar a configuração padrão.

Configure a imagem do SO da VM para um job nos seguintes casos:

  • Se a restrição de política de imagens confiáveis (compute.trustedImageProjects) impedir que você crie um job com a imagem padrão do SO da VM.

    Para mais informações sobre a restrição de política de imagens confiáveis, consulte Controlar o acesso às imagens do SO da VM para o Batch.

  • Se você preferir não usar ou não puder usar a imagem padrão do SO da VM para seu job. Por exemplo, se os executáveis definidos para um job exigirem um aplicativo que não é compatível com a imagem padrão, é possível especificar outra imagem pública do SO da VM. Como alternativa, se você quiser pré-instalar um aplicativo necessário para reduzir o tempo de execução do seu job, crie e especifique uma imagem personalizada.

Configure o disco de inicialização para um job nos seguintes casos:

  • Se você não quiser ou não puder usar o disco de inicialização padrão para seu job. Por exemplo, se os executáveis ou a imagem do SO da VM definidos para um job exigirem mais espaço de armazenamento no disco de inicialização, talvez seja necessário personalizar o disco de inicialização de um job para aumentar o tamanho dele.

Se você ainda não tiver certeza se o job exige que você configure a imagem do SO da VM e/ou os discos de inicialização, consulte a seção a seguir para entender a configuração padrão. Além disso, você também pode tentar criar e executar o job com a configuração padrão. Se o job falhar com a configuração padrão, tente determinar se o problema foi causado pela imagem do SO da VM ou pelo disco de inicialização solucionando problemas.

Caso contrário, se você não precisar e não quiser configurar a imagem do SO da VM e/ou o disco de inicialização para um job, deixe essas propriedades indefinidas para usar a configuração padrão.

Ambiente padrão do SO

Leia esta seção para entender a configuração padrão de uma imagem do SO da VM e dos discos de inicialização de um job. Por exemplo, você pode usar a configuração padrão como referência ao determinar como configurar o ambiente do SO para um job.

Quando você cria um job e não define a imagem do SO da VM, o job usa por padrão uma das seguintes imagens do SO da VM:

  • Se o job tiver apenas executáveis de contêiner, ele usará a versão mais recente da imagem do Container-Optimized OS (COS) do Batch.
  • Caso contrário, o job usará a versão mais recente da imagem do Debian do Batch.

Quando você cria um job e não define as outras propriedades dos discos de inicialização, o job usa as seguintes opções por padrão:

  • Tipo de disco permanente: o tipo padrão Persistent Disk para discos de inicialização é pd-balanced.

  • size: o tamanho padrão para o disco de inicialização de cada VM é determinado pela seguinte fórmula para \({defaultBootDiskSize}\). Além disso, o tamanho padrão é arredondado para ser de no mínimo 30 GB e no máximo 10.000 GB.

    \[{defaultBootDiskSize}={reservedSize}+({taskSize}*{parallelTasksPerVm})\]

    Esta fórmula tem os seguintes valores:

    • \({reservedSize}\): o tamanho reservado em GB para o software necessário da VM, como a imagem do SO da VM. Para o tamanho padrão do disco de inicialização, o Batch reserva 10 GB.

    • \({taskSize}\): o tamanho do disco de inicialização para cada tarefa em GB, que é determinado convertendo as unidades do campo "Tamanho do disco de inicialização por tarefa (bootDiskMib)".

    • \({parallelTasksPerVM}\): o número máximo de tarefas que podem ser executadas em uma VM simultaneamente. Para mais informações, consulte a fórmula para \({parallelTasksPerVM}\).

  • interface: a interface é selecionada automaticamente como NVMe ou SCSI, dependendo do tipo de máquina das VMs do seu job. Você pode especificar um tipo de máquina ao definir o tipo de recursos que um job vai usar. Para conferir a interface padrão de cada tipo de máquina, consulte Tipos de interface de armazenamento na documentação do Compute Engine.

Opções de imagem do SO da VM

As seções a seguir descrevem as opções de imagem do SO da VM para o Batch, incluindo todos os tipos de imagens do SO da VM que os jobs do Batch podem oferecer suporte e as restrições para as imagens do SO da VM compatíveis. Ao especificar a imagem do SO da VM para um job, é possível especificar um nome ou uma família de imagens para qualquer uma das imagens do SO da VM compatíveis permitidas pelas restrições.

Imagens de SO de VM compatíveis

Os jobs em lote podem ser compatíveis com os seguintes tipos de imagens do SO de VM:

  • Imagens públicas:imagens fornecidas e mantidas pelo Google, por comunidades de código aberto e por fornecedores terceirizados. Especificamente, os jobs em lote podem usar imagens públicas do Batch ou do Compute Engine.

    • Imagens do Batch:imagens fornecidas e mantidas pelo Batch com base nos SOs do Compute Engine, armazenadas no projeto de imagem batch-custom-image e recomendadas para jobs do Batch.

      As imagens em lote estão disponíveis nos seguintes sistemas operacionais. Ao visualizar famílias e nomes de imagens do Batch, o SO é indicado pelo prefixo correspondente.

      Para conferir os nomes e famílias de imagens específicos do Batch que podem ser especificados para um job, siga as etapas para ver imagens do SO da VM no Batch.

    • Imagens do Compute Engine:imagens públicas disponíveis no Compute Engine, descritas na página Detalhes do sistema operacional na documentação do Compute Engine.

      O Batch só é compatível com imagens do Compute Engine de disponibilidade geral (GA) dos seguintes SOs:

  • Imagens personalizadas:imagens que você cria, possui e controla o acesso usando o Compute Engine. Saiba mais sobre imagens personalizadas na documentação do Compute Engine.

Restrições para imagens de SO de VM

As imagens de SO de VM compatíveis que um job pode especificar estão sujeitas às seguintes restrições:

  • Imagens em lote marcadas como obsoletas podem não ser compatíveis. O tempo de vida útil mínimo compatível para imagens do Batch é a data mais antiga entre as seguintes:

    • 60 dias após a data de início da imagem. A data de início de uma imagem em lote é indicada no nome dela. Por exemplo, a imagem batch-cos-stable-official-20230719-00-p00 é de 19 de julho de 2023 (20230719).
    • A data em que a versão do SO base do Compute Engine será descontinuada. A data em que cada versão do SO do Compute Engine é descontinuada está listada na página Detalhes do sistema operacional na documentação do Compute Engine.

  • Algumas configurações de job exigem acesso externo para a imagem. Especificamente, quando um job não tem acesso externo e não permite acesso pelo Cloud NAT ou pelo Acesso privado do Google, apenas as seguintes imagens são compatíveis:

    • Para jobs que usam GPUs e apenas executáveis de contêiner, somente a imagem padrão (a imagem mais recente do Container-Optimized OS do Batch) é compatível.
    • Caso contrário, os jobs só vão aceitar imagens em lote.

  • Se a restrição da política de imagens confiáveis estiver ativada, não será possível usar nenhuma imagem do SO da VM que a política de imagens confiáveis não permitir.

    Um administrador do seu projeto, pasta ou organização pode configurar a restrição da política de imagens confiáveis para restringir as imagens do SO da VM que podem ser usadas para criar discos de inicialização. Por exemplo, a restrição de política de imagens confiáveis pode ser usada para exigir que os usuários criem VMs com software aprovado que atenda aos requisitos de política ou segurança. Para mais informações, consulte Controlar o acesso a imagens do SO de VMs para o Batch.

  • A imagem do SO da VM para seu job precisa ter os drivers da interface dos discos de inicialização e de todos os volumes de armazenamento de disco permanente instalados. A maioria das imagens públicas instala automaticamente os drivers NVMe e SCSI, incluindo todas as imagens do Batch.

    Não é possível configurar a interface dos discos permanentes. Portanto, a imagem do SO da VM requer os drivers da interface padrão.

  • Se um job especificar uma imagem do SO da VM que não seja uma imagem do Batch nem uma imagem personalizada baseada em uma imagem do Batch, o Batch vai instalar os pacotes necessários nas VMs do job depois que elas forem iniciadas. Esses pacotes obrigatórios podem variar para diferentes configurações de job e mudar com o tempo, e são necessários para que o Batch execute o job.

Opções de disco de inicialização

Esta seção descreve as opções de tipo e tamanho dos discos de inicialização para o Batch. Ao personalizar os discos de inicialização de um job, é possível especificar a imagem, o tipo e/ou o tamanho do SO da VM. Para informações sobre como especificar a imagem do SO da VM, consulte Opções de imagem do SO da VM neste documento.

Para o tipo de disco de inicialização, o Batch é compatível com todos os tipos de disco permanente na documentação do Compute Engine.

Para o tamanho do disco de inicialização, o Batch aceita todos os tamanhos e incrementos de discos permanentes na documentação do Compute Engine que atendem aos seguintes requisitos:

  • Para jobs em lote, o tamanho mínimo do disco de inicialização é de 30 GB.

  • Para que um job do Batch seja executado corretamente, o tamanho do disco de inicialização precisa ser grande o suficiente para alocar a imagem do SO da VM do job e as tarefas executadas em cada VM. Por exemplo, consulte a fórmula para o tamanho padrão do disco de inicialização neste documento.

A seguir