Começar a usar o Batch

Esta página descreve como começar a usar o Batch para Google Cloud.

Visão geral

O Batch é um serviço totalmente gerenciado que permite programar, enfileirar e executar cargas de trabalho de processamento em lote em Google Cloud recursos. Por exemplo, considere usar o Batch para cargas de trabalho de computação de alto desempenho (HPC), machine learning (ML) e processamento de dados. O Batch provisiona recursos e gerencia a capacidade em seu nome, permitindo que suas cargas de trabalho em lote sejam executadas em escala.

Usando o Batch, não é necessário configurar e gerenciar agendadores de jobs de terceiros, provisionar e desprovisionar recursos ou solicitar recursos uma zona de cada vez. Para executar um job, especifique parâmetros para os recursos necessários para sua carga de trabalho. Em seguida, o Batch recebe os recursos e enfileira o job para execução. O Batch oferece integração nativa com outros Google Cloud serviços para ajudar na programação, execução, armazenamento e análise de jobs em lote. Assim, é possível se concentrar em enviar um job e consumir os resultados.

O Batch consiste nos seguintes componentes:

  • Job:um programa programado que executa um conjunto de tarefas até a conclusão sem nenhuma interação do usuário, normalmente para cargas de trabalho computacionais. Por exemplo, um job pode ser um script de shell único ou um cálculo complexo de várias partes.

    Especificamente, um job em lote representa uma matriz de uma ou mais tarefas e o ambiente para executar essas tarefas. Você define o programa para o job como uma sequência de um ou mais executáveis. Cada tarefa executa a sequência de executáveis nos recursos do job. É possível configurar as tarefas de um job para serem executadas em paralelo ou sequencialmente.

  • Tarefa:uma execução da sequência de executáveis de um job. Quando um job tem várias tarefas, especifique como você quer que cada execução varie referenciando a variável de ambiente para o índice de uma tarefa nos executáveis do job.

  • Executável:um script ou contêiner executável que você define como parte de um job.

  • Recursos:a infraestrutura necessária para executar um job. No mínimo, você só precisa especificar os recursos de computação necessários por tarefa: núcleos de CPU, memória e (se necessário) armazenamento extra do disco de inicialização. Opcionalmente, você também pode especificar outras opções de recursos para o job. O Batch cria e exclui automaticamente os recursos que atendem às suas especificações durante o tempo de execução do job.

    Especificamente, cada job do Batch é executado em um grupo gerenciado de instâncias regional (MIG), que é um grupo de uma ou mais instâncias de máquina virtual (VM) do Compute Engine correspondentes, cada uma localizada em uma das zonas incluídas. Cada VM tem hardware dedicado para núcleos de CPU e memória, que afetam a performance do job, e um disco de inicialização, que armazena uma imagem do sistema operacional (SO) e instruções para executar o job. Se especificado, um job também pode incluir ou acessar recursos adicionais, por exemplo, GPUs ou volumes de armazenamento externos. O número de VMs provisionadas para um job depende dos requisitos de hardware e das opções de programação de tarefas especificadas.

Em resumo, o Batch permite criar e executar jobs que provisionam e usam automaticamente os recursos necessários para executar tarefas.

Para mais informações sobre o comportamento e as opções de jobs, consulte a Visão geral da criação e execução de jobs página.

Preços

Não há custo adicional para usar o Batch. Você só paga pelo custo dos recursos subjacentes necessários para executar seus jobs.

Para mais informações sobre os custos associados ao Batch e como filtrar relatórios do Cloud Billing para conferir os custos do Batch, consulte Preços.

Restrições

O Batch tem as seguintes restrições:

  • Não é possível exceder as cotas e os limites do Batch para seu projeto.
  • Os jobs só podem usar tipos de máquina das seguintes séries:
    • Uso geral: C4, C4A, C4D, C3, C3D, E2, N4, N4A, N2D, N2, N1 e T2D
    • Com otimização para computação: C2, C2D e H3
    • Otimizada para memória: M3, M2 e M1
    • Otimizada para acelerador: A4, A3 Ultra, A3 Mega, A3 High, A2, G4 e G2
  • Não é possível especificar mais de um grupo de tarefas por job. Todos os jobs têm apenas um grupo de tarefas chamado group0.

Pré-requisitos

Para começar a usar o Batch, conclua os seguintes pré-requisitos:

  1. Se o projeto não tiver usado o Batch antes, ative o Batch para seu projeto.
  2. Configure o Batch para cada novo usuário.

Ativar o Batch para um projeto

Para começar a usar o Batch com um projeto, faça o seguinte:

  1. No Google Cloud console do, na página do seletor de projetos, escolha ou crie um Google Cloud projeto do.

    Papéis necessários para selecionar ou criar um projeto

    • Selecionar um projeto: a seleção de um projeto não exige um papel específico do IAM. É possível selecionar qualquer projeto em que você tenha recebido um papel.
    • Criar um projeto: para criar um projeto, é necessário ter o papel de criador de projetos (roles/resourcemanager.projectCreator), que contém a resourcemanager.projects.create permissão. Saiba como conceder papéis.

    Acessar o seletor de projetos

  2. Verifique se o faturamento está ativado para o Google Cloud projeto.

  3. Verifique se o Batch está ativado para o projeto:

    1. Ative as APIs Batch, Compute Engine e Cloud Logging.

      Funções necessárias para ativar APIs

      Para ativar as APIs, é necessário ter a permissão serviceusage.services.enable. Se você criou o projeto, provavelmente já tem essa permissão pelo papel de proprietário (roles/owner). Caso contrário, você pode receber essa permissão pelo papel de administrador de uso do serviço (roles/serviceusage.serviceUsageAdmin). Saiba como conceder papéis.

      Ativar as APIs

    2. Verifique se o projeto tem uma ou mais contas de serviço com as permissões necessárias para criar e acessar os recursos para executar jobs do Batch.

      É importante que todos os usuários que você quer permitir criar e executar jobs do Batch no projeto tenham permissão para usar uma dessas contas de serviço. Portanto, não selecione contas de serviço que tenham mais permissões do que você quer conceder a esses usuários.

      A conta de serviço que cada job usa por padrão é a conta de serviço padrão do Compute Engine, mas também é possível personalizar qual conta de serviço um job usa.

      A menos que você planeje usar apenas a configuração padrão para as contas de serviço do job, conceda os seguintes papéis do IAM a todas as contas de serviço que o projeto usa para jobs do Batch.

      • Relator do agente em lote (roles/batch.agentReporter) no projeto
      • Para permitir que os jobs gerem registros no Cloud Logging: gravador de registros (roles/logging.logWriter) no projeto

      A conta de serviço usada para um job também pode exigir outros papéis com base nas opções de configuração que você quer usar para seus jobs. Consulte a documentação de cada tarefa para saber se outras permissões são necessárias. Para mais informações sobre como conceder papéis a contas de serviço, consulte Restringir contas de serviço e Gerenciar o acesso a contas de serviço.

    3. Verifique se você está familiarizado com o agente de serviço do Batch do projeto:

      Depois de criar um job em lote, o agente de serviço do Batch é criado automaticamente para o projeto com o seguinte nome:

      service-PROJECT_NUMBER@gcp-sa-cloudbatch.iam.gserviceaccount.com

      Substitua PROJECT_NUMBER pelo número do projeto.

      O agente de serviço do Batch recebe automaticamente o papel do IAM de agente de serviço do Google Batch (roles/batch.serviceAgent). Essa configuração é necessária para que o projeto use o Batch.

      No entanto, determinados casos de uso, por exemplo, a execução de um job em uma rede VPC compartilhada, exigem que você conceda outras permissões ao agente de serviço do Batch do projeto.

      Para mais informações, consulte Agentes de serviço.

Configurar o Batch para um novo usuário

Para começar a usar o Batch como usuário, faça o seguinte:

  1. Para receber as permissões necessárias para usar o Batch, peça ao administrador para conceder a você os papéis do IAM necessários no projeto. Consulte a documentação de cada tarefa para conferir as permissões necessárias.

    Por exemplo, se você quiser começar a aprender a usar o Batch criando um job básico, considere solicitar papéis para as seguintes tarefas:

    • Para criar jobs:
    • Para listar e descrever jobs: editor de jobs em lote (roles/batch.jobsEditor) ou visualizador de jobs em lote (roles/batch.jobsViewer) no projeto
    • Para conferir registros de jobs: visualizador de registros (roles/logging.viewer) no projeto
    • Para excluir jobs: editor de jobs em lote (roles/batch.jobsEditor) no projeto

    Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.

  2. Se você quiser usar os exemplos de linha de comando do Batch, configure a Google Cloud CLI fazendo o seguinte. Saiba mais sobre a autenticação da Google Cloud CLI.

    1. Instale a Google Cloud CLI. Após a instalação, inicialize a Google Cloud CLI executando o seguinte comando: 

      gcloud init

      Ao usar um provedor de identidade (IdP) externo, primeiro faça login na CLI gcloud com sua identidade federada.

    2. Recomendado: defina um projeto padrão usando o gcloud config set project comando:

      gcloud config set project PROJECT_ID

      Substitua PROJECT_ID pelo ID do projeto.

  3. Se você quiser usar os exemplos de API ou de biblioteca de cliente para o Batch, consulte Autenticar no Batch.

Receber suporte

Você pode conversar sobre o Batch com a comunidade usando a tag do Batch nos fóruns do Google Developer Program.

Se você tiver problemas com o Batch, consulte a documentação de solução de problemas.

Para receber suporte ou enviar feedback sobre o Batch, use os seguintes recursos:

  • Para problemas de faturamento com Google Cloud, entre em contato com o suporte de faturamento.

  • Se você tiver um pacote de suporte pago, entre em contato com o Google Cloud Suporte diretamente para problemas com o Batch.

    Google Cloud O oferece pacotes de suporte diferentes para atender a diferentes necessidades, como cobertura 24 horas, suporte por telefone e acesso a um gerente de suporte técnico. Para mais informações, consulte Google Cloud Suporte.

  • Para enviar feedback ou solicitações de recursos para o Batch ou para informar problemas do Batch sem um pacote de suporte pago, clique no botão Enviar feedback , que pode ser encontrado no início e no final de cada página de documentação do Batch. Em seguida, selecione uma das seguintes opções:

    • Para feedback relacionado à documentação do Batch, selecione "Feedback sobre a documentação".
    • Para todos os outros feedbacks sobre o Batch, selecione "Feedback do produto".

A seguir