Este documento explica os princípios básicos da criação de tarefas em lote: como criar e executar uma tarefa baseada num script ou numa imagem de contentor e usar variáveis predefinidas e personalizadas. Para saber como criar e executar tarefas, consulte o artigo Vista geral da criação e execução de tarefas.
Antes de começar
- Se nunca usou o Batch, reveja o artigo Comece a usar o Batch e ative o Batch concluindo os pré-requisitos para projetos e utilizadores.
-
Para receber as autorizações de que precisa para criar uma tarefa, peça ao seu administrador para lhe conceder as seguintes funções de IAM:
-
Editor de tarefas em lote (
roles/batch.jobsEditor
) no projeto -
Utilizador da conta de serviço (
roles/iam.serviceAccountUser
) na conta de serviço da tarefa, que, por predefinição, é a conta de serviço predefinida do Compute Engine
Para mais informações sobre a atribuição de funções, consulte o artigo Faça a gestão do acesso a projetos, pastas e organizações.
Também pode conseguir as autorizações necessárias através de funções personalizadas ou outras funções predefinidas.
-
Editor de tarefas em lote (
-
Sempre que criar uma tarefa, certifique-se de que esta tem uma configuração de rede válida.
- Se não tiver requisitos de rede específicos para a sua carga de trabalho ou projeto e não tiver modificado a rede predefinida do seu projeto, não é necessária nenhuma ação.
- Caso contrário, tem de configurar a rede quando cria uma tarefa. Saiba como configurar a rede para uma tarefa antes de criar uma tarefa básica, para poder modificar os exemplos abaixo de acordo com os seus requisitos de rede.
-
Sempre que criar uma tarefa, certifique-se de que esta tem um ambiente de sistema operativo (SO) de VM válido.
- Se não tiver requisitos específicos de imagem do SO da VM ou disco de arranque para a sua carga de trabalho ou projeto, não é necessária nenhuma ação.
- Caso contrário, tem de preparar uma opção de ambiente de SO de VM válida. Antes de criar uma tarefa básica, permita a configuração predefinida para o ambiente do SO da VM ou saiba como personalizar o ambiente do SO da VM para poder modificar os exemplos abaixo de acordo com os seus requisitos.
Crie um trabalho básico
Para ver informações sobre todos os campos que pode especificar para uma tarefa, consulte a documentação de referência do recurso REST projects.locations.jobs
.
Em resumo, uma tarefa consiste num conjunto de uma ou mais tarefas que executam um ou mais executáveis, que são os scripts executáveis e/ou os contentores da sua tarefa.
Para abordar os princípios básicos, esta secção explica como criar uma tarefa de exemplo com apenas um executável, seja um script ou uma imagem de contentor:
- Se quiser usar o Batch para escrever tarefas que executam uma imagem de contentor, consulte o artigo crie uma tarefa de contentor.
- Caso contrário, se não tiver a certeza de que quer usar imagens de contentores ou não conhecer os contentores, recomendamos que crie uma tarefa de script.
O exemplo de trabalho para ambos os tipos de trabalhos contém um grupo de tarefas com uma matriz de 4 tarefas. Cada tarefa imprime uma mensagem e o respetivo índice na saída padrão e no Cloud Logging. A definição desta tarefa especifica um paralelismo de 2, o que indica que a tarefa deve ser executada em 2 VMs para permitir que 2 tarefas sejam executadas em simultâneo.
Crie uma tarefa de contentor básica
Pode selecionar ou criar uma imagem de contentor para fornecer o código e as dependências para que a tarefa seja executada a partir de qualquer ambiente de computação. Para mais informações, consulte os artigos Trabalhar com imagens de contentores e Executar contentores em instâncias de VMs.
Pode criar uma tarefa de contentor básica através da Google Cloud consola, da CLI gcloud, da API Batch, do Go, do Java, do Node.js, do Python ou do C++.
Consola
Para criar uma tarefa de contentor básica através da Google Cloud consola, faça o seguinte:
Na Google Cloud consola, aceda à página Lista de tarefas.
Clique em
Criar. É apresentada a página Criar tarefa em lote. No painel do lado esquerdo, a página Detalhes da tarefa está selecionada.Configure a página Detalhes da tarefa:
Opcional: no campo Nome da tarefa, personalize o nome da tarefa.
Por exemplo, introduza
example-basic-job
.Configure a secção Detalhes da tarefa:
Na janela Novo executável, adicione, pelo menos, um script ou um contentor para executar esta tarefa.
Por exemplo, para adicionar um contentor, faça o seguinte:
Selecione URL da imagem do contentor (predefinição).
No campo URL da imagem do contentor, introduza o URL de uma imagem do contentor que quer executar para cada tarefa neste trabalho.
Por exemplo, para usar a
busybox
imagem do contentor Docker, introduza o seguinte URL:gcr.io/google-containers/busybox
Opcional: para substituir o comando
ENTRYPOINT
da imagem do contentor, introduza um comando no campo Ponto de entrada.Por exemplo, introduza o seguinte:
/bin/sh
Opcional: para substituir o comando
CMD
da imagem do contentor, faça o seguinte:Selecione a caixa de verificação Substituir o comando CMD da imagem do contentor. É apresentado um campo.
No campo, introduza um ou mais comandos, separando cada comando com uma nova linha.
Por exemplo, introduza os seguintes comandos:
-c echo Hello world! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks.
Clique em Concluído.
No campo Número de tarefas, introduza o número de tarefas para este trabalho. O valor tem de ser um número inteiro entre
1
e o limite de tarefas por grupo de tarefas.Por exemplo, introduza
4
.No campo Paralelismo, introduza o número de tarefas a executar em simultâneo. O número não pode ser superior ao número total de tarefas e tem de ser um número inteiro entre
1
e o limite de tarefas paralelas por tarefa.Por exemplo, introduza
2
.
Configure a página Especificações de recursos:
No painel esquerdo, clique em Especificações de recursos. É apresentada a página Especificações dos recursos.
Na secção Modelo de aprovisionamento de VMs, selecione uma das seguintes opções para o modelo de aprovisionamento das VMs desta tarefa:
Se a sua tarefa puder suportar a preempção e quiser VMs com desconto, selecione Spot.
Caso contrário, selecione Padrão.
Por exemplo, selecione Padrão (predefinição).
Selecione a localização para este trabalho:
No campo Região, selecione uma região.
Por exemplo, selecione
us-central1 (Iowa)
(predefinição).No campo Zona, faça uma das seguintes ações:
Se quiser restringir a execução desta tarefa apenas a uma zona específica, selecione uma zona.
Caso contrário, selecione qualquer.
Por exemplo, selecione qualquer (predefinição).
Selecione uma das seguintes famílias de máquinas:
Para cargas de trabalho comuns, clique em Utilização geral.
Para cargas de trabalho com utilização intensiva do desempenho, clique em Otimizado para computação.
Para cargas de trabalho com utilização intensiva de memória, clique em Otimizado para memória.
Para cargas de trabalho otimizadas pelo acelerador, clique em GPUs. Para mais informações, consulte Crie e execute uma tarefa que use GPUs.
Por exemplo, clique em Objetivo geral (predefinição).
No campo Série, selecione uma série de máquinas para as VMs desta tarefa.
Por exemplo, se selecionou Uso geral para a família de máquinas, selecione E2 (predefinição).
No campo Tipo de máquina, selecione um tipo de máquina para as VMs deste trabalho.
Por exemplo, se selecionou E2 para a série de máquinas, selecione e2-medium (2 vCPU, 4 GB de memória) (predefinição).
Configure a quantidade de recursos de VM necessários para cada tarefa:
No campo Núcleos, introduza a quantidade de vCPUs por tarefa.
Por exemplo, introduza
1
(predefinição).No campo Memória, introduza a quantidade de RAM em GB por tarefa.
Por exemplo, introduza
0.5
(predefinição).
Opcional: para rever a configuração da tarefa, no painel esquerdo, clique em Pré-visualizar.
Clique em Criar.
A página Detalhes do trabalho apresenta o trabalho que criou.
gcloud
Para criar uma tarefa de contentor básica com a gcloud CLI, faça o seguinte:
Crie um ficheiro JSON que especifique os detalhes de configuração da sua tarefa. Por exemplo, para criar uma tarefa de contentor básica, crie um ficheiro JSON com o seguinte conteúdo. Para mais informações sobre todos os campos que pode especificar para uma tarefa, consulte a documentação de referência do recurso REST
projects.locations.jobs
.{ "taskGroups": [ { "taskSpec": { "runnables": [ { "container": { CONTAINER } } ], "computeResource": { "cpuMilli": CORES, "memoryMib": MEMORY }, "maxRetryCount": MAX_RETRY_COUNT, "maxRunDuration": "MAX_RUN_DURATION" }, "taskCount": TASK_COUNT, "parallelism": PARALLELISM } ] }
Substitua o seguinte:
CONTAINER
: o contentor em que cada tarefa é executada. No mínimo, um contentor tem de especificar uma imagem no subcampoimageUri
, mas também podem ser necessários subcampos adicionais. Para mais informações, consulte os subcamposcontainer
e o exemplo de tarefa de contentor nesta secção.CORES
: opcional. A quantidade de núcleos, especificamente vCPUs, que normalmente representam metade de um núcleo físico, a atribuir a cada tarefa em unidades de milliCPU. Se o campocpuMilli
não for especificado, o valor é definido como2000
(2 vCPUs).MEMORY
: opcional. A quantidade de memória a atribuir para cada tarefa em MB. Se o campomemoryMib
não for especificado, o valor é definido como2000
(2 GB).MAX_RETRY_COUNT
: opcional. O número máximo de tentativas para uma tarefa. O valor tem de ser um número inteiro entre0
e10
. Se o campomaxRetryCount
não for especificado, o valor é definido como0
, o que significa não repetir a tarefa. Para mais informações sobre o campomaxRetryCount
, consulte o artigo Automatize as novas tentativas de tarefas.MAX_RUN_DURATION
: opcional. O tempo máximo que uma tarefa pode ser executada antes de ser repetida ou falhar, formatado como um valor em segundos seguido des
, por exemplo,3600s
para 1 hora. Se o campomaxRunDuration
não for especificado, o valor é definido como o tempo de execução máximo de uma tarefa. Para mais informações sobre o campomaxRunDuration
, consulte o artigo Limite os tempos de execução de tarefas e executáveis através de limites de tempo.TASK_COUNT
: opcional. O número de tarefas para o trabalho. O valor tem de ser um número inteiro entre1
e o limite de tarefas por grupo de tarefas. Se o campotaskCount
não for especificado, o valor é definido como1
.PARALLELISM
: opcional. O número de tarefas que o trabalho executa em simultâneo. O número não pode ser superior ao número de tarefas e tem de ser um número inteiro entre1
e o limite de tarefas paralelas por tarefa. Se o campoparallelism
não for especificado, o valor é definido como1
.
Crie uma tarefa com o comando
gcloud batch jobs submit
.gcloud batch jobs submit JOB_NAME \ --location LOCATION \ --config JSON_CONFIGURATION_FILE
Substitua o seguinte:
JOB_NAME
: o nome da tarefa.LOCATION
: a localização do trabalho.JSON_CONFIGURATION_FILE
: o caminho para um ficheiro JSON com os detalhes de configuração da tarefa.
Por exemplo, para criar uma tarefa que execute tarefas com a imagem do contentor Docker busybox
:
Crie um ficheiro JSON no diretório atual com o nome
hello-world-container.json
e o seguinte conteúdo:{ "taskGroups": [ { "taskSpec": { "runnables": [ { "container": { "imageUri": "gcr.io/google-containers/busybox", "entrypoint": "/bin/sh", "commands": [ "-c", "echo Hello world! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks." ] } } ], "computeResource": { "cpuMilli": 2000, "memoryMib": 16 }, "maxRetryCount": 2, "maxRunDuration": "3600s" }, "taskCount": 4, "parallelism": 2 } ], "allocationPolicy": { "instances": [ { "policy": { "machineType": "e2-standard-4" } } ] }, "labels": { "department": "finance", "env": "testing" }, "logsPolicy": { "destination": "CLOUD_LOGGING" } }
Execute o seguinte comando:
gcloud batch jobs submit example-container-job \ --location us-central1 \ --config hello-world-container.json
API
Para criar uma tarefa de contentor básica com a API Batch, use o
método jobs.create
.
Para mais informações sobre todos os campos que pode especificar para uma tarefa, consulte a documentação de referência do recurso REST projects.locations.jobs
.
POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/jobs?job_id=JOB_NAME
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"container": {
CONTAINER
}
}
],
"computeResource": {
"cpuMilli": CORES,
"memoryMib": MEMORY
},
"maxRetryCount": MAX_RETRY_COUNT,
"maxRunDuration": "MAX_RUN_DURATION"
},
"taskCount": TASK_COUNT,
"parallelism": PARALLELISM
}
]
}
Substitua o seguinte:
PROJECT_ID
: o ID do projeto do seu projeto.LOCATION
: a localização do trabalho.JOB_NAME
: o nome da tarefa.CONTAINER
: o contentor em que cada tarefa é executada. No mínimo, um contentor tem de especificar uma imagem no subcampoimageUri
, mas também podem ser necessários subcampos adicionais. Para mais informações, consulte os subcamposcontainer
e o exemplo de tarefa de contentor nesta secção.CORES
: opcional. A quantidade de núcleos, especificamente vCPUs, que normalmente representam metade de um núcleo físico, a atribuir a cada tarefa em unidades de milliCPU. Se o campocpuMilli
não for especificado, o valor é definido como2000
(2 vCPUs).MEMORY
: opcional. A quantidade de memória a atribuir para cada tarefa em MB. Se o campomemoryMib
não for especificado, o valor é definido como2000
(2 GB).MAX_RETRY_COUNT
: opcional. O número máximo de tentativas para uma tarefa. O valor tem de ser um número inteiro entre0
e10
. Se o campomaxRetryCount
não for especificado, o valor é definido como0
, o que significa não repetir a tarefa. Para mais informações sobre o campomaxRetryCount
, consulte o artigo Automatize as novas tentativas de tarefas.MAX_RUN_DURATION
: opcional. O tempo máximo que uma tarefa pode ser executada antes de ser repetida ou falhar, formatado como um valor em segundos seguido des
, por exemplo,3600s
para 1 hora. Se o campomaxRunDuration
não for especificado, o valor é definido como o tempo de execução máximo de uma tarefa. Para mais informações sobre o campomaxRunDuration
, consulte o artigo Limite os tempos de execução de tarefas e executáveis através de limites de tempo.TASK_COUNT
: opcional. O número de tarefas para o trabalho, que tem de ser um número inteiro entre1
e o limite de tarefas por grupo de tarefas. Se o campotaskCount
não for especificado, o valor é definido como1
.PARALLELISM
: opcional. O número de tarefas que o trabalho executa em simultâneo. O número não pode ser superior ao número de tarefas e tem de ser um número inteiro entre1
e o limite de tarefas paralelas por tarefa. Se o campoparallelism
não for especificado, o valor é definido como1
.
Por exemplo, para criar uma tarefa que execute tarefas usando a
busybox
imagem do contentor do Docker,
use o seguinte pedido:
POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/jobs?job_id=example-container-job
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"container": {
"imageUri": "gcr.io/google-containers/busybox",
"entrypoint": "/bin/sh",
"commands": [
"-c",
"echo Hello world! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks."
]
}
}
],
"computeResource": {
"cpuMilli": 2000,
"memoryMib": 16
},
"maxRetryCount": 2,
"maxRunDuration": "3600s"
},
"taskCount": 4,
"parallelism": 2
}
],
"allocationPolicy": {
"instances": [
{
"policy": { "machineType": "e2-standard-4" }
}
]
},
"labels": {
"department": "finance",
"env": "testing"
},
"logsPolicy": {
"destination": "CLOUD_LOGGING"
}
}
onde PROJECT_ID
é o
ID do projeto
do seu projeto.
Ir
Go
Para mais informações, consulte a documentação de referência da API Go em lote.
Para se autenticar no Batch, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para um ambiente de desenvolvimento local.
Java
Java
Para mais informações, consulte a documentação de referência da API Java em lote.
Para se autenticar no Batch, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para um ambiente de desenvolvimento local.
Node.js
Node.js
Para mais informações, consulte a documentação de referência da API Node.js em lote.
Para se autenticar no Batch, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para um ambiente de desenvolvimento local.
Python
Python
Para mais informações, consulte a documentação de referência da API Python em lote.
Para se autenticar no Batch, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para um ambiente de desenvolvimento local.
C++
C++
Para mais informações, consulte a documentação de referência da API C++ em lote.
Para se autenticar no Batch, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para um ambiente de desenvolvimento local.
Crie uma tarefa de script básica
Pode criar uma tarefa de script básica através da Google Cloud consola, da CLI gcloud, da API Batch, do Go, do Java, do Node.js, do Python ou do C++.
Consola
Para criar uma tarefa de script básica através da Google Cloud consola, faça o seguinte:
Na Google Cloud consola, aceda à página Lista de tarefas.
Clique em
Criar. É apresentada a página Criar tarefa em lote. No painel do lado esquerdo, a página Detalhes da tarefa está selecionada.Configure a página Detalhes da tarefa:
Opcional: no campo Nome da tarefa, personalize o nome da tarefa.
Por exemplo, introduza
example-basic-job
.Configure a secção Detalhes da tarefa:
Na janela Novo executável, adicione, pelo menos, um script ou um contentor para executar esta tarefa.
Por exemplo, para adicionar um script, faça o seguinte:
Selecione Script. É apresentado um campo.
No campo, introduza um script que quer executar para cada tarefa neste trabalho.
Por exemplo, introduza o seguinte script:
echo Hello world! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks.
Clique em Concluído.
No campo Número de tarefas, introduza o número de tarefas para este trabalho. O valor tem de ser um número inteiro entre
1
e o limite de tarefas por grupo de tarefas.Por exemplo, introduza
4
.No campo Paralelismo, introduza o número de tarefas a executar em simultâneo. O número não pode ser superior ao número total de tarefas e tem de ser um número inteiro entre
1
e o limite de tarefas paralelas por tarefa.Por exemplo, introduza
2
.
Configure a página Especificações de recursos:
No painel esquerdo, clique em Especificações de recursos. É apresentada a página Especificações dos recursos.
Na secção Modelo de aprovisionamento de VMs, selecione uma das seguintes opções para o modelo de aprovisionamento das VMs desta tarefa:
Se a sua tarefa puder suportar a preempção e quiser VMs com desconto, selecione Spot.
Caso contrário, selecione Padrão.
Por exemplo, selecione Padrão (predefinição).
Selecione a localização para este trabalho:
No campo Região, selecione uma região.
Por exemplo, selecione
us-central1 (Iowa)
(predefinição).No campo Zona, faça uma das seguintes ações:
Se quiser restringir a execução desta tarefa apenas a uma zona específica, selecione uma zona.
Caso contrário, selecione qualquer.
Por exemplo, selecione qualquer (predefinição).
Selecione uma das seguintes famílias de máquinas:
Para cargas de trabalho comuns, clique em Utilização geral.
Para cargas de trabalho com utilização intensiva do desempenho, clique em Otimizado para computação.
Para cargas de trabalho com utilização intensiva de memória, clique em Otimizado para memória.
Para cargas de trabalho otimizadas pelo acelerador, clique em GPUs. Para mais informações, consulte Crie e execute uma tarefa que use GPUs.
Por exemplo, clique em Objetivo geral (predefinição).
No campo Série, selecione uma série de máquinas para as VMs desta tarefa.
Por exemplo, se selecionou Uso geral para a família de máquinas, selecione E2 (predefinição).
No campo Tipo de máquina, selecione um tipo de máquina para as VMs deste trabalho.
Por exemplo, se selecionou E2 para a série de máquinas, selecione e2-medium (2 vCPU, 4 GB de memória) (predefinição).
Configure a quantidade de recursos de VM necessários para cada tarefa:
No campo Núcleos, introduza a quantidade de vCPUs por tarefa.
Por exemplo, introduza
1
(predefinição).No campo Memória, introduza a quantidade de RAM em GB por tarefa.
Por exemplo, introduza
0.5
(predefinição).
Opcional: para rever a configuração da tarefa, no painel esquerdo, clique em Pré-visualizar.
Clique em Criar.
A página Detalhes do trabalho apresenta o trabalho que criou.
gcloud
Para criar uma tarefa de script básica com a CLI gcloud, faça o seguinte:
Crie um ficheiro JSON que especifique os detalhes de configuração da sua tarefa. Por exemplo, para criar uma tarefa de script básica, crie um ficheiro JSON com o seguinte conteúdo. Para mais informações sobre todos os campos que pode especificar para uma tarefa, consulte a documentação de referência do recurso REST
projects.locations.jobs
.{ "taskGroups": [ { "taskSpec": { "runnables": [ { "script": { SCRIPT } } ], "computeResource": { "cpuMilli": CORES, "memoryMib": MEMORY }, "maxRetryCount": MAX_RETRY_COUNT, "maxRunDuration": "MAX_RUN_DURATION" }, "taskCount": TASK_COUNT, "parallelism": PARALLELISM } ] }
Substitua o seguinte:
SCRIPT
: o guião que cada tarefa executa. Um script tem de ser definido como texto através do subcampotext
ou como o caminho para um ficheiro acessível através do subcampopath
. Para mais informações, consulte os subcamposscript
e o exemplo de tarefa de script nesta secção.CORES
: opcional. A quantidade de núcleos, especificamente vCPUs, que normalmente representam metade de um núcleo físico, a atribuir a cada tarefa em unidades de milliCPU. Se o campocpuMilli
não for especificado, o valor é definido como2000
(2 vCPUs).MEMORY
: opcional. A quantidade de memória a atribuir para cada tarefa em MB. Se o campomemoryMib
não for especificado, o valor é definido como2000
(2 GB).MAX_RETRY_COUNT
: opcional. O número máximo de tentativas para uma tarefa. O valor tem de ser um número inteiro entre0
e10
. Se o campomaxRetryCount
não for especificado, o valor é definido como0
, o que significa não repetir a tarefa. Para mais informações sobre o campomaxRetryCount
, consulte o artigo Automatize as novas tentativas de tarefas.MAX_RUN_DURATION
: opcional. O tempo máximo que uma tarefa pode ser executada antes de ser repetida ou falhar, formatado como um valor em segundos seguido des
, por exemplo,3600s
para 1 hora. Se o campomaxRunDuration
não for especificado, o valor é definido como o tempo de execução máximo de uma tarefa. Para mais informações sobre o campomaxRunDuration
, consulte o artigo Limite os tempos de execução de tarefas e executáveis através de limites de tempo.TASK_COUNT
: opcional. O número de tarefas para o trabalho. O valor tem de ser um número inteiro entre1
e o limite de tarefas por grupo de tarefas. Se o campotaskCount
não for especificado, o valor é definido como1
.PARALLELISM
: opcional. O número de tarefas que o trabalho executa em simultâneo. O número não pode ser superior ao número de tarefas e tem de ser um número inteiro entre1
e o limite de tarefas paralelas por tarefa. Se o campoparallelism
não for especificado, o valor é definido como1
.
Crie uma tarefa com o comando
gcloud batch jobs submit
.gcloud batch jobs submit JOB_NAME \ --location LOCATION \ --config JSON_CONFIGURATION_FILE
Substitua o seguinte:
JOB_NAME
: o nome da tarefa.LOCATION
: a localização do trabalho.JSON_CONFIGURATION_FILE
: o caminho para um ficheiro JSON com os detalhes de configuração da tarefa.
Por exemplo, para criar uma tarefa que execute tarefas através de um script:
Crie um ficheiro JSON no diretório atual com o nome
hello-world-script.json
e o seguinte conteúdo:{ "taskGroups": [ { "taskSpec": { "runnables": [ { "script": { "text": "echo Hello world! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks." } } ], "computeResource": { "cpuMilli": 2000, "memoryMib": 16 }, "maxRetryCount": 2, "maxRunDuration": "3600s" }, "taskCount": 4, "parallelism": 2 } ], "allocationPolicy": { "instances": [ { "policy": { "machineType": "e2-standard-4" } } ] }, "labels": { "department": "finance", "env": "testing" }, "logsPolicy": { "destination": "CLOUD_LOGGING" } }
Execute o seguinte comando:
gcloud batch jobs submit example-script-job \ --location us-central1 \ --config hello-world-script.json
API
Para criar uma tarefa de script básica através da API Batch, use o método jobs.create
.
Para mais informações sobre todos os campos que pode especificar para uma tarefa, consulte a documentação de referência do recurso REST projects.locations.jobs
.
POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/jobs?job_id=JOB_NAME
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"script": {
SCRIPT
}
}
],
"computeResource": {
"cpuMilli": CORES,
"memoryMib": MEMORY
},
"maxRetryCount": MAX_RETRY_COUNT,
"maxRunDuration": "MAX_RUN_DURATION"
},
"taskCount": TASK_COUNT,
"parallelism": PARALLELISM
}
]
}
Substitua o seguinte:
PROJECT_ID
: o ID do projeto do seu projeto.LOCATION
: a localização do trabalho.JOB_NAME
: o nome da tarefa.SCRIPT
: o guião que cada tarefa executa. Um script tem de ser definido como texto através do subcampotext
ou como o caminho para um ficheiro acessível através do subcampopath
. Para mais informações, consulte os subcamposscript
e o exemplo de tarefa de script nesta secção.CORES
: opcional. A quantidade de núcleos, especificamente vCPUs, que normalmente representam metade de um núcleo físico, a atribuir a cada tarefa em unidades de milliCPU. Se o campocpuMilli
não for especificado, o valor é definido como2000
(2 vCPUs).MEMORY
: opcional. A quantidade de memória a atribuir para cada tarefa em MB. Se o campomemoryMib
não for especificado, o valor é definido como2000
(2 GB).MAX_RETRY_COUNT
: opcional. O número máximo de tentativas para uma tarefa. O valor tem de ser um número inteiro entre0
e10
. Se o campomaxRetryCount
não for especificado, o valor é definido como0
, o que significa não repetir a tarefa. Para mais informações sobre o campomaxRetryCount
, consulte o artigo Automatize as novas tentativas de tarefas.MAX_RUN_DURATION
: opcional. O tempo máximo que uma tarefa pode ser executada antes de ser repetida ou falhar, formatado como um valor em segundos seguido des
, por exemplo,3600s
para 1 hora. Se o campomaxRunDuration
não for especificado, o valor é definido como o tempo de execução máximo de uma tarefa. Para mais informações sobre o campomaxRunDuration
, consulte o artigo Limite os tempos de execução de tarefas e executáveis através de limites de tempo.TASK_COUNT
: opcional. O número de tarefas para o trabalho. O valor tem de ser um número inteiro entre1
e o limite de tarefas por grupo de tarefas. Se o campotaskCount
não for especificado, o valor é definido como1
.PARALLELISM
: opcional. O número de tarefas que o trabalho executa em simultâneo. O número não pode ser superior ao número de tarefas e tem de ser um número inteiro entre1
e o limite de tarefas paralelas por tarefa. Se o campoparallelism
não for especificado, o valor é definido como1
.
Por exemplo, para criar uma tarefa que execute tarefas através de um script, use o seguinte pedido:
POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/jobs?job_id=example-script-job
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"script": {
"text": "echo Hello world! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks."
}
}
],
"computeResource": {
"cpuMilli": 2000,
"memoryMib": 16
},
"maxRetryCount": 2,
"maxRunDuration": "3600s"
},
"taskCount": 4,
"parallelism": 2
}
],
"allocationPolicy": {
"instances": [
{
"policy": { "machineType": "e2-standard-4" }
}
]
},
"labels": {
"department": "finance",
"env": "testing"
},
"logsPolicy": {
"destination": "CLOUD_LOGGING"
}
}
onde PROJECT_ID
é o
ID do projeto
do seu projeto.
Ir
Go
Para mais informações, consulte a documentação de referência da API Go em lote.
Para se autenticar no Batch, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para um ambiente de desenvolvimento local.
Java
Java
Para mais informações, consulte a documentação de referência da API Java em lote.
Para se autenticar no Batch, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para um ambiente de desenvolvimento local.
Node.js
Node.js
Para mais informações, consulte a documentação de referência da API Node.js em lote.
Para se autenticar no Batch, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para um ambiente de desenvolvimento local.
Python
Python
Para mais informações, consulte a documentação de referência da API Python em lote.
Para se autenticar no Batch, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para um ambiente de desenvolvimento local.
C++
C++
Para mais informações, consulte a documentação de referência da API C++ em lote.
Para se autenticar no Batch, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para um ambiente de desenvolvimento local.
Use variáveis de ambiente
Use variáveis de ambiente quando escreve uma imagem de contentor ou um script que quer que uma tarefa execute. Pode usar qualquer uma das variáveis de ambiente predefinidas para todas as tarefas em lote e quaisquer variáveis de ambiente personalizadas que definir ao criar a tarefa.
Use variáveis de ambiente predefinidas
Por predefinição, os executáveis no seu trabalho podem usar as seguintes variáveis de ambiente predefinidas:
BATCH_TASK_COUNT
: o número total de tarefas neste grupo de tarefas.BATCH_TASK_INDEX
: o número de índice desta tarefa no grupo de tarefas. O índice da primeira tarefa é0
e é incrementado para cada tarefa adicional.BATCH_HOSTS_FILE
: o caminho para um ficheiro que liste todas as instâncias de VM em execução neste grupo de tarefas. Para usar esta variável de ambiente, o camporequireHostsFile
tem de estar definido comotrue
.BATCH_TASK_RETRY_ATTEMPT
: o número de vezes que esta tarefa já foi tentada. O valor é0
durante a primeira tentativa de uma tarefa e é incrementado para cada nova tentativa seguinte. O número total de novas tentativas permitidas para uma tarefa é determinado pelo valor do campomaxRetryCount
, que é0
se não estiver definido. Para mais informações sobre novas tentativas, consulte o artigo Automatize novas tentativas de tarefas.
Para ver um exemplo de como usar variáveis de ambiente predefinidas, consulte os exemplos executáveis anteriores em Crie uma tarefa básica neste documento.
Defina e use variáveis de ambiente personalizadas
Opcionalmente, pode definir uma ou mais variáveis de ambiente personalizadas numa tarefa.
Define cada variável num ambiente específico com base no âmbito pretendido dos respetivos dados:
Para uma variável que tenha o mesmo valor para todas as tarefas, use uma das seguintes opções:
Se a variável tiver o mesmo valor para todos os executáveis, use o ambiente de todos os executáveis (subcampo
environment
detaskSpec
).Caso contrário, se a variável tiver um valor separado para todos os executáveis, use um ou mais ambientes de executáveis específicos (subcampo
environment
derunnables[]
).
Caso contrário, para uma variável de matriz que tenha um valor separado para cada tarefa, use o ambiente de todas as tarefas (
taskEnvironment
).
No ambiente selecionado, define o nome e os valores de cada variável através de um dos seguintes subcampos do ambiente:
Para definir a variável diretamente no ficheiro JSON de configuração da tarefa, use o subcampo de variáveis padrão (
variables
), conforme mostrado nesta secção. Esta opção é recomendada para dados que não quer encriptar.Para definir a variável com dados encriptados, pode usar o Secret Manager ou o Cloud Key Management Service:
Para usar o conteúdo encriptado de um segredo do Secret Manager existente, use o subcampo variáveis secretas (
secretVariables
). Para mais informações sobre a utilização de segredos num trabalho, consulte o artigo Proteja dados confidenciais com o Secret Manager.Para usar os conteúdos encriptados de uma chave do Cloud Key Management Service existente, use o subcampo variáveis encriptadas (
encryptedVariables
). Para mais informações sobre as chaves do Cloud KMS, consulte a documentação do Cloud Key Management Service.
Pode definir e usar variáveis de ambiente personalizadas para a sua tarefa através da CLI gcloud ou da API Batch. Os exemplos seguintes explicam como criar duas tarefas que definem e usam variáveis padrão. A primeira tarefa de exemplo tem uma variável para um executável específico. O segundo exemplo de trabalho tem uma variável de matriz, que tem um valor diferente para cada tarefa.
gcloud
Se quiser definir uma tarefa que passe uma variável de ambiente para um ficheiro executável que cada tarefa executa, consulte o exemplo de como definir e usar uma variável de ambiente para um ficheiro executável. Caso contrário, se quiser definir um trabalho que transmita uma lista de variáveis de ambiente a diferentes tarefas com base no índice da tarefa, consulte o exemplo de como definir e usar uma variável de ambiente para cada tarefa.
Defina e use uma variável de ambiente para um ficheiro executável
Para criar uma tarefa que transmita variáveis de ambiente a um executável através da CLI gcloud, use o comando gcloud batch jobs submit
e especifique as variáveis de ambiente no ficheiro de configuração da tarefa.
Por exemplo, para criar uma tarefa de script que defina uma variável de ambiente e a transmita para os scripts de 3 tarefas, faça o seguinte pedido:
Crie um ficheiro JSON no diretório atual com o nome
hello-world-environment-variables.json
e o seguinte conteúdo:{ "taskGroups": [ { "taskSpec": { "runnables": [ { "script": { "text": "echo Hello ${VARIABLE_NAME}! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks." }, "environment": { "variables": { "VARIABLE_NAME": "VARIABLE_VALUE" } } } ], "computeResource": { "cpuMilli": 2000, "memoryMib": 16 } }, "taskCount": 3, "parallelism": 1 } ], "allocationPolicy": { "instances": [ { "policy": { "machineType": "e2-standard-4" } } ] } }
Substitua o seguinte:
VARIABLE_NAME
: o nome da variável de ambiente transmitida a cada tarefa. Por convenção, os nomes das variáveis de ambiente são escritos em maiúsculas.VARIABLE_VALUE
: opcional. O valor da variável de ambiente transmitida a cada tarefa.
Execute o seguinte comando:
gcloud batch jobs submit example-environment-variables-job \ --location us-central1 \ --config hello-world-environment-variables.json
Defina e use uma variável de ambiente para cada tarefa
Para criar uma tarefa que transmita variáveis de ambiente a uma tarefa com base no índice da tarefa através da CLI gcloud, use o comando gcloud batch jobs submit
e especifique o campo da matriz taskEnvironments
no ficheiro de configuração da tarefa.
Por exemplo, para criar uma tarefa que inclua uma matriz de 3 variáveis de ambiente com nomes correspondentes e valores diferentes, e transmite as variáveis de ambiente aos scripts das tarefas cujos índices correspondem aos índices das variáveis de ambiente na matriz:
Crie um ficheiro JSON no diretório atual com o nome
hello-world-task-environment-variables.json
e o seguinte conteúdo:{ "taskGroups": [ { "taskSpec": { "runnables": [ { "script": { "text": "echo Hello ${TASK_VARIABLE_NAME}! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks." }, } ], "computeResource": { "cpuMilli": 2000, "memoryMib": 16 } }, "taskCount": 3, "taskEnvironments": [ { "variables": { "TASK_VARIABLE_NAME": "TASK_VARIABLE_VALUE_0" } }, { "variables": { "TASK_VARIABLE_NAME": "TASK_VARIABLE_VALUE_1" } }, { "variables": { "TASK_VARIABLE_NAME": "TASK_VARIABLE_VALUE_2" } } ] } ], "allocationPolicy": { "instances": [ { "policy": { "machineType": "e2-standard-4" } } ] } }
Substitua o seguinte:
TASK_VARIABLE_NAME
: o nome das variáveis de ambiente da tarefa transmitidas às tarefas com índices correspondentes. Por convenção, os nomes das variáveis de ambiente são escritos em maiúsculas.TASK_VARIABLE_VALUE_0
: o valor da variável de ambiente transmitida à primeira tarefa, para a qualBATCH_TASK_INDEX
é igual a0
.TASK_VARIABLE_VALUE_1
: o valor da variável de ambiente transmitida à segunda tarefa, para a qualBATCH_TASK_INDEX
é igual a1
.TASK_VARIABLE_VALUE_2
: o valor da variável de ambiente transmitida à terceira tarefa, para a qualBATCH_TASK_INDEX
é igual a2
.
Execute o seguinte comando:
gcloud batch jobs submit example-task-environment-variables-job \ --location us-central1 \ --config hello-world-task-environment-variables.json
API
Se quiser definir uma tarefa que passe uma variável de ambiente para um ficheiro executável que cada tarefa executa, consulte o exemplo de como definir e usar uma variável de ambiente para um ficheiro executável. Caso contrário, se quiser definir um trabalho que transmita uma lista de variáveis de ambiente a diferentes tarefas com base no índice da tarefa, consulte o exemplo de como definir e usar uma variável de ambiente para cada tarefa.
Defina e use uma variável de ambiente para um ficheiro executável
Para criar uma tarefa que transmita variáveis de ambiente a um executável através da API Batch, use o comando gcloud batch jobs submit
e especifique as variáveis de ambiente no campo environment
.
Por exemplo, para criar uma tarefa que inclua uma variável de ambiente e a transmita aos scripts de 3 tarefas, faça o seguinte pedido:
POST https://batch.googleapis.com/v1/projects/<var>PROJECT_ID</var>/locations/us-central1/jobs?job_id=example-environment-variables-job
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"script": {
"text": "echo Hello ${VARIABLE_NAME}! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks."
},
"environment": {
"variables": {
"VARIABLE_NAME": "VARIABLE_VALUE"
}
}
}
],
"computeResource": {
"cpuMilli": 2000,
"memoryMib": 16
}
},
"taskCount": 3,
"parallelism": 1
}
],
"allocationPolicy": {
"instances": [
{
"policy": {
"machineType": "e2-standard-4"
}
}
]
}
}
Substitua o seguinte:
PROJECT_ID
: o ID do projeto do seu projeto.VARIABLE_NAME
: o nome da variável de ambiente passada a cada tarefa. Por convenção, os nomes das variáveis de ambiente são escritos em maiúsculas.VARIABLE_VALUE
: o valor da variável de ambiente transmitida a cada tarefa.
Defina e use uma variável de ambiente para cada tarefa
Para criar uma tarefa que transmita variáveis de ambiente a uma tarefa com base no índice da tarefa através da API Batch, use o método jobs.create
e especifique as variáveis de ambiente no campo da matriz taskEnvironments
.
Por exemplo, para criar uma tarefa que inclua uma matriz de 3 variáveis de ambiente com nomes correspondentes e valores diferentes, e passe as variáveis de ambiente para os scripts de 3 tarefas com base nos respetivos índices, faça o seguinte pedido:
POST https://batch.googleapis.com/v1/projects/<var>PROJECT_ID</var>/locations/us-central1/jobs?job_id=example-task-environment-variables-job
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"script": {
"text": "echo Hello ${TASK_VARIABLE_NAME}! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks."
},
}
],
"computeResource": {
"cpuMilli": 2000,
"memoryMib": 16
}
},
"taskCount": 3,
"taskEnvironments": [
{
"variables": {
"TASK_VARIABLE_NAME": "TASK_VARIABLE_VALUE_0"
}
},
{
"variables": {
"TASK_VARIABLE_NAME": "TASK_VARIABLE_VALUE_1"
}
},
{
"variables": {
"TASK_VARIABLE_NAME": "TASK_VARIABLE_VALUE_2"
}
}
]
}
],
"allocationPolicy": {
"instances": [
{
"policy": { "machineType": "e2-standard-4" }
}
]
}
}
Substitua o seguinte:
PROJECT_ID
: o ID do projeto do seu projeto.TASK_VARIABLE_NAME
: o nome das variáveis de ambiente transmitidas às tarefas com índices correspondentes. Por convenção, os nomes das variáveis de ambiente são escritos em maiúsculas.TASK_VARIABLE_VALUE_0
: o valor da variável de ambiente transmitida à primeira tarefa, para a qualBATCH_TASK_INDEX
é igual a0
.TASK_VARIABLE_VALUE_1
: o valor da variável de ambiente transmitida à segunda tarefa, para a qualBATCH_TASK_INDEX
é igual a1
.TASK_VARIABLE_VALUE_2
: o valor da variável de ambiente transmitida à terceira tarefa, para a qualBATCH_TASK_INDEX
é igual a2
.
O que se segue?
- Se tiver problemas ao criar ou executar uma tarefa, consulte a secção Resolução de problemas.
- Ver empregos e tarefas.
- Saiba mais sobre as opções de criação de tarefas.