ExecutionTemplate

A descrição de uma carga de trabalho de execução de notebook.

Representação JSON
{
  "scaleTier": enum (ScaleTier),
  "masterType": string,
  "acceleratorConfig": {
    object (SchedulerAcceleratorConfig)
  },
  "labels": {
    string: string,
    ...
  },
  "inputNotebookFile": string,
  "containerImageUri": string,
  "outputNotebookFolder": string,
  "paramsYamlFile": string,
  "parameters": string,
  "serviceAccount": string,
  "jobType": enum (JobType),
  "kernelSpec": string,
  "tensorboard": string,

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "dataprocParameters": {
    object (DataprocParameters)
  },
  "vertexAiParameters": {
    object (VertexAIParameters)
  }
  // End of mutually exclusive fields.
}
Campos
scaleTier
(deprecated)

enum (ScaleTier)

Obrigatório. Nível de escalonamento do hardware usado para a execução do notebook. DEPRECATED Será descontinuado. No momento, apenas PERSONALIZADA é compatível.

masterType

string

Especifica o tipo de máquina virtual que será usado para o worker mestre do job de treinamento. Especifique esse campo quando scaleTier estiver definido como CUSTOM.

É possível usar certos tipos de máquina do Compute Engine diretamente nesse campo. Veja a seguir os tipos compatíveis:

  • n1-standard-4
  • n1-standard-8
  • n1-standard-16
  • n1-standard-32
  • n1-standard-64
  • n1-standard-96
  • n1-highmem-2
  • n1-highmem-4
  • n1-highmem-8
  • n1-highmem-16
  • n1-highmem-32
  • n1-highmem-64
  • n1-highmem-96
  • n1-highcpu-16
  • n1-highcpu-32
  • n1-highcpu-64
  • n1-highcpu-96

Como alternativa, use os seguintes tipos de máquina legados:

  • standard
  • large_model
  • complex_model_s
  • complex_model_m
  • complex_model_l
  • standard_gpu
  • complex_model_m_gpu
  • complex_model_l_gpu
  • standard_p100
  • complex_model_m_p100
  • standard_v100
  • large_model_v100
  • complex_model_m_v100
  • complex_model_l_v100

Por fim, se você quiser usar uma TPU para treinamento, especifique cloud_tpu neste campo. Saiba mais sobre as opções especiais de configuração para treinamento com TPU.

acceleratorConfig

object (SchedulerAcceleratorConfig)

Configuração (contagem e tipo de acelerador) para a execução do notebook em hardware.

labels

map (key: string, value: string)

Rótulos para execução. Se a execução for programada, um campo incluído será "nbs-scheduled". Caso contrário, será uma execução imediata, e um campo incluído será "nbs-immediate". Use campos para indexar com eficiência entre vários tipos de execuções.

Um objeto com uma lista de pares "key": value. Exemplo: { "name": "wrench", "mass": "1.3kg", "count": "3" }.

inputNotebookFile

string

Caminho para o arquivo de notebook a ser executado. Precisa estar em um bucket do Google Cloud Storage. Formato: gs://{bucket_name}/{folder}/{notebook_file_name} Ex: gs://notebook_user/scheduled_notebooks/sentiment_notebook.ipynb

containerImageUri

string

URI da imagem do contêiner para um exemplo de DLVM: "gcr.io/deeplearning-platform-release/base-cu100". Mais exemplos podem ser encontrados em: https://cloud.google.com/ai-platform/deep-learning-containers/docs/choosing-container

outputNotebookFolder

string

Caminho para a pasta do notebook em que será feita a gravação. Precisa estar em um caminho de bucket do Google Cloud Storage. Formato: gs://{bucket_name}/{folder} Ex: gs://notebook_user/scheduled_notebooks

paramsYamlFile

string

Parâmetros a serem substituídos no notebook durante a execução. Consulte https://papermill.readthedocs.io/en/latest/usage-parameterize.html para saber como especificar parâmetros no notebook de entrada e transmiti-los aqui em um arquivo YAML. Ex: gs://notebook_user/scheduled_notebooks/sentiment_notebook_params.yaml

parameters

string

Parâmetros usados no notebook "inputNotebookFile".

serviceAccount

string

O endereço de e-mail de uma conta de serviço a ser usada ao executar a execução. Você precisa ter a permissão iam.serviceAccounts.actAs para a conta de serviço especificada.

jobType

enum (JobType)

O tipo de trabalho a ser usado nesta execução.

kernelSpec

string

Nome da especificação do kernel a ser usada. Isso precisa ser especificado se o nome da especificação do kernel no destino de execução não corresponder ao nome no arquivo de notebook de entrada.

tensorboard

string

O nome de um recurso do [TensorBoard] da Vertex AI em que esta execução vai fazer upload dos registros do TensorBoard. Formato: projects/{project}/locations/{location}/tensorboards/{tensorboard}

Parâmetros para um tipo de execução. OBSERVAÇÃO: no momento, não há parâmetros extras para jobs da Vertex AI. Confira a seguir uma lista de campos mutuamente exclusivos. No máximo um dos campos será definido em uma resposta:
dataprocParameters

object (DataprocParameters)

Parâmetros usados em execuções de JobType do Dataproc.

vertexAiParameters

object (VertexAIParameters)

Parâmetros usados em execuções de JobType da Vertex AI.

Fim dos campos mutuamente exclusivos.

ScaleTier

Obrigatório. Especifica os tipos de máquina, o número de réplicas dos workers e os servidores de parâmetros.

Tipos enumerados
SCALE_TIER_UNSPECIFIED Nível de escalonamento não especificado.
BASIC Uma única instância de worker. Esse nível é adequado para aprender a usar o Cloud ML e testar novos modelos usando pequenos conjuntos de dados.
STANDARD_1 Muitos workers e poucos servidores de parâmetros.
PREMIUM_1 Um grande número de workers com muitos servidores de parâmetros.
BASIC_GPU Uma única instância de worker com uma GPU K80.
BASIC_TPU Uma única instância de worker com um Cloud TPU.
CUSTOM

CUSTOM não é um nível definido. Na verdade, ela permite que você use sua própria especificação de cluster. Ao usá-lo, defina valores para configurar o cluster de processamento de acordo com estas diretrizes:

  • É necessário definir ExecutionTemplate.masterType para especificar o tipo de máquina que será usado para o nó mestre. Essa é a única configuração obrigatória.

SchedulerAcceleratorConfig

Definição de um acelerador de hardware. Nem todas as combinações de type e coreCount são válidas. Consulte GPUs no Compute Engine para encontrar uma combinação válida. TPUs não são compatíveis.

Representação JSON
{
  "type": enum (SchedulerAcceleratorType),
  "coreCount": string
}
Campos
type

enum (SchedulerAcceleratorType)

Tipo do acelerador.

coreCount

string (int64 format)

Contagem de núcleos deste acelerador.

SchedulerAcceleratorType

Tipos de aceleradores de hardware para jobs do AI Platform Training.

Tipos enumerados
SCHEDULER_ACCELERATOR_TYPE_UNSPECIFIED Tipo de acelerador não especificado. O padrão é nenhuma GPU.
NVIDIA_TESLA_K80 GPU Nvidia Tesla K80.
NVIDIA_TESLA_P100 GPU Nvidia Tesla P100.
NVIDIA_TESLA_V100 GPU Nvidia Tesla V100.
NVIDIA_TESLA_P4 GPU Nvidia Tesla P4.
NVIDIA_TESLA_T4 GPU NVIDIA Tesla T4.
NVIDIA_TESLA_A100 GPU Nvidia Tesla A100.
TPU_V2 TPU v2.
TPU_V3 TPU v3.

JobType

O back-end usado para esta execução.

Tipos enumerados
JOB_TYPE_UNSPECIFIED Nenhum tipo especificado.
VERTEX_AI Job personalizado em aiplatform.googleapis.com. Valor padrão de uma execução.
DATAPROC Execute a execução em um cluster com o Dataproc como um job. https://cloud.google.com/dataproc/docs/reference/rest/v1/projects.regions.jobs

DataprocParameters

Parâmetros usados em execuções de JobType do Dataproc.

Representação JSON
{
  "cluster": string
}
Campos
cluster

string

URI do cluster usado para executar o Dataproc. Formato: projects/{PROJECT_ID}/regions/{REGION}/clusters/{CLUSTER_NAME}

VertexAIParameters

Parâmetros usados em execuções de JobType da Vertex AI.

Representação JSON
{
  "network": string,
  "env": {
    string: string,
    ...
  }
}
Campos
network

string

O nome completo da rede do Compute Engine com que o job fará peering. Por exemplo, projects/12345/global/networks/myVPC. O formato está na forma projects/{project}/global/networks/{network}. Em que {project} é um número de projeto, como em 12345, e {network} é um nome de rede.

O acesso a serviços particulares já precisa estar configurado na rede. Se não for especificado, o job não fará peering com nenhuma rede.

env

map (key: string, value: string)

Variáveis de ambiente. É possível especificar no máximo 100 variáveis de ambiente exclusivas. Exemplo: GCP_BUCKET=gs://my-bucket/samples/

Um objeto com uma lista de pares "key": value. Exemplo: { "name": "wrench", "mass": "1.3kg", "count": "3" }.