Gerenciar recursos em fila

Com os recursos em fila, é possível solicitar recursos do Cloud TPU de maneira enfileirada. A solicitação de recursos em fila que você faz é adicionada a uma fila que é mantida pelo serviço Cloud TPU. Quando o recurso solicitado fica disponível, ele é atribuído ao projeto do Google Cloud para uso exclusivo e imediato. Ele vai permanecer atribuído ao seu projeto, a menos que seja excluído ou interrompido. Somente VMs spot de TPU e TPUs preemptivas estão qualificadas para a preempção.

Observação: os exemplos mostrados neste documento usam a TPU v5e. Se você quiser usar uma versão de TPU diferente, atualize as flags --accelerator-type e --runtime-version. Para mais informações sobre as versões de TPU, consulte Versões de TPU. Para mais informações sobre as versões do ambiente de execução, consulte Versões do ambiente de execução de TPU.

É possível especificar horários de início e término opcionais para uma solicitação de recurso em fila. O horário de início especifica o primeiro horário em que a solicitação pode ser atendida. Se uma solicitação não é atendida até o horário de término especificado, ela expira. A solicitação permanece na fila depois de expirar.

As solicitações de recursos em fila podem estar em um dos seguintes estados:

WAITING_FOR_RESOURCES

A solicitação passou pela validação inicial e foi adicionada à fila. Ela permanece nesse estado até que haja recursos livres suficientes para iniciar o provisionamento da solicitação ou o intervalo de alocação expire. Quando a demanda é alta, nem todas as solicitações podem ser provisionadas imediatamente. Se você precisar de uma disponibilidade de TPUs mais confiável, considere comprar uma reserva.

Importante: WAITING_FOR_RESOURCES substituiu o estado ACCEPTED. Se o código tiver uma lógica que aguarda que os recursos em fila entrem no estado ACCEPTED, talvez seja necessário atualizá-lo para esperar pelo estado WAITING_FOR_RESOURCES.

PROVISIONING

A solicitação foi selecionada na fila e os recursos estão sendo alocados.

ACTIVE

A solicitação foi alocada. Quando as solicitações de recursos em fila estão no estado ACTIVE, é possível gerenciar as VMs de TPU conforme descrito em Gerenciar TPUs.

FAILED

Não foi possível concluir a solicitação porque há um problema com ela ou os recursos solicitados não estavam disponíveis no intervalo de alocação. A solicitação permanece na fila até ser excluída explicitamente.

SUSPENDING

Os recursos associados à solicitação estão sendo excluídos.

SUSPENDED

Os recursos especificados na solicitação foram excluídos. Quando uma solicitação está no estado SUSPENDED, ela não se qualifica mais para alocação adicional.

Pré-requisitos

Antes de executar os comandos neste guia, instale a CLI do Google Cloud, crie um projeto do Google Cloud e ative a API Cloud TPU. Para instruções, consulte Configurar o ambiente do Cloud TPU.

Se você estiver usando uma das bibliotecas de cliente do Cloud, siga as instruções de configuração para a linguagem em uso:

• Python
• Java

Solicitar um recurso em fila on demand

Os recursos on demand não serão interrompidos, mas a cota on demand não garante que haverá recursos suficientes do Cloud TPU disponíveis para atender à solicitação. Para mais informações sobre recursos on demand, consulte Tipos de cota.

gcloud

gcloud compute tpus queued-resources create your-queued-resource-id \
    --node-id your-node-id \
    --project your-project-id \
    --zone us-central1-a \
    --accelerator-type v5litepod-8 \
    --runtime-version v2-alpha-tpuv5-lite

Descrições dos parâmetros de comando

queued-resource-id

O ID atribuído pelo usuário da solicitação de recurso em fila.

node-id

O ID atribuído pelo usuário da TPU, que é criado quando a solicitação de recurso em fila é alocada.

project

Seu projeto do Google Cloud .

zone

A zona em que você planeja criar o Cloud TPU.

accelerator-type

O tipo de acelerador especifica a versão e o tamanho do Cloud TPU que você quer criar. Para mais informações sobre os tipos de aceleradores aceitos por cada versão de TPU, consulte Versões de TPU.

runtime-version

A versão do software do Cloud TPU.

curl

curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d "{
    'tpu': {
    'node_spec': {
        'parent': 'projects/your-project-number/locations/us-central1-a',
        'node_id': 'your-node-id',
        'node': {
        'accelerator_type': 'v5litepod-8',
        'runtime_version': 'v2-alpha-tpuv5-lite',
        }
    }
    }
}" \
https://tpu.googleapis.com/v2alpha1/projects/your-project-id/locations/us-central1-a/queuedResources?queued_resource_id=your-queued-resource-id

Descrições dos parâmetros de comando

queued-resource-id

O ID atribuído pelo usuário da solicitação de recurso em fila.

node-id

O ID atribuído pelo usuário da TPU, que é criado quando a solicitação de recurso em fila é alocada.

project

Seu projeto do Google Cloud .

zone

A zona em que você planeja criar o Cloud TPU.

accelerator-type

O tipo de acelerador especifica a versão e o tamanho do Cloud TPU que você quer criar. Para mais informações sobre os tipos de aceleradores aceitos por cada versão de TPU, consulte Versões de TPU.

runtime-version

A versão do software do Cloud TPU.

Console

1. No console do Google Cloud , acesse a página TPUs:

   Acessar TPUs

2. Clique em Criar TPU.

3. No campo Nome, insira um nome para a TPU.

4. Na caixa Zona, selecione a zona em que você quer criar a TPU.

5. Na caixa Tipo de TPU, selecione um tipo de acelerador. O tipo de acelerador especifica a versão e o tamanho do Cloud TPU que você quer criar. Para mais informações sobre os tipos de acelerador aceitos em cada versão de TPU, consulte Versões de TPU.

6. Na caixa Versão do software de TPU, selecione uma versão. Ao criar uma VM do Cloud TPU, a versão do software de TPU especifica a versão do ambiente de execução da TPU que será instalada. Para mais informações, consulte Versões do software de TPU.

7. Clique no botão Ativar enfileiramento.

8. No campo Nome do recurso em fila, digite um nome para a solicitação de recurso em fila.

9. Clique em Criar para criar a solicitação de recurso em fila.

Java

Para autenticar-se no Cloud TPU, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.

import com.google.cloud.tpu.v2alpha1.CreateQueuedResourceRequest;
import com.google.cloud.tpu.v2alpha1.Node;
import com.google.cloud.tpu.v2alpha1.QueuedResource;
import com.google.cloud.tpu.v2alpha1.TpuClient;
import java.io.IOException;
import java.util.concurrent.ExecutionException;
import java.util.concurrent.TimeUnit;
import java.util.concurrent.TimeoutException;

public class CreateQueuedResource {
  public static void main(String[] args)
          throws IOException, ExecutionException, InterruptedException, TimeoutException {
    // TODO(developer): Replace these variables before running the sample.
    // Project ID or project number of the Google Cloud project you want to create a node.
    String projectId = "YOUR_PROJECT_ID";
    // The zone in which to create the TPU.
    // For more information about supported TPU types for specific zones,
    // see https://cloud.google.com/tpu/docs/regions-zones
    String zone = "us-central1-a";
    // The name for your TPU.
    String nodeName = "YOUR_NODE_ID";
    // The accelerator type that specifies the version and size of the Cloud TPU you want to create.
    // For more information about supported accelerator types for each TPU version,
    // see https://cloud.google.com/tpu/docs/system-architecture-tpu-vm#versions.
    String tpuType = "v5litepod-4";
    // Software version that specifies the version of the TPU runtime to install.
    // For more information see https://cloud.google.com/tpu/docs/runtimes
    String tpuSoftwareVersion = "v2-tpuv5-litepod";
    // The name for your Queued Resource.
    String queuedResourceId = "QUEUED_RESOURCE_ID";

    createQueuedResource(
        projectId, zone, queuedResourceId, nodeName, tpuType, tpuSoftwareVersion);
  }

  // Creates a Queued Resource
  public static QueuedResource createQueuedResource(String projectId, String zone,
      String queuedResourceId, String nodeName, String tpuType, String tpuSoftwareVersion)
          throws IOException, ExecutionException, InterruptedException, TimeoutException {
    String resource = String.format("projects/%s/locations/%s/queuedResources/%s",
            projectId, zone, queuedResourceId);
    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests.
    try (TpuClient tpuClient = TpuClient.create()) {
      String parent = String.format("projects/%s/locations/%s", projectId, zone);
      Node node =
          Node.newBuilder()
              .setName(nodeName)
              .setAcceleratorType(tpuType)
              .setRuntimeVersion(tpuSoftwareVersion)
              .setQueuedResource(resource)
              .build();

      QueuedResource queuedResource =
          QueuedResource.newBuilder()
              .setName(queuedResourceId)
              .setTpu(
                  QueuedResource.Tpu.newBuilder()
                      .addNodeSpec(
                          QueuedResource.Tpu.NodeSpec.newBuilder()
                              .setParent(parent)
                              .setNode(node)
                              .setNodeId(nodeName)
                              .build())
                      .build())
              .build();

      CreateQueuedResourceRequest request =
          CreateQueuedResourceRequest.newBuilder()
              .setParent(parent)
              .setQueuedResourceId(queuedResourceId)
              .setQueuedResource(queuedResource)
              .build();

      return tpuClient.createQueuedResourceAsync(request).get(1, TimeUnit.MINUTES);
    }
  }
}

Python

Para autenticar-se no Cloud TPU, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.

from google.cloud import tpu_v2alpha1

# TODO(developer): Update and un-comment below lines
# project_id = "your-project-id"
# zone = "us-central1-a"
# tpu_name = "tpu-name"
# tpu_type = "v5litepod-4"
# runtime_version = "v2-tpuv5-litepod"
# queued_resource_name = "resource-name"

node = tpu_v2alpha1.Node()
node.accelerator_type = tpu_type
# To see available runtime version use command:
# gcloud compute tpus versions list --zone={ZONE}
node.runtime_version = runtime_version

node_spec = tpu_v2alpha1.QueuedResource.Tpu.NodeSpec()
node_spec.parent = f"projects/{project_id}/locations/{zone}"
node_spec.node_id = tpu_name
node_spec.node = node

resource = tpu_v2alpha1.QueuedResource()
resource.tpu = tpu_v2alpha1.QueuedResource.Tpu(node_spec=[node_spec])

request = tpu_v2alpha1.CreateQueuedResourceRequest(
    parent=f"projects/{project_id}/locations/{zone}",
    queued_resource_id=queued_resource_name,
    queued_resource=resource,
)

client = tpu_v2alpha1.TpuClient()
operation = client.create_queued_resource(request=request)

response = operation.result()
print(response.name)
print(response.state)
# Example response:
# projects/[project_id]/locations/[zone]/queuedResources/resource-name
# State.WAITING_FOR_RESOURCES

Importante: os recursos em fila consomem cota, seja qual for o estado da solicitação. Exclua os recursos em fila após o uso para evitar o bloqueio de solicitações futuras de limite de cota. Para mais informações sobre cotas de TPU, consulte Cota de TPU.

Solicitar um recurso em fila usando uma reserva

É possível solicitar um recurso em fila usando uma reserva. Para comprar uma reserva, entre em contato com a equipe de conta do Google Cloud .

gcloud

gcloud compute tpus queued-resources create your-queued-resource-id \
    --node-id your-node-id \
    --project your-project-id \
    --zone us-central1-a \
    --accelerator-type v5litepod-8 \
    --runtime-version v2-alpha-tpuv5-lite \
    --reserved

Descrições dos parâmetros de comando

queued-resource-id

O ID atribuído pelo usuário da solicitação de recurso em fila.

node-id

O ID atribuído pelo usuário da TPU, que é criado quando a solicitação de recurso em fila é alocada.

project

Seu projeto do Google Cloud .

zone

A zona em que você planeja criar o Cloud TPU.

accelerator-type

O tipo de acelerador especifica a versão e o tamanho do Cloud TPU que você quer criar. Para mais informações sobre os tipos de aceleradores aceitos por cada versão de TPU, consulte Versões de TPU.

runtime-version

A versão do software do Cloud TPU.

reserved

Use essa flag ao solicitar recursos em fila como parte de uma reserva do Cloud TPU.

curl

curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d "{
    'tpu': {
    'node_spec': {
        'parent': 'projects/your-project-number/locations/us-central1-a',
        'node_id': 'your-node-id',
        'node': {
        'accelerator_type': 'v5litepod-8',
        'runtime_version': 'v2-alpha-tpuv5-lite',
        }
    }
    },
    'guaranteed': {
    'reserved': true,
    }
}" \
https://tpu.googleapis.com/v2alpha1/projects/your-project-id/locations/us-central1-a/queuedResources?queued_resource_id=your-queued-resource-id

Descrições dos parâmetros de comando

queued-resource-id

O ID atribuído pelo usuário da solicitação de recurso em fila.

node-id

O ID atribuído pelo usuário da TPU, que é criado quando a solicitação de recurso em fila é alocada.

project

Seu projeto do Google Cloud .

zone

A zona em que você planeja criar o Cloud TPU.

accelerator-type

O tipo de acelerador especifica a versão e o tamanho do Cloud TPU que você quer criar. Para mais informações sobre os tipos de aceleradores aceitos por cada versão de TPU, consulte Versões de TPU.

runtime-version

A versão do software do Cloud TPU.

reserved

Use essa flag ao solicitar recursos em fila como parte de uma reserva do Cloud TPU.

Console

1. No console do Google Cloud , acesse a página TPUs:

   Acessar TPUs

2. Clique em Criar TPU.

3. No campo Nome, insira um nome para a TPU.

4. Na caixa Zona, selecione a zona em que você quer criar a TPU.

5. Na caixa Tipo de TPU, selecione um tipo de acelerador. O tipo de acelerador especifica a versão e o tamanho do Cloud TPU que você quer criar. Para mais informações sobre os tipos de acelerador aceitos em cada versão de TPU, consulte Versões de TPU.

6. Na caixa Versão do software de TPU, selecione uma versão. Ao criar uma VM do Cloud TPU, a versão do software de TPU especifica a versão do ambiente de execução da TPU que será instalada. Para mais informações, consulte Versões do software de TPU.

7. Clique no botão Ativar enfileiramento.

8. No campo Nome do recurso em fila, digite um nome para a solicitação de recurso em fila.

9. Expanda a seção Gerenciamento.

10. Marque a caixa de seleção Usar a reserva atual.

11. Clique em Criar para criar a solicitação de recurso em fila.

Solicitar um recurso em fila de VM spot de TPU

Uma VM spot é um recurso que pode ser interrompido e atribuído a outra carga de trabalho a qualquer momento. Os recursos de VM spot custam menos, e você pode ter acesso a eles mais cedo em comparação com uma solicitação de VM que não é spot. Para mais informações sobre VMs spot de TPU, consulte Gerenciar VMs spot de TPU.

gcloud

gcloud compute tpus queued-resources create your-queued-resource-id \
    --node-id your-node-id \
    --project your-project-id \
    --zone us-central1-a \
    --accelerator-type v5litepod-8 \
    --runtime-version v2-alpha-tpuv5-lite \
    --spot

Descrições dos parâmetros de comando

queued-resource-request-id

O ID atribuído pelo usuário da solicitação de recurso em fila.

node-id

O ID definido pelo usuário da TPU criada em resposta à solicitação.

project

O ID do projeto em que o recurso em fila está alocado.

zone

A zona em que você planeja criar o Cloud TPU.

accelerator-type

O tipo de acelerador especifica a versão e o tamanho do Cloud TPU que você quer criar. Para mais informações sobre os tipos de aceleradores aceitos por cada versão de TPU, consulte Versões de TPU.

runtime-version

A versão do software do Cloud TPU.

spot

Uma flag booleana que especifica que o recurso em fila é uma VM spot.

curl

curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d "{
    'tpu': {
    'node_spec': {
        'parent': 'projects/your-project-number/locations/us-central1-a',
        'node_id': 'your-node-id',
        'node': {
        'accelerator_type': 'v5litepod-8',
        'runtime_version': 'v2-alpha-tpuv5-lite'
        }
    }
    },
    'spot': {}
}" \
https://tpu.googleapis.com/v2alpha1/projects/your-project-id/locations/us-central1-a/queuedResources?queued_resource_id=your-queued-resource-id

Descrições dos parâmetros de comando

queued-resource-request-id

O ID atribuído pelo usuário da solicitação de recurso em fila.

node-id

O ID definido pelo usuário da TPU criada em resposta à solicitação.

project

O ID do projeto em que o recurso em fila está alocado.

zone

A zona em que você planeja criar o Cloud TPU.

accelerator-type

O tipo de acelerador especifica a versão e o tamanho do Cloud TPU que você quer criar. Para mais informações sobre os tipos de aceleradores aceitos por cada versão de TPU, consulte Versões de TPU.

runtime-version

A versão do software do Cloud TPU.

spot

Uma flag booleana que especifica que o recurso em fila é uma VM spot.

Console

1. No console do Google Cloud , acesse a página TPUs:

   Acessar TPUs

2. Clique em Criar TPU.

3. No campo Nome, insira um nome para a TPU.

4. Na caixa Zona, selecione a zona em que você quer criar a TPU.

5. Na caixa Tipo de TPU, selecione um tipo de acelerador. O tipo de acelerador especifica a versão e o tamanho do Cloud TPU que você quer criar. Para mais informações sobre os tipos de acelerador aceitos em cada versão de TPU, consulte Versões de TPU.

6. Na caixa Versão do software de TPU, selecione uma versão. Ao criar uma VM do Cloud TPU, a versão do software de TPU especifica a versão do ambiente de execução da TPU que será instalada. Para mais informações, consulte Versões do software de TPU.

7. Clique no botão Ativar enfileiramento.

8. No campo Nome do recurso em fila, digite um nome para a solicitação de recurso em fila.

9. Expanda a seção Gerenciamento.

10. Marque a caixa de seleção Transformar esta VM em uma VM spot de TPU.

11. Clique em Criar.

Java

Para autenticar-se no Cloud TPU, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.

import com.google.cloud.tpu.v2alpha1.CreateQueuedResourceRequest;
import com.google.cloud.tpu.v2alpha1.Node;
import com.google.cloud.tpu.v2alpha1.QueuedResource;
import com.google.cloud.tpu.v2alpha1.SchedulingConfig;
import com.google.cloud.tpu.v2alpha1.TpuClient;
import java.io.IOException;
import java.util.concurrent.ExecutionException;

public class CreateSpotQueuedResource {
  public static void main(String[] args)
      throws IOException, ExecutionException, InterruptedException {
    // TODO(developer): Replace these variables before running the sample.
    // Project ID or project number of the Google Cloud project you want to create a node.
    String projectId = "YOUR_PROJECT_ID";
    // The zone in which to create the TPU.
    // For more information about supported TPU types for specific zones,
    // see https://cloud.google.com/tpu/docs/regions-zones
    String zone = "us-central1-a";
    // The name for your TPU.
    String nodeName = "YOUR_TPU_NAME";
    // The accelerator type that specifies the version and size of the Cloud TPU you want to create.
    // For more information about supported accelerator types for each TPU version,
    // see https://cloud.google.com/tpu/docs/system-architecture-tpu-vm#versions.
    String tpuType = "v5litepod-4";
    // Software version that specifies the version of the TPU runtime to install.
    // For more information see https://cloud.google.com/tpu/docs/runtimes
    String tpuSoftwareVersion = "v2-tpuv5-litepod";
    // The name for your Queued Resource.
    String queuedResourceId = "QUEUED_RESOURCE_ID";

    createQueuedResource(
        projectId, zone, queuedResourceId, nodeName, tpuType, tpuSoftwareVersion);
  }

  // Creates a Queued Resource with --preemptible flag.
  public static QueuedResource createQueuedResource(
      String projectId, String zone, String queuedResourceId,
      String nodeName, String tpuType, String tpuSoftwareVersion)
      throws IOException, ExecutionException, InterruptedException {
    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests.
    try (TpuClient tpuClient = TpuClient.create()) {
      String parent = String.format("projects/%s/locations/%s", projectId, zone);
      String resourceName = String.format("projects/%s/locations/%s/queuedResources/%s",
              projectId, zone, queuedResourceId);
      SchedulingConfig schedulingConfig = SchedulingConfig.newBuilder()
          .setPreemptible(true)
          .build();

      Node node =
          Node.newBuilder()
              .setName(nodeName)
              .setAcceleratorType(tpuType)
              .setRuntimeVersion(tpuSoftwareVersion)
              .setSchedulingConfig(schedulingConfig)
              .setQueuedResource(resourceName)
              .build();

      QueuedResource queuedResource =
          QueuedResource.newBuilder()
              .setName(queuedResourceId)
              .setTpu(
                  QueuedResource.Tpu.newBuilder()
                      .addNodeSpec(
                          QueuedResource.Tpu.NodeSpec.newBuilder()
                              .setParent(parent)
                              .setNode(node)
                              .setNodeId(nodeName)
                              .build())
                      .build())
              .build();

      CreateQueuedResourceRequest request =
          CreateQueuedResourceRequest.newBuilder()
              .setParent(parent)
              .setQueuedResourceId(queuedResourceId)
              .setQueuedResource(queuedResource)
              .build();

      return tpuClient.createQueuedResourceAsync(request).get();
    }
  }
}

Python

Para autenticar-se no Cloud TPU, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.

from google.cloud import tpu_v2alpha1

# TODO(developer): Update and un-comment below lines
# project_id = "your-project-id"
# zone = "us-central1-a"
# tpu_name = "tpu-name"
# tpu_type = "v5litepod-4"
# runtime_version = "v2-tpuv5-litepod"
# queued_resource_name = "resource-name"

node = tpu_v2alpha1.Node()
node.accelerator_type = tpu_type
# To see available runtime version use command:
# gcloud compute tpus versions list --zone={ZONE}
node.runtime_version = runtime_version

node_spec = tpu_v2alpha1.QueuedResource.Tpu.NodeSpec()
node_spec.parent = f"projects/{project_id}/locations/{zone}"
node_spec.node_id = tpu_name
node_spec.node = node

resource = tpu_v2alpha1.QueuedResource()
resource.tpu = tpu_v2alpha1.QueuedResource.Tpu(node_spec=[node_spec])
# Create a spot resource
resource.spot = tpu_v2alpha1.QueuedResource.Spot()

request = tpu_v2alpha1.CreateQueuedResourceRequest(
    parent=f"projects/{project_id}/locations/{zone}",
    queued_resource_id=queued_resource_name,
    queued_resource=resource,
)

client = tpu_v2alpha1.TpuClient()
operation = client.create_queued_resource(request=request)
response = operation.result()

print(response.name)
print(response.state)
# Example response:
# projects/[project_id]/locations/[zone]/queuedResources/resource-name
# State.WAITING_FOR_RESOURCES

Solicitar que um recurso em fila seja alocado antes ou depois de um horário especificado

É possível especificar um horário de início ou de término opcional em uma solicitação de recurso em fila. O horário ou a duração de início especifica a partir de quando a solicitação pode ser atendida. O horário ou a duração de término especifica por quanto tempo a solicitação permanece válida. Se uma solicitação não é atendida até o horário de término especificado ou durante o período especificado, ela expira. Depois que a solicitação expira, ela permanece na fila, mas não está mais qualificada para alocação.

Também é possível especificar um intervalo de alocação definindo um horário ou duração de início e de término.

Para conferir uma lista de formatos de carimbo de data/hora e duração aceitos, consulte Data e hora.

Solicitar que um recurso em fila seja atendido após um período especificado

Em uma solicitação de recurso em fila, é possível especificar um horário ou período a partir do qual um recurso deve ser alocado.

gcloud

O comando a seguir solicita a alocação de uma TPU v5p-4096 após as 9h do dia 14 de dezembro de 2022.

gcloud compute tpus queued-resources create your-queued-resource-id \
    --node-id your-node-id \
    --project your-project-id \
    --zone us-east5-a \
    --accelerator-type v5p-4096 \
    --runtime-version v2-alpha-tpuv5 \
    --valid-after-time 2022-12-14T09:00:00Z

Descrições dos parâmetros de comando

queued-resource-request-id

O ID atribuído pelo usuário da solicitação de recurso em fila.

node-id

O ID definido pelo usuário da TPU criada em resposta à solicitação.

project

O projeto do Google Cloud em que o recurso em fila está alocado.

zone

A zona em que você planeja criar o Cloud TPU.

accelerator-type

O tipo de acelerador especifica a versão e o tamanho do Cloud TPU que você quer criar. Para mais informações sobre os tipos de aceleradores disponíveis em cada versão de TPU, consulte Versões de TPU.

runtime-version

A versão do software do Cloud TPU.

valid-after-time

O horário a partir do qual o recurso pode ser alocado. Para mais informações sobre formatos de duração, consulte o tópico sobre datas e horas da CLI do Google Cloud.

curl

O comando a seguir solicita a alocação de uma TPU v5p-4096 após as 9h do dia 14 de dezembro de 2022.

curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d "{
    'tpu': {
    'node_spec': {
        'parent': 'projects/your-project-number/locations/us-east5-a',
        'node_id': 'your-node-id',
        'node': {
        'accelerator_type': 'v5p-4096',
        'runtime_version': 'v2-alpha-tpuv5',
        }
    }
    },
    'queueing_policy': {
    'valid_after_time': {
        'seconds': 2022-12-14T09:00:00Z
    }
    }
}" \
https://tpu.googleapis.com/v2alpha1/projects/your-project-id/locations/us-east5-a/queuedResources?queued_resource_id=your-queued-resource-id

Descrições dos parâmetros de comando

queued-resource-request-id

O ID atribuído pelo usuário da solicitação de recurso em fila.

node-id

O ID definido pelo usuário da TPU criada em resposta à solicitação.

project

O projeto do Google Cloud em que o recurso em fila está alocado.

zone

A zona em que você planeja criar o Cloud TPU.

accelerator-type

O tipo de acelerador especifica a versão e o tamanho do Cloud TPU que você quer criar. Para mais informações sobre os tipos de aceleradores aceitos por cada versão de TPU, consulte Versões de TPU.

runtime-version

A versão do software do Cloud TPU.

valid-after-time

O horário a partir do qual o recurso pode ser alocado. Para mais informações sobre formatos de duração, consulte o tópico sobre datas e horas da CLI do Google Cloud.

Console

1. No console do Google Cloud , acesse a página TPUs:

   Acessar TPUs

2. Clique em Criar TPU.

3. No campo Nome, insira um nome para a TPU.

4. Na caixa Zona, selecione a zona em que você quer criar a TPU.

5. Na caixa Tipo de TPU, selecione um tipo de acelerador. O tipo de acelerador especifica a versão e o tamanho do Cloud TPU que você quer criar. Para mais informações sobre os tipos de acelerador aceitos em cada versão de TPU, consulte Versões de TPU.

6. Na caixa Versão do software de TPU, selecione uma versão. Ao criar uma VM do Cloud TPU, a versão do software de TPU especifica a versão do ambiente de execução da TPU que será instalada. Para mais informações, consulte Versões do software de TPU.

7. Clique no botão Ativar enfileiramento.

8. No campo Nome do recurso em fila, digite um nome para a solicitação de recurso em fila.

9. No campo Iniciar solicitação em, insira o horário a partir do qual o recurso pode ser alocado.

10. Clique em Criar para criar a solicitação de recurso em fila.

O exemplo a seguir solicita que uma v5p-32 seja alocada após seis horas.

Observação: não é possível especificar uma duração para o horário de início da solicitação de recurso em fila no console do Google Cloud .

gcloud

    gcloud compute tpus queued-resources create your-queued-resource-id \
        --node-id your-node-id \
        --project your-project-id \
        --zone us-east5-a \
        --accelerator-type v5p-32 \
        --runtime-version v2-alpha-tpuv5 \
        --valid-after-duration 6h

Descrições dos parâmetros de comando

queued-resource-request-id

O ID atribuído pelo usuário da solicitação de recurso em fila.

node-id

O ID definido pelo usuário da TPU criada em resposta à solicitação.

project

O projeto do Google Cloud em que o recurso em fila está alocado.

zone

A zona em que você planeja criar o Cloud TPU.

accelerator-type

O tipo de acelerador especifica a versão e o tamanho do Cloud TPU que você quer criar. Para mais informações sobre os tipos de aceleradores aceitos por cada versão de TPU, consulte Versões de TPU.

runtime-version

A versão do software do Cloud TPU.

valid-after-duration

O período durante o qual a TPU não pode ser provisionada. Para mais informações sobre formatos de duração, consulte o tópico sobre datas e horas da CLI do Google Cloud

curl

curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d "{
    'tpu': {
    'node_spec': {
        'parent': 'projects/your-project-number/locations/us-east5-a',
        'node_id': 'your-node-id',
        'node': {
        'accelerator_type': 'v5p-32',
        'runtime_version': 'v2-alpha-tpuv5',
        }
    }
    },
'queueing_policy': {
    'valid_after_duration': {
        'seconds': 21600
    }
}" \
https://tpu.googleapis.com/v2alpha1/projects/your-project-id/locations/us-east5-a/queuedResources?queued_resource_id=your-queued-resource-id

Descrições dos parâmetros de comando

queued-resource-request-id

O ID atribuído pelo usuário da solicitação de recurso em fila.

node-id

O ID definido pelo usuário da TPU criada em resposta à solicitação.

project

O projeto do Google Cloud em que o recurso em fila está alocado.

zone

A zona em que você planeja criar o Cloud TPU.

accelerator-type

O tipo de acelerador especifica a versão e o tamanho do Cloud TPU que você quer criar. Para mais informações sobre os tipos de aceleradores aceitos por cada versão de TPU, consulte Versões de TPU.

runtime-version

A versão do software do Cloud TPU.

valid-after-duration

O período durante o qual a TPU não pode ser provisionada. Para mais informações sobre formatos de duração, consulte o tópico sobre datas e horas da CLI do Google Cloud

Java

Para autenticar-se no Cloud TPU, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.

import com.google.cloud.tpu.v2alpha1.CreateQueuedResourceRequest;
import com.google.cloud.tpu.v2alpha1.Node;
import com.google.cloud.tpu.v2alpha1.QueuedResource;
import com.google.cloud.tpu.v2alpha1.TpuClient;
import com.google.protobuf.Duration;
import java.io.IOException;
import java.util.concurrent.ExecutionException;

public class CreateTimeBoundQueuedResource {

  public static void main(String[] args)
          throws IOException, ExecutionException, InterruptedException {
    // TODO(developer): Replace these variables before running the sample.
    // Project ID or project number of the Google Cloud project you want to create a node.
    String projectId = "YOUR_PROJECT_ID";
    // The zone in which to create the TPU.
    // For more information about supported TPU types for specific zones,
    // see https://cloud.google.com/tpu/docs/regions-zones
    String zone = "us-central2-b";
    // The name of your node.
    String nodeId = "YOUR_NODE_ID";
    // The accelerator type that specifies the version and size of the Cloud TPU you want to create.
    // For more information about supported accelerator types for each TPU version,
    // see https://cloud.google.com/tpu/docs/system-architecture-tpu-vm#versions.
    String acceleratorType = "v2-8";
    // Software version that specifies the version of the TPU runtime to install.
    // For more information see https://cloud.google.com/tpu/docs/runtimes
    String runtimeVersion = "v2-tpuv5-litepod";
    // The name of your Queued Resource.
    String queuedResourceId = "YOUR_QUEUED_RESOURCE_ID";

    createTimeBoundQueuedResource(projectId, nodeId,
        queuedResourceId, zone, acceleratorType, runtimeVersion);
  }

  // Creates a Queued Resource with time bound configuration.
  public static QueuedResource createTimeBoundQueuedResource(
      String projectId, String nodeId, String queuedResourceId,
      String zone, String acceleratorType, String runtimeVersion)
          throws IOException, ExecutionException, InterruptedException {
    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests.
    try (TpuClient tpuClient = TpuClient.create()) {
      String parent = String.format("projects/%s/locations/%s", projectId, zone);
      // Create a Duration object representing 6 hours.
      Duration validAfterDuration = Duration.newBuilder().setSeconds(6 * 3600).build();
      // You could also use timestamps like this:
      // Timestamp validAfterTime = Timestamps.parse("2024-10-14T09:00:00Z");

      Node node =
          Node.newBuilder()
              .setName(nodeId)
              .setAcceleratorType(acceleratorType)
              .setRuntimeVersion(runtimeVersion)
              .setQueuedResource(
                  String.format(
                      "projects/%s/locations/%s/queuedResources/%s",
                      projectId, zone, queuedResourceId))
              .build();

      QueuedResource queuedResource =
          QueuedResource.newBuilder()
              .setName(queuedResourceId)
              .setTpu(
                  QueuedResource.Tpu.newBuilder()
                      .addNodeSpec(
                          QueuedResource.Tpu.NodeSpec.newBuilder()
                              .setParent(parent)
                              .setNode(node)
                              .setNodeId(nodeId)
                              .build())
                      .build())
              .setQueueingPolicy(
                  QueuedResource.QueueingPolicy.newBuilder()
                      .setValidAfterDuration(validAfterDuration)
                      // .setValidAfterTime(validAfterTime)
                      .build())
              .build();

      CreateQueuedResourceRequest request =
          CreateQueuedResourceRequest.newBuilder()
              .setParent(parent)
              .setQueuedResource(queuedResource)
              .setQueuedResourceId(queuedResourceId)
              .build();

      return tpuClient.createQueuedResourceAsync(request).get();
    }
  }
}

Solicitar um recurso em fila que expira após um período especificado

Em uma solicitação de recurso em fila, é possível especificar por quanto tempo ela permanece válida. Se a solicitação não é atendida até o horário ou período especificado, ela expira.

gcloud

O comando a seguir solicita uma TPU v5p-4096. Se a solicitação não for atendida até 14 de dezembro de 2022 às 9h, ela vai expirar.

gcloud compute tpus queued-resources create your-queued-resource-id \
    --node-id your-node-id \
    --project your-project-id \
    --zone us-east5-a \
    --accelerator-type v5p-4096 \
    --runtime-version v2-alpha-tpuv5 \
    --valid-until-time 2022-12-14T09:00:00Z

Descrições dos parâmetros de comando

queued-resource-request-id

O ID atribuído pelo usuário da solicitação de recurso em fila.

node-id

O ID definido pelo usuário da TPU criada em resposta à solicitação.

project

O ID do projeto em que o recurso em fila está alocado.

zone

A zona em que você planeja criar o Cloud TPU.

accelerator-type

O tipo de acelerador especifica a versão e o tamanho do Cloud TPU que você quer criar. Para mais informações sobre os tipos de aceleradores disponíveis em cada versão de TPU, consulte Versões de TPU.

runtime-version

A versão do software do Cloud TPU.

valid-until-time

O horário após o qual a solicitação é cancelada. Para mais informações sobre formatos de duração, consulte o tópico sobre datas e horas da CLI do Google Cloud.

curl

O comando a seguir solicita uma TPU v5p-4096. Se a solicitação não for atendida até 14 de dezembro de 2022 às 9h, ela vai expirar.

curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d "{
    'tpu': {
    'node_spec': {
        'parent': 'projects/your-project-number/locations/us-east5-a',
        'node_id': 'your-node-id',
        'node': {
        'accelerator_type': 'v5p-4096',
        'runtime_version': 'v2-alpha-tpuv5',
        }
    }
    },
    'queueing_policy': {
    'valid_until_time': {
        'seconds': 1655197200
    }
    }
}" \
https://tpu.googleapis.com/v2alpha1/projects/your-project-id/locations/us-east5-a/queuedResources?queued_resource_id=your-queued-resource-id

Descrições dos parâmetros de comando

queued-resource-request-id

O ID atribuído pelo usuário da solicitação de recurso em fila.

node-id

O ID definido pelo usuário da TPU criada em resposta à solicitação.

project

O ID do projeto em que o recurso em fila está alocado.

zone

A zona em que você planeja criar o Cloud TPU.

accelerator-type

O tipo de acelerador especifica a versão e o tamanho do Cloud TPU que você quer criar. Para mais informações sobre os tipos de aceleradores disponíveis em cada versão de TPU, consulte Versões de TPU.

runtime-version

A versão do software do Cloud TPU.

valid-until-time

O horário após o qual a solicitação é cancelada. Para mais informações sobre formatos de duração, consulte o tópico sobre datas e horas da CLI do Google Cloud.

Console

1. No console do Google Cloud , acesse a página TPUs:

   Acessar TPUs

2. Clique em Criar TPU.

3. No campo Nome, insira um nome para a TPU.

4. Na caixa Zona, selecione a zona em que você quer criar a TPU.

5. Na caixa Tipo de TPU, selecione um tipo de acelerador. O tipo de acelerador especifica a versão e o tamanho do Cloud TPU que você quer criar. Para mais informações sobre os tipos de acelerador aceitos em cada versão de TPU, consulte Versões de TPU.

6. Na caixa Versão do software de TPU, selecione uma versão. Ao criar uma VM do Cloud TPU, a versão do software de TPU especifica a versão do ambiente de execução da TPU que será instalada. Para mais informações, consulte Versões do software de TPU.

7. Clique no botão Ativar enfileiramento.

8. No campo Nome do recurso em fila, digite um nome para a solicitação de recurso em fila.

9. No campo Cancelar solicitação em, insira o horário em que a solicitação de recurso em fila deve expirar se não for atendida.

10. Clique em Criar para criar a solicitação de recurso em fila.

O exemplo a seguir solicita uma v5p-32. A solicitação vai expirar se não for atendida em seis horas.

Observação: não é possível especificar uma duração até a expiração da solicitação no console do Google Cloud .

gcloud

    gcloud compute tpus queued-resources create your-queued-resource-id \
    --node-id your-node-id \
    --project your-project-id \
    --zone us-east5-a \
    --accelerator-type v5p-32 \
    --runtime-version v2-alpha-tpuv5 \
    --valid-until-duration 6h

Descrições dos parâmetros de comando

queued-resource-request-id

O ID atribuído pelo usuário da solicitação de recurso em fila.

node-id

O ID definido pelo usuário da TPU criada em resposta à solicitação.

project

O projeto do Google Cloud em que o recurso em fila está alocado.

zone

A zona em que você planeja criar o Cloud TPU.

accelerator-type

O tipo de acelerador especifica a versão e o tamanho do Cloud TPU que você quer criar. Para mais informações sobre os tipos de aceleradores aceitos por cada versão de TPU, consulte Versões de TPU.

runtime-version

A versão do software do Cloud TPU.

valid-until-duration

A duração da validade da solicitação. Para mais informações sobre formatos de duração, consulte o tópico sobre datas e horas da CLI do Google Cloud

curl

curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d "{
    'tpu': {
    'node_spec': {
        'parent': 'projects/your-project-number/locations/us-east5-a',
        'node_id': 'your-node-id',
        'node': {
        'accelerator_type': 'v5p-32',
        'runtime_version': 'v2-alpha-tpuv5',
        }
    }
    },
'queueing_policy': {
    'valid_until_duration': {
        'seconds': 21600
    }
}" \
https://tpu.googleapis.com/v2alpha1/projects/your-project-id/locations/us-east5-a/queuedResources?queued_resource_id=your-queued-resource-id

Descrições dos parâmetros de comando

queued-resource-request-id

O ID atribuído pelo usuário da solicitação de recurso em fila.

node-id

O ID definido pelo usuário da TPU criada em resposta à solicitação.

project

O projeto do Google Cloud em que o recurso em fila está alocado.

zone

A zona em que você planeja criar o Cloud TPU.

accelerator-type

O tipo de acelerador especifica a versão e o tamanho do Cloud TPU que você quer criar. Para mais informações sobre os tipos de aceleradores aceitos por cada versão de TPU, consulte Versões de TPU.

runtime-version

A versão do software do Cloud TPU.

valid-until-duration

A duração da validade da solicitação. Para mais informações sobre formatos de duração, consulte o tópico sobre datas e horas da CLI do Google Cloud

Python

Para autenticar-se no Cloud TPU, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.

from google.cloud import tpu_v2alpha1

# TODO(developer): Update and un-comment below lines
# project_id = "your-project-id"
# zone = "us-central1-a"
# tpu_name = "tpu-name"
# tpu_type = "v5litepod-4"
# runtime_version = "v2-tpuv5-litepod"
# queued_resource_name = "resource-name"

node = tpu_v2alpha1.Node()
node.accelerator_type = tpu_type
# To see available runtime version use command:
# gcloud compute tpus versions list --zone={ZONE}
node.runtime_version = runtime_version

node_spec = tpu_v2alpha1.QueuedResource.Tpu.NodeSpec()
node_spec.parent = f"projects/{project_id}/locations/{zone}"
node_spec.node_id = tpu_name
node_spec.node = node

resource = tpu_v2alpha1.QueuedResource()
resource.tpu = tpu_v2alpha1.QueuedResource.Tpu(node_spec=[node_spec])

# Use one of the following queueing policies
resource.queueing_policy = tpu_v2alpha1.QueuedResource.QueueingPolicy(
    # valid_after_duration = "6000s", # Duration after which a resource should be allocated
    valid_until_duration="90s",  # Specify how long a queued resource request remains valid
    # valid_after_time="2024-10-31T09:00:00Z", # Specify a time after which a resource should be allocated
    # valid_until_time="2024-10-29T16:00:00Z",  # Specify a time before which the resource should be allocated
)

request = tpu_v2alpha1.CreateQueuedResourceRequest(
    parent=f"projects/{project_id}/locations/{zone}",
    queued_resource_id=queued_resource_name,
    queued_resource=resource,
)

client = tpu_v2alpha1.TpuClient()
operation = client.create_queued_resource(request=request)

response = operation.result()
print(resource.queueing_policy)
print(response.queueing_policy.valid_until_time)
# Example response:
# valid_until_duration {
#   seconds: 90
# }
# 2024-10-29 14:22:53.562090+00:00

Solicitar que um recurso em fila seja alocado em um intervalo especificado

É possível especificar um intervalo de alocação informando o horário ou a duração de início e o horário ou a duração de término.

gcloud

O comando a seguir solicita uma v5p-32 em cinco horas e 30 minutos a partir do horário atual, e ela deve ser criada até 14 de dezembro de 2022 às 9h.

gcloud compute tpus queued-resources create your-queued-resource-id \
    --node-id your-node-id \
    --project your-project-id \
    --zone us-east5-a \
    --accelerator-type v5p-32 \
    --runtime-version v2-alpha-tpuv5 \
    --valid-after-duration 5h30m \
    --valid-until-time 2022-12-14T09:00:00Z

Descrições de flags de comando

queued-resource-request-id

O ID atribuído pelo usuário da solicitação de recurso em fila.

node-id

O ID definido pelo usuário da TPU criada em resposta à solicitação.

project

O ID do projeto em que o recurso em fila está alocado.

zone

A zona em que você planeja criar o Cloud TPU.

accelerator-type

O tipo de acelerador especifica a versão e o tamanho do Cloud TPU que você quer criar. Para mais informações sobre os tipos de aceleradores aceitos por cada versão de TPU, consulte Versões de TPU.

runtime-version

A versão do software do Cloud TPU.

valid-until-time

O horário após o qual a solicitação é cancelada. Para mais informações sobre formatos de duração, consulte o tópico sobre datas e horas da CLI do Google Cloud.

valid-after-duration

O período durante o qual a TPU não pode ser provisionada. Para mais informações sobre formatos de duração, consulte o tópico sobre datas e horas da CLI do Google Cloud.

curl

O comando a seguir solicita uma v5p-32 em cinco horas e 30 minutos a partir do horário atual, e ela deve ser criada até 14 de dezembro de 2022 às 9h.

curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d "{
    'tpu': {
    'node_spec': {
        'parent': 'projects/your-project-number/locations/us-east5-a',
        'node_id': 'your-node-id',
        'node': {
        'accelerator_type': 'v5p-32',
        'runtime_version': 'v2-alpha-tpuv5',
        }
    }
    },
'queueing_policy': {
    'validInterval': {
        'startTime': '2022-12-10T14:30:00Z',
        'endTime': '2022-12-14T09:00:00Z'
    }
    },
}" \
https://tpu.googleapis.com/v2alpha1/projects/your-project-id/locations/us-east5-a/queuedResources?queued_resource_id=your-queued-resource-id

Descrições de flags de comando

queued-resource-request-id

O ID atribuído pelo usuário da solicitação de recurso em fila.

node-id

O ID definido pelo usuário da TPU criada em resposta à solicitação.

project

O ID do projeto em que o recurso em fila está alocado.

zone

A zona em que você planeja criar o Cloud TPU.

accelerator-type

O tipo de acelerador especifica a versão e o tamanho do Cloud TPU que você quer criar. Para mais informações sobre os tipos de aceleradores aceitos por cada versão de TPU, consulte Versões de TPU.

runtime-version

A versão do software do Cloud TPU.

valid-until-timw

O horário após o qual a solicitação é cancelada. Para mais informações sobre formatos de duração, consulte o tópico sobre datas e horas da CLI do Google Cloud.

valid-until-duration

A duração da validade da solicitação. Para mais informações sobre formatos de duração, consulte o tópico sobre datas e horas da CLI do Google Cloud.

Console

1. No console do Google Cloud , acesse a página TPUs:

   Acessar TPUs

2. Clique em Criar TPU.

3. No campo Nome, insira um nome para a TPU.

4. Na caixa Zona, selecione a zona em que você quer criar a TPU.

5. Na caixa Tipo de TPU, selecione um tipo de acelerador. O tipo de acelerador especifica a versão e o tamanho do Cloud TPU que você quer criar. Para mais informações sobre os tipos de acelerador aceitos em cada versão de TPU, consulte Versões de TPU.

6. Na caixa Versão do software de TPU, selecione uma versão. Ao criar uma VM do Cloud TPU, a versão do software de TPU especifica a versão do ambiente de execução da TPU que será instalada. Para mais informações, consulte Versões do software de TPU.

7. Clique no botão Ativar enfileiramento.

8. No campo Nome do recurso em fila, digite um nome para a solicitação de recurso em fila.

9. No campo Iniciar solicitação em, insira o horário a partir do qual o recurso pode ser alocado.

10. No campo Cancelar solicitação em, insira o horário em que a solicitação de recurso em fila deve expirar se não for atendida.

11. Clique em Criar para criar a solicitação de recurso em fila.

Solicitar um recurso em fila com um script de inicialização

É possível especificar um script para ser executado em um recurso em fila depois do provisionamento.

gcloud

Ao usar o comando gcloud, é possível inserir a flag --metadata ou --metadata-from-file para especificar um comando de script ou um arquivo que contém o código do script, respectivamente. O exemplo a seguir cria uma solicitação de recurso em fila que vai executar o script startup-script.sh.

gcloud compute tpus queued-resources create your-queued-resource-id \
    --node-id your-node-id \
    --project your-project-id \
    --zone us-central1-a \
    --accelerator-type v5litepod-8 \
    --runtime-version v2-alpha-tpuv5-lite \
    --metadata-from-file='startup-script=startup-script.sh'

Descrições de flags de comando

queued-resource-request-id

O ID atribuído pelo usuário da solicitação de recurso em fila.

node-id

O ID definido pelo usuário da TPU criada em resposta à solicitação.

project

O ID do projeto em que o recurso em fila está alocado.

zone

A zona em que você planeja criar o Cloud TPU.

accelerator-type

O tipo de acelerador especifica a versão e o tamanho do Cloud TPU que você quer criar. Para mais informações sobre os tipos de aceleradores disponíveis em cada versão de TPU, consulte Versões de TPU.

runtime-version

A versão do software do Cloud TPU.

validInterval

O período em que a solicitação permanece válida. Depois disso, ela é cancelada. Para mais informações sobre formatos de duração, consulte o tópico sobre datas e horas da CLI do Google Cloud.

metadata-from-file

Especifica um arquivo que contém metadados. Se você não especificar um caminho totalmente qualificado para o arquivo de metadados, o comando vai presumir que ele está no diretório atual. Neste exemplo, o arquivo contém um script de inicialização que é executado quando o recurso em fila é provisionado.

metadata

Especifica metadados para a solicitação. Neste exemplo, os metadados são um comando de script de inicialização que é executado quando o recurso em fila é provisionado.

curl

Ao usar curl, inclua o código do script no conteúdo JSON. O exemplo a seguir inclui um script inline no corpo JSON.

curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d "{
    tpu: {
        node_spec: {
        parent: 'projects/your-project-number/locations/us-central1-a',
        node_id: 'your-node-id',
        node: {
            accelerator_type: 'v5e-8',
            runtime_version: 'v2-alpha-tpuv5-lite',
            metadata: {
                "startup-script": "#! /bin/bash\npwd > /tmp/out.txt\nwhoami >> /tmp/out.txt"
            }
        }
        }
    },
'queueing_policy': {
    'validInterval': {
        'startTime': '2022-12-10T14:30:00Z',
        'endTime': '2022-12-14T09:00:00Z'
    }
    },
}" \
https://tpu.googleapis.com/v2alpha1/projects/your-project-id/locations/us-central1-a/queuedResources?queued_resource_id=your-queued-resource-id

Descrições de flags de comando

queued-resource-request-id

O ID atribuído pelo usuário da solicitação de recurso em fila.

node-id

O ID definido pelo usuário da TPU criada em resposta à solicitação.

project

O ID do projeto em que o recurso em fila está alocado.

zone

A zona em que você planeja criar o Cloud TPU.

accelerator-type

O tipo de acelerador especifica a versão e o tamanho do Cloud TPU que você quer criar. Para mais informações sobre os tipos de aceleradores disponíveis em cada versão de TPU, consulte Versões de TPU.

runtime-version

A versão do software do Cloud TPU.

validInterval

O período em que a solicitação permanece válida. Depois disso, ela é cancelada. Para mais informações sobre formatos de duração, consulte o tópico sobre datas e horas da CLI do Google Cloud.

metadata-from-file

Especifica um arquivo que contém metadados. Se você não especificar um caminho totalmente qualificado para o arquivo de metadados, o comando vai presumir que ele está no diretório atual. Neste exemplo, o arquivo contém um script de inicialização que é executado quando o recurso em fila é provisionado.

metadata

Especifica metadados para a solicitação. Neste exemplo, os metadados são um comando de script de inicialização que é executado quando o recurso em fila é provisionado.

Java

Para autenticar-se no Cloud TPU, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.

import com.google.cloud.tpu.v2alpha1.CreateQueuedResourceRequest;
import com.google.cloud.tpu.v2alpha1.Node;
import com.google.cloud.tpu.v2alpha1.QueuedResource;
import com.google.cloud.tpu.v2alpha1.TpuClient;
import java.io.IOException;
import java.util.HashMap;
import java.util.Map;
import java.util.concurrent.ExecutionException;

public class CreateQueuedResourceWithStartupScript {
  public static void main(String[] args)
      throws IOException, ExecutionException, InterruptedException {
    // TODO(developer): Replace these variables before running the sample.
    // Project ID or project number of the Google Cloud project you want to create a node.
    String projectId = "YOUR_PROJECT_ID";
    // The zone in which to create the TPU.
    // For more information about supported TPU types for specific zones,
    // see https://cloud.google.com/tpu/docs/regions-zones
    String zone = "us-central1-a";
    // The name for your TPU.
    String nodeName = "YOUR_TPU_NAME";
    // The accelerator type that specifies the version and size of the Cloud TPU you want to create.
    // For more information about supported accelerator types for each TPU version,
    // see https://cloud.google.com/tpu/docs/system-architecture-tpu-vm#versions.
    String tpuType = "v5litepod-4";
    // Software version that specifies the version of the TPU runtime to install.
    // For more information see https://cloud.google.com/tpu/docs/runtimes
    String tpuSoftwareVersion = "v2-tpuv5-litepod";
    // The name for your Queued Resource.
    String queuedResourceId = "QUEUED_RESOURCE_ID";

    createQueuedResource(projectId, zone, queuedResourceId, nodeName,
        tpuType, tpuSoftwareVersion);
  }

  // Creates a Queued Resource with startup script.
  public static QueuedResource createQueuedResource(
      String projectId, String zone, String queuedResourceId,
      String nodeName, String tpuType, String tpuSoftwareVersion)
      throws IOException, ExecutionException, InterruptedException {
    String parent = String.format("projects/%s/locations/%s", projectId, zone);
    String startupScriptContent = "#!/bin/bash\necho \"Hello from the startup script!\"";
    // Add startup script to metadata
    Map<String, String> metadata = new HashMap<>();
    metadata.put("startup-script", startupScriptContent);
    String queuedResourceForTpu =  String.format("projects/%s/locations/%s/queuedResources/%s",
            projectId, zone, queuedResourceId);
    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests.
    try (TpuClient tpuClient = TpuClient.create()) {
      Node node =
          Node.newBuilder()
              .setName(nodeName)
              .setAcceleratorType(tpuType)
              .setRuntimeVersion(tpuSoftwareVersion)
              .setQueuedResource(queuedResourceForTpu)
              .putAllMetadata(metadata)
              .build();

      QueuedResource queuedResource =
          QueuedResource.newBuilder()
              .setName(queuedResourceId)
              .setTpu(
                  QueuedResource.Tpu.newBuilder()
                      .addNodeSpec(
                          QueuedResource.Tpu.NodeSpec.newBuilder()
                              .setParent(parent)
                              .setNode(node)
                              .setNodeId(nodeName)
                              .build())
                      .build())
              .build();

      CreateQueuedResourceRequest request =
          CreateQueuedResourceRequest.newBuilder()
              .setParent(parent)
              .setQueuedResourceId(queuedResourceId)
              .setQueuedResource(queuedResource)
              .build();
      // You can wait until TPU Node is READY,
      // and check its status using getTpuVm() from "tpu_vm_get" sample.

      return tpuClient.createQueuedResourceAsync(request).get();
    }
  }
}

Python

Para autenticar-se no Cloud TPU, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.

from google.cloud import tpu_v2alpha1

# TODO(developer): Update and un-comment below lines
# project_id = "your-project-id"
# zone = "us-central1-a"
# tpu_name = "tpu-name"
# tpu_type = "v5litepod-4"
# runtime_version = "v2-tpuv5-litepod"
# queued_resource_name = "resource-name"

node = tpu_v2alpha1.Node()
node.accelerator_type = tpu_type
# To see available runtime version use command:
# gcloud compute tpus versions list --zone={ZONE}
node.runtime_version = runtime_version
# This startup script updates numpy to the latest version and logs the output to a file.
script = {
    "startup-script": """#!/bin/bash
echo "Hello World" > /var/log/hello.log
sudo pip3 install --upgrade numpy >> /var/log/hello.log 2>&1
"""
}
node.metadata = script
# Enabling external IPs for internet access from the TPU node for updating numpy
node.network_config = tpu_v2alpha1.NetworkConfig(
    enable_external_ips=True,
)

node_spec = tpu_v2alpha1.QueuedResource.Tpu.NodeSpec()
node_spec.parent = f"projects/{project_id}/locations/{zone}"
node_spec.node_id = tpu_name
node_spec.node = node

resource = tpu_v2alpha1.QueuedResource()
resource.tpu = tpu_v2alpha1.QueuedResource.Tpu(node_spec=[node_spec])

request = tpu_v2alpha1.CreateQueuedResourceRequest(
    parent=f"projects/{project_id}/locations/{zone}",
    queued_resource_id=queued_resource_name,
    queued_resource=resource,
)

client = tpu_v2alpha1.TpuClient()
operation = client.create_queued_resource(request=request)

response = operation.result()
print(response.name)
print(response.tpu.node_spec[0].node.metadata)
# Example response:
# projects/[project_id]/locations/[zone]/queuedResources/resource-name
# {'startup-script': '#!/bin/bash\n    echo "Hello World" > /var/log/hello.log\n
# sudo pip3 install --upgrade numpy >> /var/log/hello.log 2>&1\n    '}

Solicitar um recurso em fila com uma rede e uma sub-rede especificadas

Em uma solicitação de recurso em fila, é possível especificar uma rede e uma sub-rede para conectar à TPU.

gcloud

gcloud compute tpus queued-resources create your-queued-resource-id \
    --node-id your-node-id \
    --project your-project-id \
    --zone us-central1-a \
    --accelerator-type v5e-8 \
    --runtime-version v2-alpha-tpuv5-lite \
    --network network-name \
    --subnetwork subnetwork-name

Descrições dos parâmetros de comando

queued-resource-id

O ID atribuído pelo usuário da solicitação de recurso em fila.

node-id

O ID atribuído pelo usuário da TPU, que é criado quando a solicitação de recurso em fila é alocada.

project

Seu projeto do Google Cloud .

zone

A zona em que você planeja criar o Cloud TPU.

accelerator-type

O tipo de acelerador especifica a versão e o tamanho do Cloud TPU que você quer criar. Para mais informações sobre os tipos de aceleradores aceitos por cada versão de TPU, consulte Versões de TPU.

runtime-version

A versão do software do Cloud TPU.

reserved

Use essa flag ao solicitar recursos em fila como parte de uma reserva do Cloud TPU.

network

Uma rede de que o recurso em fila fará parte.

subnetwork

Uma sub-rede de que o recurso em fila fará parte.

curl

curl -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d "{
    'tpu': {
    'node_spec': {
        'parent': 'projects/your-project-number/locations/us-central1-a',
        'node_id': 'your-node-id',
        'node': {
        'accelerator_type': 'v5e-8',
        'runtime_version': 'v2-alpha-tpuv5-lite',
        'network_config': {
            'network': 'network-name',
            'subnetwork': 'subnetwork-name',
            'enable_external_ips': true
        }
    }
    },
    'guaranteed': {
    'reserved': true,
    }
}" \
https://tpu.googleapis.com/v2alpha1/projects/your-project-id/locations/us-central1-a/queuedResources?queued_resource_id=your-queued-resource-id

Descrições dos parâmetros de comando

queued-resource-id

O ID atribuído pelo usuário da solicitação de recurso em fila.

node-id

O ID atribuído pelo usuário da TPU, que é criado quando a solicitação de recurso em fila é alocada.

project

Seu projeto do Google Cloud .

zone

A zona em que você planeja criar o Cloud TPU.

accelerator-type

O tipo de acelerador especifica a versão e o tamanho do Cloud TPU que você quer criar. Para mais informações sobre os tipos de aceleradores aceitos por cada versão de TPU, consulte Versões de TPU.

runtime-version

A versão do software do Cloud TPU.

reserved

Use essa flag ao solicitar recursos em fila como parte de uma reserva do Cloud TPU.

network

Uma rede de que o recurso em fila fará parte.

subnetwork

Uma sub-rede de que o recurso em fila fará parte.

Console

1. No console do Google Cloud , acesse a página TPUs:

   Acessar TPUs

2. Clique em Criar TPU.

3. No campo Nome, insira um nome para a TPU.

4. Na caixa Zona, selecione a zona em que você quer criar a TPU.

5. Na caixa Tipo de TPU, selecione um tipo de acelerador. O tipo de acelerador especifica a versão e o tamanho do Cloud TPU que você quer criar. Para mais informações sobre os tipos de acelerador aceitos em cada versão de TPU, consulte Versões de TPU.

6. Na caixa Versão do software de TPU, selecione uma versão. Ao criar uma VM do Cloud TPU, a versão do software de TPU especifica a versão do ambiente de execução da TPU que será instalada. Para mais informações, consulte Versões do software de TPU.

7. Clique no botão Ativar enfileiramento.

8. No campo Nome do recurso em fila, digite um nome para a solicitação de recurso em fila.

9. Expanda a seção Rede.

10. Nos campos Rede e Sub-rede, selecione a rede e a sub-rede que você quer usar.

11. Clique em Criar para criar a solicitação de recurso em fila.

Java

Para autenticar-se no Cloud TPU, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.

import com.google.api.gax.retrying.RetrySettings;
import com.google.cloud.tpu.v2alpha1.CreateQueuedResourceRequest;
import com.google.cloud.tpu.v2alpha1.NetworkConfig;
import com.google.cloud.tpu.v2alpha1.Node;
import com.google.cloud.tpu.v2alpha1.QueuedResource;
import com.google.cloud.tpu.v2alpha1.TpuClient;
import com.google.cloud.tpu.v2alpha1.TpuSettings;
import java.io.IOException;
import java.util.concurrent.ExecutionException;
import org.threeten.bp.Duration;

public class CreateQueuedResourceWithNetwork {
  public static void main(String[] args)
      throws IOException, ExecutionException, InterruptedException {
    // TODO(developer): Replace these variables before running the sample.
    // Project ID or project number of the Google Cloud project you want to create a node.
    String projectId = "YOUR_PROJECT_ID";
    // The zone in which to create the TPU.
    // For more information about supported TPU types for specific zones,
    // see https://cloud.google.com/tpu/docs/regions-zones
    String zone = "europe-west4-a";
    // The name for your TPU.
    String nodeName = "YOUR_TPU_NAME";
    // The accelerator type that specifies the version and size of the Cloud TPU you want to create.
    // For more information about supported accelerator types for each TPU version,
    // see https://cloud.google.com/tpu/docs/system-architecture-tpu-vm#versions.
    String tpuType = "v5litepod-4";
    // Software version that specifies the version of the TPU runtime to install.
    // For more information see https://cloud.google.com/tpu/docs/runtimes
    String tpuSoftwareVersion = "v2-tpuv5-litepod";
    // The name for your Queued Resource.
    String queuedResourceId = "QUEUED_RESOURCE_ID";
    // The name of the network you want the node to connect to.
    // The network should be assigned to your project.
    String networkName = "YOUR_COMPUTE_TPU_NETWORK";

    createQueuedResourceWithNetwork(projectId, zone, queuedResourceId, nodeName,
        tpuType, tpuSoftwareVersion, networkName);
  }

  // Creates a Queued Resource with network configuration.
  public static QueuedResource createQueuedResourceWithNetwork(
      String projectId, String zone, String queuedResourceId, String nodeName,
      String tpuType, String tpuSoftwareVersion, String networkName)
      throws IOException, ExecutionException, InterruptedException {
    // With these settings the client library handles the Operation's polling mechanism
    // and prevent CancellationException error
    TpuSettings.Builder clientSettings =
        TpuSettings.newBuilder();
    clientSettings
        .createQueuedResourceSettings()
        .setRetrySettings(
            RetrySettings.newBuilder()
                .setInitialRetryDelay(Duration.ofMillis(5000L))
                .setRetryDelayMultiplier(2.0)
                .setInitialRpcTimeout(Duration.ZERO)
                .setRpcTimeoutMultiplier(1.0)
                .setMaxRetryDelay(Duration.ofMillis(45000L))
                .setTotalTimeout(Duration.ofHours(24L))
                .build());
    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests.
    try (TpuClient tpuClient = TpuClient.create(clientSettings.build())) {
      String parent = String.format("projects/%s/locations/%s", projectId, zone);
      String region = zone.substring(0, zone.length() - 2);

      // Specify the network and subnetwork that you want to connect your TPU to.
      NetworkConfig networkConfig =
          NetworkConfig.newBuilder()
              .setEnableExternalIps(true)
              .setNetwork(String.format("projects/%s/global/networks/%s", projectId, networkName))
              .setSubnetwork(
                  String.format(
                      "projects/%s/regions/%s/subnetworks/%s", projectId, region, networkName))
              .build();

      // Create a node
      Node node =
          Node.newBuilder()
              .setName(nodeName)
              .setAcceleratorType(tpuType)
              .setRuntimeVersion(tpuSoftwareVersion)
              .setNetworkConfig(networkConfig)
              .setQueuedResource(
                  String.format(
                      "projects/%s/locations/%s/queuedResources/%s",
                      projectId, zone, queuedResourceId))
              .build();

      // Create queued resource
      QueuedResource queuedResource =
          QueuedResource.newBuilder()
              .setName(queuedResourceId)
              .setTpu(
                  QueuedResource.Tpu.newBuilder()
                      .addNodeSpec(
                          QueuedResource.Tpu.NodeSpec.newBuilder()
                              .setParent(parent)
                              .setNode(node)
                              .setNodeId(nodeName)
                              .build())
                      .build())
              .build();

      CreateQueuedResourceRequest request =
          CreateQueuedResourceRequest.newBuilder()
              .setParent(parent)
              .setQueuedResource(queuedResource)
              .setQueuedResourceId(queuedResourceId)
              .build();

      // You can wait until TPU Node is READY,
      // and check its status using getTpuVm() from "tpu_vm_get" sample.

      return tpuClient.createQueuedResourceAsync(request).get();
    }
  }
}

Python

Para autenticar-se no Cloud TPU, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.

from google.cloud import tpu_v2alpha1

# TODO(developer): Update and un-comment below lines
# project_id = "your-project-id"
# zone = "us-central1-a"
# tpu_name = "tpu-name"
# tpu_type = "v5litepod-4"
# runtime_version = "v2-tpuv5-litepod"
# queued_resource_name = "resource-name"
# network = "default"

node = tpu_v2alpha1.Node()
node.accelerator_type = tpu_type
node.runtime_version = runtime_version
# Setting network configuration
node.network_config = tpu_v2alpha1.NetworkConfig(
    network=network,  # Update if you want to use a specific network
    subnetwork="default",  # Update if you want to use a specific subnetwork
    enable_external_ips=True,
    can_ip_forward=True,
)

node_spec = tpu_v2alpha1.QueuedResource.Tpu.NodeSpec()
node_spec.parent = f"projects/{project_id}/locations/{zone}"
node_spec.node_id = tpu_name
node_spec.node = node

resource = tpu_v2alpha1.QueuedResource()
resource.tpu = tpu_v2alpha1.QueuedResource.Tpu(node_spec=[node_spec])

request = tpu_v2alpha1.CreateQueuedResourceRequest(
    parent=f"projects/{project_id}/locations/{zone}",
    queued_resource_id=queued_resource_name,
    queued_resource=resource,
)

client = tpu_v2alpha1.TpuClient()
operation = client.create_queued_resource(request=request)

response = operation.result()
print(response.name)
print(response.tpu.node_spec[0].node.network_config)
print(resource.tpu.node_spec[0].node.network_config.network == "default")
# Example response:
# network: "default"
# subnetwork: "default"
# enable_external_ips: true
# can_ip_forward: true

Excluir uma solicitação de recurso em fila

Para excluir uma solicitação de recurso em fila e a TPU associada, exclua a solicitação:

gcloud

Transmita a flag --force ao comando queued-resource delete:

Observação: o comando pode levar de dois a cinco minutos para ser concluído. Você pode executá-lo de maneira assíncrona transmitindo a flag --async ao comando gcloud, conforme mostrado no comando a seguir.

gcloud compute tpus queued-resources delete your-queued-resource-id \
    --project your-project-id \
    --zone us-central1-a \
    --force \
    --async

Descrições de flags de comando

your-queued-resource-id

O ID atribuído pelo usuário da solicitação de recurso em fila.

project

O projeto do Google Cloud em que o recurso em fila está alocado.

zone

A zona do Cloud TPU a ser excluída.

force

Exclua a VM de TPU e a solicitação de recurso em fila.

curl

Use o parâmetro de consulta force=true na solicitação curl:

curl -X DELETE -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://tpu.googleapis.com/v2/projects/your-project-id/locations/us-central1-a/queuedResources/your-queued-resource-id?force=true

Descrições de flags de comando

your-queued-resource-id

O ID atribuído pelo usuário da solicitação de recurso em fila.

project

O projeto do Google Cloud em que o recurso em fila está alocado.

zone

A zona do Cloud TPU a ser excluída.

force

Exclua a VM de TPU e a solicitação de recurso em fila.

Console

1. No console do Google Cloud , acesse a página TPUs:

   Acessar TPUs

2. Clique na guia Recursos em fila.

3. Marque a caixa de seleção ao lado da solicitação de recurso em fila.

4. Clique em Excluir.

Java

Para autenticar-se no Cloud TPU, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.

import com.google.api.gax.retrying.RetrySettings;
import com.google.cloud.tpu.v2alpha1.DeleteQueuedResourceRequest;
import com.google.cloud.tpu.v2alpha1.TpuClient;
import com.google.cloud.tpu.v2alpha1.TpuSettings;
import java.io.IOException;
import java.util.concurrent.ExecutionException;
import org.threeten.bp.Duration;

public class DeleteForceQueuedResource {
  public static void main(String[] args)
      throws IOException, ExecutionException, InterruptedException {
    // TODO(developer): Replace these variables before running the sample.
    // Project ID or project number of the Google Cloud project.
    String projectId = "YOUR_PROJECT_ID";
    // The zone in which the TPU was created.
    String zone = "us-central1-f";
    // The name for your Queued Resource.
    String queuedResourceId = "QUEUED_RESOURCE_ID";

    deleteForceQueuedResource(projectId, zone, queuedResourceId);
  }

  // Deletes a Queued Resource asynchronously with --force flag.
  public static void deleteForceQueuedResource(
      String projectId, String zone, String queuedResourceId)
          throws ExecutionException, InterruptedException, IOException {
    String name = String.format("projects/%s/locations/%s/queuedResources/%s",
        projectId, zone, queuedResourceId);
    // With these settings the client library handles the Operation's polling mechanism
    // and prevent CancellationException error
    TpuSettings.Builder clientSettings =
        TpuSettings.newBuilder();
    clientSettings
        .deleteQueuedResourceSettings()
        .setRetrySettings(
            RetrySettings.newBuilder()
                .setInitialRetryDelay(Duration.ofMillis(5000L))
                .setRetryDelayMultiplier(2.0)
                .setInitialRpcTimeout(Duration.ZERO)
                .setRpcTimeoutMultiplier(1.0)
                .setMaxRetryDelay(Duration.ofMillis(45000L))
                .setTotalTimeout(Duration.ofHours(24L))
                .build());

    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests.
    try (TpuClient tpuClient = TpuClient.create(clientSettings.build())) {
      DeleteQueuedResourceRequest request =
          DeleteQueuedResourceRequest.newBuilder().setName(name).setForce(true).build();
      // Waiting for updates in the library. Until then, the operation will complete successfully,
      // but the user will receive an error message with UnknownException and IllegalStateException.
      tpuClient.deleteQueuedResourceAsync(request).get();

      System.out.printf("Deleted Queued Resource: %s\n", name);
    }
  }
}

Python

Para autenticar-se no Cloud TPU, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.

from google.cloud import tpu_v2alpha1

# TODO(developer): Update and un-comment below lines
# project_id = "your-project-id"
# zone = "us-central1-b"
# queued_resource_name = "resource-name"

client = tpu_v2alpha1.TpuClient()
request = tpu_v2alpha1.DeleteQueuedResourceRequest(
    name=f"projects/{project_id}/locations/{zone}/queuedResources/{queued_resource_name}",
    force=True,  # Set force=True to delete the resource with tpu nodes.
)

try:
    op = client.delete_queued_resource(request=request)
    op.result()
    print(f"Queued resource '{queued_resource_name}' successfully deleted.")
except TypeError as e:
    print(f"Error deleting resource: {e}")
    print(f"Queued resource '{queued_resource_name}' successfully deleted.")

Se você excluir a TPU diretamente, também vai precisar excluir o recurso em fila, conforme mostrado no exemplo a seguir. Quando você exclui a TPU, a solicitação de recurso em fila passa para o estado SUSPENDED. Depois disso, ela pode ser excluída.

gcloud

Exclua a TPU:

$ gcloud compute tpus tpu-vm delete your-node-id \
    --project=your-project-id \
    --zone=us-central1-a \
    --quiet

Descrições de flags de comando

project

O projeto do Google Cloud em que o recurso em fila está alocado.

zone

A zona do Cloud TPU a ser excluída.

your-node-id

O nome da TPU que você quer excluir.

Quando você exclui a TPU, o recurso em fila associado passa para o estado SUSPENDING e depois para SUSPENDED. Quando o recurso em fila está no estado SUSPENDED, é possível excluí-lo:

gcloud compute tpus queued-resources delete your-queued-resource-id \
    --project your-project-id \
    --zone us-central1-a

Descrições de flags de comando

queued-resource-request-id

O ID atribuído pelo usuário da solicitação de recurso em fila.

project

O projeto do Google Cloud em que o recurso em fila está alocado.

zone

A zona do Cloud TPU a ser excluída.

curl

Exclua a TPU:

curl -X DELETE -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://tpu.googleapis.com/v2/projects/your-project/locations/us-central1-a/nodes?node_id=your-node-id

Descrições de flags de comando

project

O projeto do Google Cloud em que o recurso em fila está alocado.

zone

A zona do Cloud TPU a ser excluída.

your-node-id

O nome da TPU que você quer excluir.

Quando você exclui a TPU, o recurso em fila associado passa para o estado SUSPENDING e depois para SUSPENDED. Quando o recurso em fila está no estado SUSPENDED, é possível excluí-lo:

curl -X DELETE -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://tpu.googleapis.com/v2/projects/your-project-id/locations/us-central1-a/queuedResources/your-queued-resource-id

Descrições de flags de comando

queued-resource-request-id

O ID atribuído pelo usuário da solicitação de recurso em fila.

project

O projeto do Google Cloud em que o recurso em fila está alocado.

zone

A zona do Cloud TPU a ser excluída.

Console

Exclua a TPU:

1. No console do Google Cloud , acesse a página TPUs:

   Acessar TPUs

2. Marque a caixa de seleção ao lado da TPU.

3. Clique em Excluir.

Quando você exclui a TPU, o recurso em fila associado passa para o estado Suspendendo e depois para Suspenso. Quando o recurso em fila está no estado Suspenso, é possível excluí-lo:

1. Clique na guia Recursos em fila.
2. Marque a caixa de seleção ao lado da solicitação de recurso em fila.
3. Clique em Excluir.

Java

Para autenticar-se no Cloud TPU, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.

import com.google.api.gax.longrunning.OperationTimedPollAlgorithm;
import com.google.api.gax.retrying.RetrySettings;
import com.google.cloud.tpu.v2.DeleteNodeRequest;
import com.google.cloud.tpu.v2.NodeName;
import com.google.cloud.tpu.v2.TpuClient;
import com.google.cloud.tpu.v2.TpuSettings;
import java.io.IOException;
import java.util.concurrent.ExecutionException;
import org.threeten.bp.Duration;

public class DeleteTpuVm {

  public static void main(String[] args)
      throws IOException, ExecutionException, InterruptedException {
    // TODO(developer): Replace these variables before running the sample.
    // Project ID or project number of the Google Cloud project you want to create a node.
    String projectId = "YOUR_PROJECT_ID";
    // The zone in which to create the TPU.
    // For more information about supported TPU types for specific zones,
    // see https://cloud.google.com/tpu/docs/regions-zones
    String zone = "europe-west4-a";
    // The name for your TPU.
    String nodeName = "YOUR_TPU_NAME";

    deleteTpuVm(projectId, zone, nodeName);
  }

  // Deletes a TPU VM with the specified name in the given project and zone.
  public static void deleteTpuVm(String projectId, String zone, String nodeName)
      throws IOException, ExecutionException, InterruptedException {
    // With these settings the client library handles the Operation's polling mechanism
    // and prevent CancellationException error
    TpuSettings.Builder clientSettings =
        TpuSettings.newBuilder();
    clientSettings
        .deleteNodeOperationSettings()
        .setPollingAlgorithm(
            OperationTimedPollAlgorithm.create(
                RetrySettings.newBuilder()
                    .setInitialRetryDelay(Duration.ofMillis(5000L))
                    .setRetryDelayMultiplier(1.5)
                    .setMaxRetryDelay(Duration.ofMillis(45000L))
                    .setInitialRpcTimeout(Duration.ZERO)
                    .setRpcTimeoutMultiplier(1.0)
                    .setMaxRpcTimeout(Duration.ZERO)
                    .setTotalTimeout(Duration.ofHours(24L))
                    .build()));

    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests.
    try (TpuClient tpuClient = TpuClient.create(clientSettings.build())) {
      String name = NodeName.of(projectId, zone, nodeName).toString();

      DeleteNodeRequest request = DeleteNodeRequest.newBuilder().setName(name).build();

      tpuClient.deleteNodeAsync(request).get();
      System.out.println("TPU VM deleted");
    }
  }
}

Quando você exclui a TPU, o recurso em fila associado passa para o estado SUSPENDING e depois para SUSPENDED. Quando o recurso em fila está no estado SUSPENDED, é possível excluí-lo:

import com.google.cloud.tpu.v2alpha1.DeleteQueuedResourceRequest;
import com.google.cloud.tpu.v2alpha1.TpuClient;
import java.io.IOException;
import java.util.concurrent.ExecutionException;

public class DeleteQueuedResource {
  public static void main(String[] args)
      throws IOException, ExecutionException, InterruptedException {
    // TODO(developer): Replace these variables before running the sample.
    // Project ID or project number of the Google Cloud project.
    String projectId = "YOUR_PROJECT_ID";
    // The zone in which the TPU was created.
    String zone = "us-central1-f";
    // The name for your Queued Resource.
    String queuedResourceId = "QUEUED_RESOURCE_ID";

    deleteQueuedResource(projectId, zone, queuedResourceId);
  }

  // Deletes a Queued Resource asynchronously.
  public static void deleteQueuedResource(String projectId, String zone, String queuedResourceId)
      throws ExecutionException, InterruptedException, IOException {
    String name = String.format("projects/%s/locations/%s/queuedResources/%s",
        projectId, zone, queuedResourceId);
    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests.
    try (TpuClient tpuClient = TpuClient.create()) {
      // Before deleting the queued resource it is required to delete the TPU VM.
      // For more information about deleting TPU
      // see https://cloud.google.com/tpu/docs/managing-tpus-tpu-vm

      DeleteQueuedResourceRequest request =
              DeleteQueuedResourceRequest.newBuilder().setName(name).build();

      tpuClient.deleteQueuedResourceAsync(request).get();
    }
  }
}

Python

Para autenticar-se no Cloud TPU, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.

from google.cloud import tpu_v2

# TODO(developer): Update and un-comment below lines
# project_id = "your-project-id"
# zone = "us-central1-b"
# tpu_name = "tpu-name"

client = tpu_v2.TpuClient()
try:
    client.delete_node(
        name=f"projects/{project_id}/locations/{zone}/nodes/{tpu_name}"
    )
    print("The TPU node was deleted.")
except Exception as e:
    print(e)

Quando você exclui a TPU, o recurso em fila associado passa para o estado SUSPENDING e depois para SUSPENDED. Quando o recurso em fila está no estado SUSPENDED, é possível excluí-lo:

from google.cloud import tpu_v2alpha1

# TODO(developer): Update and un-comment below lines
# project_id = "your-project-id"
# zone = "us-central1-b"
# queued_resource_name = "resource-name"

client = tpu_v2alpha1.TpuClient()
name = (
    f"projects/{project_id}/locations/{zone}/queuedResources/{queued_resource_name}"
)

try:
    op = client.delete_queued_resource(name=name)
    op.result()
    print(f"Queued resource '{queued_resource_name}' successfully deleted.")
except TypeError as e:
    print(f"Error deleting resource: {e}")
    print(f"Queued resource '{queued_resource_name}' successfully deleted.")

Recuperar informações de estado e diagnóstico sobre uma solicitação de recurso em fila

Recupere informações de estado e diagnóstico sobre uma solicitação de recurso em fila:

gcloud

gcloud compute tpus queued-resources describe queued-resource-request-id \
    --project your-project-id \
    --zone us-central1-a

Descrições de flags de comando

queued-resource-request-id

O ID atribuído pelo usuário da solicitação de recurso em fila.

project

O ID do projeto em que o recurso em fila está alocado.

zone

A zona em que você planeja criar o Cloud TPU.

curl

curl -X GET -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://tpu.googleapis.com/v2/projects/your-project-id/locations/us-central1-a/queuedResources/your-queued-resource-id

Descrições de flags de comando

queued-resource-request-id

O ID atribuído pelo usuário da solicitação de recurso em fila.

project

O ID do projeto em que o recurso em fila está alocado.

zone

A zona em que você planeja criar o Cloud TPU.

Console

1. No console do Google Cloud , acesse a página TPUs:

   Acessar TPUs

2. Clique na guia Recursos em fila.

3. Clique no nome da solicitação de recurso em fila.

Depois que a TPU for provisionada, você também poderá conferir detalhes sobre a solicitação de recurso em fila. Para isso, acesse a página TPUs, encontre sua TPU e clique no nome da solicitação de recurso em fila correspondente.

Java

Para autenticar-se no Cloud TPU, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.

import com.google.cloud.tpu.v2alpha1.GetQueuedResourceRequest;
import com.google.cloud.tpu.v2alpha1.QueuedResource;
import com.google.cloud.tpu.v2alpha1.TpuClient;
import java.io.IOException;

public class GetQueuedResource {
  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    // Project ID or project number of the Google Cloud project.
    String projectId = "YOUR_PROJECT_ID";
    // The zone in which the TPU was created.
    String zone = "us-central1-f";
    // The name for your Queued Resource.
    String queuedResourceId = "QUEUED_RESOURCE_ID";

    getQueuedResource(projectId, zone, queuedResourceId);
  }

  // Get a Queued Resource.
  public static QueuedResource getQueuedResource(
      String projectId, String zone, String queuedResourceId) throws IOException {
    String name = String.format("projects/%s/locations/%s/queuedResources/%s",
        projectId, zone, queuedResourceId);
    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests.
    try (TpuClient tpuClient = TpuClient.create()) {
      GetQueuedResourceRequest request =
          GetQueuedResourceRequest.newBuilder().setName(name).build();

      return tpuClient.getQueuedResource(request);
    }
  }
}

Python

Para autenticar-se no Cloud TPU, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.

from google.cloud import tpu_v2alpha1

# TODO(developer): Update and un-comment below lines
# project_id = "your-project-id"
# zone = "us-central1-b"
# queued_resource_name = "resource-name"

client = tpu_v2alpha1.TpuClient()
name = (
    f"projects/{project_id}/locations/{zone}/queuedResources/{queued_resource_name}"
)
resource = client.get_queued_resource(name=name)
print("Resource name:", resource.name)
print(resource.state)
# Example response:
# Resource name: projects/{project_id}/locations/{zone}/queuedResources/resource-name
# State.ACTIVE

Se a solicitação falhar, a saída vai conter informações sobre o erro. A saída de uma solicitação que está aguardando recursos será parecida com esta:

gcloud

    name: projects/your-project-id/locations/us-central1-a/queuedResources/your-queued-resource-id
    state:
    state: WAITING_FOR_RESOURCES
    tpu:
    nodeSpec:
    - node:
        acceleratorType: v4-8
        bootDisk: {}
        networkConfig:
            enableExternalIps: true
        queuedResource: projects/your-project-number/locations/us-central1-a/queuedResources/your-queued-resource-id
        runtimeVersion: v2-alpha-tpuv5-lite
        schedulingConfig: {}
        serviceAccount: {}
        shieldedInstanceConfig: {}
        useTpuVm: true
        nodeId: your-node-id
        parent: projects/your-project-number/locations/us-central1-a

Console

O campo Status do recurso em fila mostra Aguardando recursos.

Listar solicitações de recursos em fila no projeto

Liste as solicitações de recursos em fila no projeto:

gcloud

gcloud compute tpus queued-resources list --project your-project-id \
    --zone us-central1-a

Descrições de flags de comando

project

O projeto do Google Cloud em que o recurso em fila está alocado.

zone

A zona em que você planeja criar o Cloud TPU.

curl

curl -X GET -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://tpu.googleapis.com/v2/projects/your-project-id/locations/your-zone/queuedResources

Descrições de flags de comando

project

O projeto do Google Cloud em que o recurso em fila está alocado.

zone

A zona em que você planeja criar o Cloud TPU.

Console

1. No console do Google Cloud , acesse a página TPUs:

   Acessar TPUs

2. Clique na guia Recursos em fila.

Java

Para autenticar-se no Cloud TPU, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.

import com.google.cloud.tpu.v2alpha1.ListQueuedResourcesRequest;
import com.google.cloud.tpu.v2alpha1.QueuedResource;
import com.google.cloud.tpu.v2alpha1.TpuClient;
import com.google.cloud.tpu.v2alpha1.TpuClient.ListQueuedResourcesPage;
import java.io.IOException;

public class ListQueuedResources {
  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    // Project ID or project number of the Google Cloud project.
    String projectId = "YOUR_PROJECT_ID";
    // The zone in which the TPU was created.
    String zone = "us-central1-a";

    listQueuedResources(projectId, zone);
  }

  // List Queued Resources.
  public static ListQueuedResourcesPage listQueuedResources(
      String projectId, String zone) throws IOException {
    String parent = String.format("projects/%s/locations/%s", projectId, zone);
    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests.
    try (TpuClient tpuClient = TpuClient.create()) {
      ListQueuedResourcesRequest request =
          ListQueuedResourcesRequest.newBuilder().setParent(parent).build();
      ListQueuedResourcesPage response =  tpuClient.listQueuedResources(request).getPage();

      for (QueuedResource queuedResource : response.iterateAll()) {
        System.out.println(queuedResource.getName());
      }
      return response;
    }
  }
}

Python

Para autenticar-se no Cloud TPU, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.

from google.cloud import tpu_v2alpha1

# TODO(developer): Update and un-comment below lines
# project_id = "your-project-id"
# zone = "us-central1-b"

client = tpu_v2alpha1.TpuClient()
parent = f"projects/{project_id}/locations/{zone}"
resources = client.list_queued_resources(parent=parent)
for resource in resources:
    print("Resource name:", resource.name)
    print("TPU id:", resource.tpu.node_spec[0].node_id)
# Example response:
# Resource name: projects/{project_id}/locations/{zone}/queuedResources/resource-name
# TPU id: tpu-name