Crea e utilizza VM Spot

Questa pagina spiega come creare e gestire le VM spot, tra cui:

  • Come creare, avviare e identificare le VM Spot
  • Come rilevare, gestire e testare il prerilascio delle VM spot
  • Best practice per le VM spot

Le VM spot sono istanze di macchina virtuale (VM) con il modello di provisioning spot. Le VM spot sono disponibili con uno sconto fino al 91% rispetto al prezzo predefinito delle VM standard. Tuttavia, Compute Engine potrebbe recuperare le risorse prerilasciando le VM spot in qualsiasi momento. Le VM spot sono consigliate solo per le applicazioni a tolleranza di errore che possono sopportare il prerilascio delle VM. Prima di decidere di creare VM spot, assicurati che la tua applicazione possa gestire il prerilascio.

Se vuoi creare e gestire VM spot con TPU, consulta la documentazione di Cloud TPU per le VM spot.

Prima di iniziare

  • Leggi la documentazione concettuale relativa alle VM spot:
    • Esamina le limitazioni e i prezzi delle VM spot.
    • Per evitare che le VM spot consumino le quote per le CPU, le GPU e i dischi delle VM standard, ti consigliamo di richiedere una quota preemptible per le VM spot.
  • Se non l'hai ancora fatto, configura l'autenticazione. L'autenticazione verifica la tua identità per l'accesso ad API e servizi Google Cloud . Per eseguire codice o esempi da un ambiente di sviluppo locale, puoi autenticarti su Compute Engine selezionando una delle seguenti opzioni:

    Seleziona la scheda relativa a come intendi utilizzare i campioni in questa pagina:

    Console

    Quando utilizzi la console Google Cloud per accedere ai servizi Google Cloud e alle API, non devi configurare l'autenticazione.

    gcloud

    1. Installa Google Cloud CLI. Dopo l'installazione, inizializza Google Cloud CLI eseguendo il comando seguente: 

      gcloud init

      Se utilizzi un provider di identità (IdP) esterno, devi prima accedere a gcloud CLI con la tua identità federata.

  • Imposta una regione e una zona predefinite.

    • Terraform

    Per utilizzare gli esempi di Terraform in questa pagina in un ambiente di sviluppo locale, installa e inizializza gcloud CLI, quindi configura Credenziali predefinite dell'applicazione con le tue credenziali utente.

    1. Installa Google Cloud CLI.

    2. Se utilizzi un provider di identità (IdP) esterno, devi prima accedere a gcloud CLI con la tua identità federata.

    3. Se utilizzi una shell locale, crea credenziali di autenticazione locali per il tuo account utente: 

      gcloud auth application-default login

      Non è necessario eseguire questa operazione se utilizzi Cloud Shell.

      Se viene restituito un errore di autenticazione e utilizzi un provider di identità (IdP) esterno, verifica di aver acceduto a gcloud CLI con la tua identità federata.

    Per saperne di più, consulta Configura l'autenticazione per un ambiente di sviluppo locale.

    REST

    Per utilizzare gli esempi di API REST in questa pagina in un ambiente di sviluppo locale, utilizzi le credenziali che fornisci a gcloud CLI.

      Installa Google Cloud CLI.

      Se utilizzi un provider di identità (IdP) esterno, devi prima accedere a gcloud CLI con la tua identità federata.

    Per saperne di più, consulta Autenticati per usare REST nella documentazione sull'autenticazione di Google Cloud .

Crea una VM Spot

Crea una VM spot utilizzando la console Google Cloud , gcloud CLI o l'API Compute Engine. Una VM spot è qualsiasi VM configurata per utilizzare il modello di provisioning spot:

  • Modello di provisioning delle VM impostato su Spot nella console Google Cloud
  • --provisioning-model=SPOT in gcloud CLI
  • "provisioningModel": "SPOT" nell'API Compute Engine

Console

  1. Nella console Google Cloud , vai alla pagina Crea un'istanza.

    Vai a Crea un'istanza

  2. Nel menu di navigazione, fai clic su Avanzate. Nel riquadro Avanzate che viene visualizzato, completa i seguenti passaggi:

    1. Nella sezione Modello di provisioning, seleziona Spot dall'elenco Modello di provisioning delle VM.

    2. (Facoltativo) Per selezionare l'azione di terminazione che si verifica quando Compute Engine esegue il prerilascio della VM, completa i seguenti passaggi:

      1. Espandi la sezione Impostazioni avanzate del modello di provisioning delle VM.
      2. Nell'elenco Alla terminazione della VM, seleziona una delle seguenti opzioni:
        • Per arrestare la VM durante il prerilascio, seleziona Arresta (valore predefinito).
        • Per eliminare la VM durante il prerilascio, seleziona Elimina.

  3. (Facoltativo) Specifica altre opzioni di configurazione. Per ulteriori informazioni, consulta Opzioni di configurazione durante la creazione dell'istanza.

  4. Per creare e avviare la VM, fai clic su Crea.

gcloud

Per creare una VM da gcloud CLI, utilizza il comando gcloud compute instances create. Per creare VM spot, devi includere il flag --provisioning-model=SPOT. Facoltativamente, puoi anche specificare un'azione di terminazione per le VM spot includendo anche il flag --instance-termination-action.

gcloud compute instances create VM_NAME \
    --provisioning-model=SPOT \
    --instance-termination-action=TERMINATION_ACTION

Sostituisci quanto segue:

  • VM_NAME: il nome della nuova VM
  • TERMINATION_ACTION: (Facoltativo) specifica l'azione da intraprendere quando Compute Engine esegue il prerilascio della VM, STOP (comportamento predefinito) o DELETE

Per ulteriori informazioni sulle opzioni che puoi specificare durante la creazione di una VM, consulta Opzioni di configurazione durante la creazione dell'istanza. Ad esempio, per creare VM spot con un tipo di macchina e un'immagine specificati, utilizza il seguente comando:

gcloud compute instances create VM_NAME \
    --provisioning-model=SPOT \
    [--image=IMAGE | --image-family=IMAGE_FAMILY] \
    --image-project=IMAGE_PROJECT \
    --machine-type=MACHINE_TYPE \
    --instance-termination-action=TERMINATION_ACTION

Sostituisci quanto segue:

  • VM_NAME: il nome della nuova VM.
  • IMAGE: specifica una delle seguenti opzioni:
    • IMAGE: una versione specifica di un'immagine pubblica o della famiglia di immagini. Ad esempio, un'immagine specifica è --image=debian-10-buster-v20200309.
    • Una famiglia di immagini. In questo modo, la VM viene creata dall'immagine sistema operativo più recente e non deprecata. Ad esempio, se specifichi --image-family=debian-10, Compute Engine crea una VM dall'ultima versione dell'immagine sistema operativo nella famiglia di immagini Debian 10.
  • IMAGE_PROJECT: il progetto contenente l'immagine. Ad esempio, se specifichi debian-10 come famiglia di immagini, specifica debian-cloud come progetto immagine.
  • MACHINE_TYPE: il tipo di macchina predefinito o personalizzato per la nuova VM.

  • TERMINATION_ACTION: (Facoltativo) specifica l'azione da intraprendere quando Compute Engine esegue il prerilascio della VM, STOP (comportamento predefinito) o DELETE

    Per ottenere un elenco dei tipi di macchine disponibili in una zona, utilizza il comando gcloud compute machine-types list con il flag --zones.

Terraform

Puoi utilizzare una risorsa Terraform per creare un'istanza spot utilizzando il blocco di pianificazione


resource "google_compute_instance" "spot_vm_instance" {
  name         = "spot-instance-name"
  machine_type = "f1-micro"
  zone         = "us-central1-c"

  boot_disk {
    initialize_params {
      image = "debian-cloud/debian-11"
    }
  }

  scheduling {
    preemptible                 = true
    automatic_restart           = false
    provisioning_model          = "SPOT"
    instance_termination_action = "STOP"
  }

  network_interface {
    # A default network is created for all GCP projects
    network = "default"
    access_config {
    }
  }
}

REST

Per creare una VM dall'API Compute Engine, utilizza il metodo instances.insert. Devi specificare un tipo di macchina e un nome per la VM. Facoltativamente, puoi anche specificare un'immagine per il disco di avvio.

Per creare VM spot, devi includere il campo "provisioningModel": spot. Facoltativamente, puoi anche specificare un'azione di terminazione per le VM spot includendo anche il campo "instanceTerminationAction".

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances
{
 "machineType": "zones/ZONE/machineTypes/MACHINE_TYPE",
 "name": "VM_NAME",
 "disks": [
   {
     "initializeParams": {
       "sourceImage": "projects/IMAGE_PROJECT/global/images/IMAGE"
     },
     "boot": true
   }
 ]
 "scheduling":
 {
     "provisioningModel": "SPOT",
     "instanceTerminationAction": "TERMINATION_ACTION"
 },
 ...
}

Sostituisci quanto segue:

  • PROJECT_ID: l' ID progetto del progetto in cui creare la VM.
  • ZONE: la zona in cui creare la VM. La zona deve supportare anche il tipo di macchina da utilizzare per la nuova VM.
  • MACHINE_TYPE: il tipo di macchina predefinito o personalizzato per la nuova VM.
  • VM_NAME: il nome della nuova VM.
  • IMAGE_PROJECT: il progetto contenente l'immagine. Ad esempio, se specifichi family/debian-10 come famiglia di immagini, specifica debian-cloud come progetto immagine.
  • IMAGE: specifica una delle seguenti opzioni:
    • Una versione specifica di un'immagine pubblica. Ad esempio, un'immagine specifica è "sourceImage": "projects/debian-cloud/global/images/debian-10-buster-v20200309" dove debian-cloud è IMAGE_PROJECT.
    • Una famiglia di immagini. In questo modo, la VM viene creata dall'immagine sistema operativo più recente e non deprecata. Ad esempio, se specifichi "sourceImage": "projects/debian-cloud/global/images/family/debian-10" dove debian-cloud è IMAGE_PROJECT, Compute Engine crea una VM dall'ultima versione dell'immagine sistema operativo nella famiglia di immagini Debian 10.
  • TERMINATION_ACTION: (Facoltativo) specifica l'azione da intraprendere quando Compute Engine esegue il prerilascio della VM, STOP (comportamento predefinito) o DELETE

Per ulteriori informazioni sulle opzioni che puoi specificare durante la creazione di una VM, consulta Opzioni di configurazione durante la creazione dell'istanza.

Go 


import (
	"context"
	"fmt"
	"io"

	compute "cloud.google.com/go/compute/apiv1"
	"cloud.google.com/go/compute/apiv1/computepb"
	"google.golang.org/protobuf/proto"
)

// createSpotInstance creates a new Spot VM instance with Debian 10 operating system.
func createSpotInstance(w io.Writer, projectID, zone, instanceName string) error {
	// projectID := "your_project_id"
	// zone := "europe-central2-b"
	// instanceName := "your_instance_name"

	ctx := context.Background()
	imagesClient, err := compute.NewImagesRESTClient(ctx)
	if err != nil {
		return fmt.Errorf("NewImagesRESTClient: %w", err)
	}
	defer imagesClient.Close()

	instancesClient, err := compute.NewInstancesRESTClient(ctx)
	if err != nil {
		return fmt.Errorf("NewInstancesRESTClient: %w", err)
	}
	defer instancesClient.Close()

	req := &computepb.GetFromFamilyImageRequest{
		Project: "debian-cloud",
		Family:  "debian-11",
	}

	image, err := imagesClient.GetFromFamily(ctx, req)
	if err != nil {
		return fmt.Errorf("getImageFromFamily: %w", err)
	}

	diskType := fmt.Sprintf("zones/%s/diskTypes/pd-standard", zone)
	disks := []*computepb.AttachedDisk{
		{
			AutoDelete: proto.Bool(true),
			Boot:       proto.Bool(true),
			InitializeParams: &computepb.AttachedDiskInitializeParams{
				DiskSizeGb:  proto.Int64(10),
				DiskType:    proto.String(diskType),
				SourceImage: proto.String(image.GetSelfLink()),
			},
			Type: proto.String(computepb.AttachedDisk_PERSISTENT.String()),
		},
	}

	req2 := &computepb.InsertInstanceRequest{
		Project: projectID,
		Zone:    zone,
		InstanceResource: &computepb.Instance{
			Name:        proto.String(instanceName),
			Disks:       disks,
			MachineType: proto.String(fmt.Sprintf("zones/%s/machineTypes/%s", zone, "n1-standard-1")),
			NetworkInterfaces: []*computepb.NetworkInterface{
				{
					Name: proto.String("global/networks/default"),
				},
			},
			Scheduling: &computepb.Scheduling{
				ProvisioningModel: proto.String(computepb.Scheduling_SPOT.String()),
			},
		},
	}
	op, err := instancesClient.Insert(ctx, req2)
	if err != nil {
		return fmt.Errorf("insert: %w", err)
	}

	if err = op.Wait(ctx); err != nil {
		return fmt.Errorf("unable to wait for the operation: %w", err)
	}

	instance, err := instancesClient.Get(ctx, &computepb.GetInstanceRequest{
		Project:  projectID,
		Zone:     zone,
		Instance: instanceName,
	})

	if err != nil {
		return fmt.Errorf("createInstance: %w", err)
	}

	fmt.Fprintf(w, "Instance created: %v\n", instance)
	return nil
}

Java 


import com.google.cloud.compute.v1.AccessConfig;
import com.google.cloud.compute.v1.AccessConfig.Type;
import com.google.cloud.compute.v1.Address.NetworkTier;
import com.google.cloud.compute.v1.AttachedDisk;
import com.google.cloud.compute.v1.AttachedDiskInitializeParams;
import com.google.cloud.compute.v1.ImagesClient;
import com.google.cloud.compute.v1.InsertInstanceRequest;
import com.google.cloud.compute.v1.Instance;
import com.google.cloud.compute.v1.InstancesClient;
import com.google.cloud.compute.v1.NetworkInterface;
import com.google.cloud.compute.v1.Scheduling;
import com.google.cloud.compute.v1.Scheduling.ProvisioningModel;
import java.io.IOException;
import java.util.UUID;
import java.util.concurrent.ExecutionException;
import java.util.concurrent.TimeUnit;
import java.util.concurrent.TimeoutException;

public class CreateSpotVm {
  public static void main(String[] args)
          throws IOException, ExecutionException, InterruptedException, TimeoutException {
    // TODO(developer): Replace these variables before running the sample.
    // Project ID or project number of the Google Cloud project you want to use.
    String projectId = "your-project-id";
    // Name of the virtual machine to check.
    String instanceName = "your-instance-name";
    // Name of the zone you want to use. For example: "us-west3-b"
    String zone = "your-zone";

    createSpotInstance(projectId, instanceName, zone);
  }

  // Create a new Spot VM instance with Debian 11 operating system.
  public static Instance createSpotInstance(String projectId, String instanceName, String zone)
          throws IOException, ExecutionException, InterruptedException, TimeoutException {
    String image;
    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests.
    try (ImagesClient imagesClient = ImagesClient.create()) {
      image = imagesClient.getFromFamily("debian-cloud", "debian-11").getSelfLink();
    }
    AttachedDisk attachedDisk = buildAttachedDisk(image, zone);
    String machineTypes = String.format("zones/%s/machineTypes/%s", zone, "n1-standard-1");

    // Send an instance creation request to the Compute Engine API and wait for it to complete.
    Instance instance =
            createInstance(projectId, zone, instanceName, attachedDisk, true, machineTypes, false);

    System.out.printf("Spot instance '%s' has been created successfully", instance.getName());

    return instance;
  }

  // disks: a list of compute_v1.AttachedDisk objects describing the disks
  //     you want to attach to your new instance.
  // machine_type: machine type of the VM being created. This value uses the
  //     following format: "zones/{zone}/machineTypes/{type_name}".
  //     For example: "zones/europe-west3-c/machineTypes/f1-micro"
  // external_access: boolean flag indicating if the instance should have an external IPv4
  //     address assigned.
  // spot: boolean value indicating if the new instance should be a Spot VM or not.
  private static Instance createInstance(String projectId, String zone, String instanceName,
                                         AttachedDisk disk, boolean isSpot, String machineType,
                                         boolean externalAccess)
          throws IOException, ExecutionException, InterruptedException, TimeoutException {
    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests.
    try (InstancesClient client = InstancesClient.create()) {
      Instance instanceResource =
              buildInstanceResource(instanceName, disk, machineType, externalAccess, isSpot);

      InsertInstanceRequest build = InsertInstanceRequest.newBuilder()
              .setProject(projectId)
              .setRequestId(UUID.randomUUID().toString())
              .setZone(zone)
              .setInstanceResource(instanceResource)
              .build();
      client.insertCallable().futureCall(build).get(60, TimeUnit.SECONDS);

      return client.get(projectId, zone, instanceName);
    }
  }

  private static Instance buildInstanceResource(String instanceName, AttachedDisk disk,
                                                String machineType, boolean externalAccess,
                                                boolean isSpot) {
    NetworkInterface networkInterface =
            networkInterface(externalAccess);
    Instance.Builder builder = Instance.newBuilder()
            .setName(instanceName)
            .addDisks(disk)
            .setMachineType(machineType)
            .addNetworkInterfaces(networkInterface);

    if (isSpot) {
      // Set the Spot VM setting
      Scheduling.Builder scheduling = builder.getScheduling()
              .toBuilder()
              .setProvisioningModel(ProvisioningModel.SPOT.name())
              .setInstanceTerminationAction("STOP");
      builder.setScheduling(scheduling);
    }

    return builder.build();
  }

  private static NetworkInterface networkInterface(boolean externalAccess) {
    NetworkInterface.Builder build = NetworkInterface.newBuilder()
            .setNetwork("global/networks/default");

    if (externalAccess) {
      AccessConfig.Builder accessConfig = AccessConfig.newBuilder()
              .setType(Type.ONE_TO_ONE_NAT.name())
              .setName("External NAT")
              .setNetworkTier(NetworkTier.PREMIUM.name());
      build.addAccessConfigs(accessConfig.build());
    }

    return build.build();
  }

  private static AttachedDisk buildAttachedDisk(String sourceImage, String zone) {
    AttachedDiskInitializeParams initializeParams = AttachedDiskInitializeParams.newBuilder()
            .setSourceImage(sourceImage)
            .setDiskSizeGb(10)
            .setDiskType(String.format("zones/%s/diskTypes/pd-standard", zone))
            .build();
    return AttachedDisk.newBuilder()
            .setInitializeParams(initializeParams)
            // Remember to set auto_delete to True if you want the disk to be deleted
            // when you delete your VM instance.
            .setAutoDelete(true)
            .setBoot(true)
            .build();
  }
}

Python 

from __future__ import annotations

import re
import sys
from typing import Any
import warnings

from google.api_core.extended_operation import ExtendedOperation
from google.cloud import compute_v1


def get_image_from_family(project: str, family: str) -> compute_v1.Image:
    """
    Retrieve the newest image that is part of a given family in a project.

    Args:
        project: project ID or project number of the Cloud project you want to get image from.
        family: name of the image family you want to get image from.

    Returns:
        An Image object.
    """
    image_client = compute_v1.ImagesClient()
    # List of public operating system (OS) images: https://cloud.google.com/compute/docs/images/os-details
    newest_image = image_client.get_from_family(project=project, family=family)
    return newest_image


def disk_from_image(
    disk_type: str,
    disk_size_gb: int,
    boot: bool,
    source_image: str,
    auto_delete: bool = True,
) -> compute_v1.AttachedDisk:
    """
    Create an AttachedDisk object to be used in VM instance creation. Uses an image as the
    source for the new disk.

    Args:
         disk_type: the type of disk you want to create. This value uses the following format:
            "zones/{zone}/diskTypes/(pd-standard|pd-ssd|pd-balanced|pd-extreme)".
            For example: "zones/us-west3-b/diskTypes/pd-ssd"
        disk_size_gb: size of the new disk in gigabytes
        boot: boolean flag indicating whether this disk should be used as a boot disk of an instance
        source_image: source image to use when creating this disk. You must have read access to this disk. This can be one
            of the publicly available images or an image from one of your projects.
            This value uses the following format: "projects/{project_name}/global/images/{image_name}"
        auto_delete: boolean flag indicating whether this disk should be deleted with the VM that uses it

    Returns:
        AttachedDisk object configured to be created using the specified image.
    """
    boot_disk = compute_v1.AttachedDisk()
    initialize_params = compute_v1.AttachedDiskInitializeParams()
    initialize_params.source_image = source_image
    initialize_params.disk_size_gb = disk_size_gb
    initialize_params.disk_type = disk_type
    boot_disk.initialize_params = initialize_params
    # Remember to set auto_delete to True if you want the disk to be deleted when you delete
    # your VM instance.
    boot_disk.auto_delete = auto_delete
    boot_disk.boot = boot
    return boot_disk


def wait_for_extended_operation(
    operation: ExtendedOperation, verbose_name: str = "operation", timeout: int = 300
) -> Any:
    """
    Waits for the extended (long-running) operation to complete.

    If the operation is successful, it will return its result.
    If the operation ends with an error, an exception will be raised.
    If there were any warnings during the execution of the operation
    they will be printed to sys.stderr.

    Args:
        operation: a long-running operation you want to wait on.
        verbose_name: (optional) a more verbose name of the operation,
            used only during error and warning reporting.
        timeout: how long (in seconds) to wait for operation to finish.
            If None, wait indefinitely.

    Returns:
        Whatever the operation.result() returns.

    Raises:
        This method will raise the exception received from `operation.exception()`
        or RuntimeError if there is no exception set, but there is an `error_code`
        set for the `operation`.

        In case of an operation taking longer than `timeout` seconds to complete,
        a `concurrent.futures.TimeoutError` will be raised.
    """
    result = operation.result(timeout=timeout)

    if operation.error_code:
        print(
            f"Error during {verbose_name}: [Code: {operation.error_code}]: {operation.error_message}",
            file=sys.stderr,
            flush=True,
        )
        print(f"Operation ID: {operation.name}", file=sys.stderr, flush=True)
        raise operation.exception() or RuntimeError(operation.error_message)

    if operation.warnings:
        print(f"Warnings during {verbose_name}:\n", file=sys.stderr, flush=True)
        for warning in operation.warnings:
            print(f" - {warning.code}: {warning.message}", file=sys.stderr, flush=True)

    return result


def create_instance(
    project_id: str,
    zone: str,
    instance_name: str,
    disks: list[compute_v1.AttachedDisk],
    machine_type: str = "n1-standard-1",
    network_link: str = "global/networks/default",
    subnetwork_link: str = None,
    internal_ip: str = None,
    external_access: bool = False,
    external_ipv4: str = None,
    accelerators: list[compute_v1.AcceleratorConfig] = None,
    preemptible: bool = False,
    spot: bool = False,
    instance_termination_action: str = "STOP",
    custom_hostname: str = None,
    delete_protection: bool = False,
) -> compute_v1.Instance:
    """
    Send an instance creation request to the Compute Engine API and wait for it to complete.

    Args:
        project_id: project ID or project number of the Cloud project you want to use.
        zone: name of the zone to create the instance in. For example: "us-west3-b"
        instance_name: name of the new virtual machine (VM) instance.
        disks: a list of compute_v1.AttachedDisk objects describing the disks
            you want to attach to your new instance.
        machine_type: machine type of the VM being created. This value uses the
            following format: "zones/{zone}/machineTypes/{type_name}".
            For example: "zones/europe-west3-c/machineTypes/f1-micro"
        network_link: name of the network you want the new instance to use.
            For example: "global/networks/default" represents the network
            named "default", which is created automatically for each project.
        subnetwork_link: name of the subnetwork you want the new instance to use.
            This value uses the following format:
            "regions/{region}/subnetworks/{subnetwork_name}"
        internal_ip: internal IP address you want to assign to the new instance.
            By default, a free address from the pool of available internal IP addresses of
            used subnet will be used.
        external_access: boolean flag indicating if the instance should have an external IPv4
            address assigned.
        external_ipv4: external IPv4 address to be assigned to this instance. If you specify
            an external IP address, it must live in the same region as the zone of the instance.
            This setting requires `external_access` to be set to True to work.
        accelerators: a list of AcceleratorConfig objects describing the accelerators that will
            be attached to the new instance.
        preemptible: boolean value indicating if the new instance should be preemptible
            or not. Preemptible VMs have been deprecated and you should now use Spot VMs.
        spot: boolean value indicating if the new instance should be a Spot VM or not.
        instance_termination_action: What action should be taken once a Spot VM is terminated.
            Possible values: "STOP", "DELETE"
        custom_hostname: Custom hostname of the new VM instance.
            Custom hostnames must conform to RFC 1035 requirements for valid hostnames.
        delete_protection: boolean value indicating if the new virtual machine should be
            protected against deletion or not.
    Returns:
        Instance object.
    """
    instance_client = compute_v1.InstancesClient()

    # Use the network interface provided in the network_link argument.
    network_interface = compute_v1.NetworkInterface()
    network_interface.network = network_link
    if subnetwork_link:
        network_interface.subnetwork = subnetwork_link

    if internal_ip:
        network_interface.network_i_p = internal_ip

    if external_access:
        access = compute_v1.AccessConfig()
        access.type_ = compute_v1.AccessConfig.Type.ONE_TO_ONE_NAT.name
        access.name = "External NAT"
        access.network_tier = access.NetworkTier.PREMIUM.name
        if external_ipv4:
            access.nat_i_p = external_ipv4
        network_interface.access_configs = [access]

    # Collect information into the Instance object.
    instance = compute_v1.Instance()
    instance.network_interfaces = [network_interface]
    instance.name = instance_name
    instance.disks = disks
    if re.match(r"^zones/[a-z\d\-]+/machineTypes/[a-z\d\-]+$", machine_type):
        instance.machine_type = machine_type
    else:
        instance.machine_type = f"zones/{zone}/machineTypes/{machine_type}"

    instance.scheduling = compute_v1.Scheduling()
    if accelerators:
        instance.guest_accelerators = accelerators
        instance.scheduling.on_host_maintenance = (
            compute_v1.Scheduling.OnHostMaintenance.TERMINATE.name
        )

    if preemptible:
        # Set the preemptible setting
        warnings.warn(
            "Preemptible VMs are being replaced by Spot VMs.", DeprecationWarning
        )
        instance.scheduling = compute_v1.Scheduling()
        instance.scheduling.preemptible = True

    if spot:
        # Set the Spot VM setting
        instance.scheduling.provisioning_model = (
            compute_v1.Scheduling.ProvisioningModel.SPOT.name
        )
        instance.scheduling.instance_termination_action = instance_termination_action

    if custom_hostname is not None:
        # Set the custom hostname for the instance
        instance.hostname = custom_hostname

    if delete_protection:
        # Set the delete protection bit
        instance.deletion_protection = True

    # Prepare the request to insert an instance.
    request = compute_v1.InsertInstanceRequest()
    request.zone = zone
    request.project = project_id
    request.instance_resource = instance

    # Wait for the create operation to complete.
    print(f"Creating the {instance_name} instance in {zone}...")

    operation = instance_client.insert(request=request)

    wait_for_extended_operation(operation, "instance creation")

    print(f"Instance {instance_name} created.")
    return instance_client.get(project=project_id, zone=zone, instance=instance_name)


def create_spot_instance(
    project_id: str, zone: str, instance_name: str
) -> compute_v1.Instance:
    """
    Create a new Spot VM instance with Debian 10 operating system.

    Args:
        project_id: project ID or project number of the Cloud project you want to use.
        zone: name of the zone to create the instance in. For example: "us-west3-b"
        instance_name: name of the new virtual machine (VM) instance.

    Returns:
        Instance object.
    """
    newest_debian = get_image_from_family(project="debian-cloud", family="debian-11")
    disk_type = f"zones/{zone}/diskTypes/pd-standard"
    disks = [disk_from_image(disk_type, 10, True, newest_debian.self_link)]
    instance = create_instance(project_id, zone, instance_name, disks, spot=True)
    return instance

Per creare più VM spot con le stesse proprietà, puoi creare un template di istanza, e utilizzare il template per creare un gruppo di istanze gestite (MIG). Per ulteriori informazioni, consulta le best practice.

Avvia le VM spot

Come le altre VM, le VM spot vengono avviate al momento della creazione. Analogamente, se le VM spot sono arrestate, puoi riavviarle per riprendere lo stato RUNNING. Puoi arrestare e riavviare le VM spot prerilasciate tutte le volte che vuoi, a condizione che vi sia capacità disponibile. Per ulteriori informazioni, consulta Ciclo di vita delle istanze VM.

Se Compute Engine arresta una o più VM spot in un gruppo di istanze gestite (MIG) con scalabilità automatica o in un cluster Google Kubernetes Engine (GKE), il gruppo riavvia le VM quando le risorse diventano di nuovo disponibili.

Identifica il modello di provisioning e l'azione di terminazione di una VM

Identifica il modello di provisioning di una VM per capire se si tratta di una VM standard, una VM spot o una VM preemptible. Per una VM spot, puoi anche identificare l'azione di terminazione. Puoi identificare il modello di provisioning e l'azione di terminazione di una VM utilizzando la consoleGoogle Cloud , gcloud CLI o l'API Compute Engine.

Console

  1. Vai alla pagina Istanze VM.

    Vai alla pagina Istanze VM

  2. Fai clic sul nome della VM che vuoi identificare. Viene visualizzata la pagina Dettagli istanza VM.

  3. Vai alla sezione Gestione nella parte inferiore della pagina. Nella sottosezione Policy di disponibilità, seleziona le seguenti opzioni:

    • Se il modello di provisioning della VM è impostato su Spot, la VM è una VM spot.
      • Informazioni sulla terminazione delle VM indica quale azione intraprendere quando Compute Engine prerilascia la VM, ovvero arrestare o eliminare la VM.
    • Altrimenti, se il modello di provisioning della VM è impostato su Standard o —:
      • Se l'opzione Prerilasciabilità è impostata su On, la VM è preemptible.
      • In caso contrario, la VM è una VM standard.

gcloud

Per descrivere una VM da gcloud CLI, utilizza il comando gcloud compute instances describe:

gcloud compute instances describe VM_NAME

dove VM_NAME è il nome della VM che vuoi controllare.

Nell'output, controlla il campo scheduling per identificare la VM:

  • Se l'output include il campo provisioningModel impostato su SPOT, simile al seguente, la VM è una VM spot.

    ...
scheduling:
...
provisioningModel: SPOT
instanceTerminationAction: TERMINATION_ACTION
...

    dove TERMINATION_ACTION indica l'azione da intraprendere quando Compute Engine prerilascia la VM, ovvero arrestare (STOP) o eliminare (DELETE) la VM. Se il campo instanceTerminationAction non è presente, il valore predefinito è STOP.

  • Altrimenti, se l'output include il campo provisioningModel impostato su standard o se l'output omette il campo provisioningModel:

    • Se l'output include il campo preemptible impostato su true, la VM è preemptible.
    • In caso contrario, la VM è una VM standard.

REST

Per descrivere una VM dall'API Compute Engine, utilizza il metodo instances.get.

GET https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME

Sostituisci quanto segue:

  • PROJECT_ID: l'ID progetto del progetto in cui si trova la VM
  • ZONE: la zona in cui si trova la VM
  • VM_NAME: il nome della VM che vuoi controllare

Nell'output, controlla il campo scheduling per identificare la VM:

  • Se l'output include il campo provisioningModel impostato su SPOT, simile al seguente, la VM è una VM spot.

    {
  ...
  "scheduling":
  {
     ...
     "provisioningModel": "SPOT",
     "instanceTerminationAction": "TERMINATION_ACTION"
     ...
  },
  ...
}

    dove TERMINATION_ACTION indica l'azione da intraprendere quando Compute Engine prerilascia la VM, ovvero arrestare (STOP) o eliminare (DELETE) la VM. Se il campo instanceTerminationAction non è presente, il valore predefinito è STOP.

  • Altrimenti, se l'output include il campo provisioningModel impostato su standard o se l'output omette il campo provisioningModel:

    • Se l'output include il campo preemptible impostato su true, la VM è preemptible.
    • In caso contrario, la VM è una VM standard.

Go 


import (
	"context"
	"fmt"
	"io"

	compute "cloud.google.com/go/compute/apiv1"
	"cloud.google.com/go/compute/apiv1/computepb"
)

// isSpotVM checks if a given instance is a Spot VM or not.
func isSpotVM(w io.Writer, projectID, zone, instanceName string) (bool, error) {
	// projectID := "your_project_id"
	// zone := "europe-central2-b"
	// instanceName := "your_instance_name"
	ctx := context.Background()
	client, err := compute.NewInstancesRESTClient(ctx)
	if err != nil {
		return false, fmt.Errorf("NewInstancesRESTClient: %w", err)
	}
	defer client.Close()

	req := &computepb.GetInstanceRequest{
		Project:  projectID,
		Zone:     zone,
		Instance: instanceName,
	}

	instance, err := client.Get(ctx, req)
	if err != nil {
		return false, fmt.Errorf("GetInstance: %w", err)
	}

	isSpot := instance.GetScheduling().GetProvisioningModel() == computepb.Scheduling_SPOT.String()

	var isSpotMessage string
	if !isSpot {
		isSpotMessage = " not"
	}
	fmt.Fprintf(w, "Instance %s is%s spot\n", instanceName, isSpotMessage)

	return instance.GetScheduling().GetProvisioningModel() == computepb.Scheduling_SPOT.String(), nil
}

Java 


import com.google.cloud.compute.v1.Instance;
import com.google.cloud.compute.v1.InstancesClient;
import com.google.cloud.compute.v1.Scheduling;
import java.io.IOException;
import java.util.concurrent.ExecutionException;
import java.util.concurrent.TimeoutException;

public class CheckIsSpotVm {
  public static void main(String[] args)
          throws IOException, ExecutionException, InterruptedException, TimeoutException {
    // TODO(developer): Replace these variables before running the sample.
    // Project ID or project number of the Google Cloud project you want to use.
    String projectId = "your-project-id";
    // Name of the virtual machine to check.
    String instanceName = "your-route-name";
    // Name of the zone you want to use. For example: "us-west3-b"
    String zone = "your-zone";

    boolean isSpotVm = isSpotVm(projectId, instanceName, zone);
    System.out.printf("Is %s spot VM instance - %s", instanceName, isSpotVm);
  }

  // Check if a given instance is Spot VM or not.
  public static boolean isSpotVm(String projectId, String instanceName, String zone)
          throws IOException {
    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests.
    try (InstancesClient client = InstancesClient.create()) {
      Instance instance = client.get(projectId, zone, instanceName);

      return instance.getScheduling().getProvisioningModel()
              .equals(Scheduling.ProvisioningModel.SPOT.name());
    }
  }
}

Python 

from google.cloud import compute_v1


def is_spot_vm(project_id: str, zone: str, instance_name: str) -> bool:
    """
    Check if a given instance is Spot VM or not.
    Args:
        project_id: project ID or project number of the Cloud project you want to use.
        zone: name of the zone you want to use. For example: "us-west3-b"
        instance_name: name of the virtual machine to check.
    Returns:
        The Spot VM status of the instance.
    """
    instance_client = compute_v1.InstancesClient()
    instance = instance_client.get(
        project=project_id, zone=zone, instance=instance_name
    )
    return (
        instance.scheduling.provisioning_model
        == compute_v1.Scheduling.ProvisioningModel.SPOT.name
    )

Gestisci il prerilascio delle VM spot

Per scoprire come gestire il prerilascio delle VM spot, esamina le seguenti sezioni:

Gestisci il prerilascio con uno script di arresto

Quando Compute Engine prerilascia una VM, puoi utilizzare uno script di arresto per provare a eseguire azioni di pulizia prima del prerilascio della VM. Ad esempio, puoi arrestare normalmente un processo in esecuzione e copiare un file di checkpoint in Cloud Storage. In particolare, la durata massima del periodo di arresto è inferiore per una notifica di prerilascio rispetto a un arresto avviato dall'utente. Per ulteriori informazioni sul periodo di arresto di una notifica di prerilascio, consulta il processo di prerilascio nella documentazione concettuale delle VM spot.

Di seguito è riportato un esempio di script di arresto che puoi aggiungere a una VM spot in esecuzione o durante la creazione di una nuova VM spot. Questo script viene eseguito quando la VM inizia l'arresto, prima che il normale comando kill del sistema operativo interrompa tutti i processi rimanenti. Dopo aver arrestato normalmente il programma desiderato, lo script esegue un caricamento parallelo di un file di checkpoint in un bucket Cloud Storage.

#!/bin/bash

MY_PROGRAM="PROGRAM_NAME" # For example, "apache2" or "nginx"
MY_USER="LOCAL_USER"
CHECKPOINT="/home/$MY_USER/checkpoint.out"
BUCKET_NAME="BUCKET_NAME" # For example, "my-checkpoint-files" (without gs://)

echo "Shutting down!  Seeing if ${MY_PROGRAM} is running."

# Find the newest copy of $MY_PROGRAM
PID="$(pgrep -n "$MY_PROGRAM")"

if [[ "$?" -ne 0 ]]; then
  echo "${MY_PROGRAM} not running, shutting down immediately."
  exit 0
fi

echo "Sending SIGINT to $PID"
kill -2 "$PID"

# Portable waitpid equivalent
while kill -0 "$PID"; do
   sleep 1
done

echo "$PID is done, copying ${CHECKPOINT} to gs://${BUCKET_NAME} as ${MY_USER}"

su "${MY_USER}" -c "gcloud storage cp $CHECKPOINT gs://${BUCKET_NAME}/"

echo "Done uploading, shutting down."

Questo script presuppone quanto segue:

  • La VM è stata creata con almeno l'accesso in lettura/scrittura a Cloud Storage. Per istruzioni su come creare una VM con gli ambiti appropriati, consulta la documentazione sull'autenticazione.

  • Hai un bucket Cloud Storage esistente e l'autorizzazione per scrivere al suo interno.

Per aggiungere questo script a una VM, configuralo in modo che funzioni con un'applicazione sulla tua VM e aggiungilo ai metadati della VM.

  1. Copia o scarica lo script di arresto:

    • Copia lo script di arresto precedente dopo aver sostituito quanto segue:

      • PROGRAM_NAME è il nome del processo o del programma che vuoi arrestare. Ad esempio, apache2 o nginx.
      • LOCAL_USER è il nome utente con cui hai eseguito l'accesso alla macchina virtuale.
      • BUCKET_NAME è il nome del bucket Cloud Storage in cui vuoi salvare il file di checkpoint del programma. Tieni presente che in questo caso il nome del bucket non inizia con gs://.

    • Scarica lo script di arresto sulla tua workstation locale, quindi sostituisci le seguenti variabili nel file:

      • [PROGRAM_NAME] è il nome del processo o del programma che vuoi arrestare. Ad esempio, apache2 o nginx.
      • [LOCAL_USER] è il nome utente con cui hai eseguito l'accesso alla macchina virtuale.
      • [BUCKET_NAME] è il nome del bucket Cloud Storage in cui vuoi salvare il file di checkpoint del programma. Tieni presente che in questo caso il nome del bucket non inizia con gs://.

  2. Aggiungi lo script di arresto a una nuova VM o a una VM esistente.

Rileva lil prerilascio delle VM spot

Determina se le VM spot sono state prerilasciate da Compute Engine utilizzando Google Cloud console, gcloud CLI o l'API Compute Engine.

Console

Puoi verificare se una VM è stata prerilasciata controllando i log delle attività di sistema.

  1. Nella console Google Cloud , vai alla pagina Log.

    Vai a Log

  2. Seleziona il progetto e fai clic su Continua.

  3. Aggiungi compute.instances.preempted al campo Filtra per etichetta o Ricerca testuale.

  4. Se vuoi visualizzare le operazioni di prerilascio per una VM specifica, puoi anche inserire un nome VM.

  5. Premi Invio per applicare i filtri specificati. La console Google Cloud aggiorna l'elenco dei log in modo da mostrare solo le operazioni in cui è stata prerilasciata una VM.

  6. Seleziona un'operazione dall'elenco per visualizzare i dettagli della VM che è stata prerilasciata.

gcloud

Utilizza il comando gcloud compute operations list con un parametro filtro per ottenere un elenco di eventi di prerilascio nel progetto.

gcloud compute operations list \
    --filter="operationType=compute.instances.preempted"

Se vuoi, puoi utilizzare parametri di filtro aggiuntivi per restringere ulteriormente l'ambito dei risultati. Ad esempio, per visualizzare gli eventi di prerilascio solo per le istanze all'interno di un gruppo di istanze gestite, utilizza il seguente comando:

gcloud compute operations list \
    --filter="operationType=compute.instances.preempted AND targetLink:instances/BASE_INSTANCE_NAME"

dove BASE_INSTANCE_NAME è il nome di base specificato come prefisso per i nomi di tutte le VM in questo gruppo di istanze gestite.

L'output è simile al seguente:

NAME                  TYPE                         TARGET                                        HTTP_STATUS STATUS TIMESTAMP
systemevent-xxxxxxxx  compute.instances.preempted  us-central1-f/instances/example-instance-xxx  200         DONE   2015-04-02T12:12:10.881-07:00

Un tipo di operazione compute.instances.preempted indica che l'istanza VM è stata prerilasciata. Puoi utilizzare il comando gcloud compute operations describe per ottenere ulteriori informazioni su un'operazione di prerilascio specifica.

gcloud compute operations describe SYSTEM_EVENT \
    --zone=ZONE

Sostituisci quanto segue:

  • SYSTEM_EVENT: l'evento di sistema proveniente dall'output del comando gcloud compute operations list, ad esempio systemevent-xxxxxxxx
  • ZONE: la zona dell'evento di sistema, ad esempio us-central1-f

L'output è simile al seguente:

...
operationType: compute.instances.preempted
progress: 100
selfLink: https://compute.googleapis.com/compute/v1/projects/my-project/zones/us-central1-f/operations/systemevent-xxxxxxxx
startTime: '2015-04-02T12:12:10.881-07:00'
status: DONE
statusMessage: Instance was preempted.
...

REST

Per ottenere un elenco delle operazioni di sistema recenti per un progetto e una zona specifici, utilizza il metodo zoneOperations.get.

GET https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/operations

Sostituisci quanto segue:

Se vuoi limitare la risposta in modo da mostrare solo le operazioni di prerilascio, puoi aggiungere un filtro alla richiesta API:

operationType="compute.instances.preempted"

In alternativa, per visualizzare le operazioni di prerilascio per una VM specifica, aggiungi un parametro targetLink al filtro:

operationType="compute.instances.preempted" AND
targetLink="https://www.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME

Sostituisci quanto segue: + PROJECT_ID: l'ID progetto. + ZONE: la zona. + VM_NAME: il nome di una VM specifica in questa zona e in questo progetto.

La risposta contiene un elenco di operazioni recenti. Ad esempio, un prerilascio è simile a quanto segue:

{
  "kind": "compute#operation",
  "id": "15041793718812375371",
  "name": "systemevent-xxxxxxxx",
  "zone": "https://www.googleapis.com/compute/v1/projects/my-project/zones/us-central1-f",
  "operationType": "compute.instances.preempted",
  "targetLink": "https://www.googleapis.com/compute/v1/projects/my-project/zones/us-central1-f/instances/example-instance",
  "targetId": "12820389800990687210",
  "status": "DONE",
  "statusMessage": "Instance was preempted.",
  ...
}

In alternativa, puoi determinare se una VM è stata prerilasciata dall'interno della VM stessa. Questo è utile se vuoi gestire un arresto dovuto a un prerilascio di Compute Engine in modo diverso da un normale arresto in uno script di arresto. Per farlo, controlla semplicemente il server dei metadati per il valore preempted nei metadati dell'istanza predefinita della VM.

Ad esempio, utilizza curl all'interno della VM per ottenere il valore di preempted:

curl "http://metadata.google.internal/computeMetadata/v1/instance/preempted" -H "Metadata-Flavor: Google"
TRUE

Se questo valore è TRUE, la VM è stata prerilasciata da Compute Engine, altrimenti è FALSE.

Se vuoi utilizzarlo al di fuori di uno script di arresto, puoi aggiungere ?wait_for_change=true all'URL. In questo modo viene eseguita una richiesta HTTP GET in sospeso che restituisce un risultato solo quando i metadati sono stati modificati e la VM è stata prerilasciata.

curl "http://metadata.google.internal/computeMetadata/v1/instance/preempted?wait_for_change=true" -H "Metadata-Flavor: Google"
TRUE

Testa le impostazioni di prerilascio

Puoi eseguire eventi di manutenzione simulati sulle tue VM per forzarne il prerilascio. Utilizza questa funzionalità per verificare come le tue app gestiscono le VM spot. Leggi Simula un evento di manutenzione dell'host per scoprire come testare gli eventi di manutenzione sulle tue istanze.

Best practice

Ecco alcune best practice per aiutarti a ottenere il massimo dalle VM spot.

  • Utilizza i template di istanza. Anziché creare le VM spot una alla volta, puoi utilizzare i template di istanza per creare più VM spot con le stesse proprietà. I template di istanza sono obbligatori per l'utilizzo dei MIG. In alternativa, puoi anche creare più VM spot utilizzando l'API per le istanze in blocco.

  • Utilizza i MIG per distribuire a livello di regione e ricreare automaticamente le VM spot. Utilizza i MIG per rendere i workload sulle VM spot più flessibili e resilienti. Ad esempio, utilizza i MIG a livello di regione per distribuire le VM in più zone, il che contribuisce a mitigare gli errori di disponibilità delle risorse. Inoltre, utilizza la riparazione automatica per ricreare automaticamente le VM spot dopo che sono state prerilasciate.

  • Scegli tipi di macchine più piccoli. Le risorse per le VM spot provengono dalla capacità in eccesso e di backup della Google Cloud . La capacità per le VM spot è spesso più facile da ottenere per i tipi di macchina più piccoli, ovvero tipi di macchina con meno risorse come vCPU e memoria. Potresti trovare più capacità per le VM spot selezionando un tipo di macchina personalizzata più piccolo, ma la capacità è ancora più probabile per i tipi di macchine predefinite più piccoli. Ad esempio, rispetto alla capacità del tipo di macchina predefinita n2-standard-32, la capacità del tipo di macchina personalizzata n2-custom-24-96 è più probabile, ma la capacità del tipo di macchina predefinita n2-standard-16 è ancora più probabile.

  • Esegui grandi cluster di VM spot durante periodi diversi da quelli di picco. Il carico sui data center Google Cloud varia in base alla località e all'ora del giorno, ma in genere è minimo nelle ore notturne e nei fine settimana. Di conseguenza, le notti e i fine settimana sono i momenti migliori per eseguire grandi cluster di VM spot.

  • Progetta le tue applicazioni in modo che siano tolleranti agli errori e al prerilascio. È importante essere preparati al fatto che le sequenze di prerilascio possono cambiare in momenti diversi. Ad esempio, se una zona subisce un'interruzione parziale del servizio, un numero elevato di VM spot potrebbe essere prerilasciata per fare spazio alle VM standard che devono essere spostate nell'ambito del recupero. In questo breve lasso di tempo, il tasso di prerilascio sarà molto diverso rispetto a qualsiasi altro giorno. Se la tua applicazione presuppone che i prerilasci vengano sempre eseguiti in piccoli gruppi, potrebbe non essere preparata per un evento di questo tipo.

  • Riprova a creare le VM spot che sono state prerilasciate. Se le VM spot sono state prerilasciate, prova a creare nuove VM spot una o due volte prima di tornare alle VM standard. A seconda dei tuoi requisiti, potrebbe essere una buona idea combinare VM standard e spot nei tuoi cluster per assicurarti che il lavoro proceda a un ritmo adeguato.

  • Utilizza gli script di arresto. Gestisci le notifiche di arresto e prerilascio con uno script di arresto che può salvare l'avanzamento di un job in modo da riprendere da dove avevi interrotto, anziché ricominciare da capo.

Passaggi successivi