Utilizzare le prenotazioni Compute Engine con Dataflow

Per assicurarti che le risorse VM siano disponibili quando i job Dataflow ne hanno bisogno, puoi utilizzare le prenotazioni di Compute Engine. Le prenotazioni offrono un elevato livello di garanzia per l'ottenimento della capacità per le risorse di zona di Compute Engine.

Per utilizzare le prenotazioni di Compute Engine con consumo automatico con Dataflow, segui i seguenti passaggi:

  1. Crea una prenotazione di Compute Engine. Può trattarsi di una prenotazione per un singolo progetto o di una prenotazione condivisa. Per saperne di più, consulta i seguenti documenti:

    La prenotazione può includere acceleratori GPU o TPU.

  2. Affinché la prenotazione venga utilizzata, la configurazione dei worker Dataflow deve corrispondere alla configurazione della prenotazione (ad esempio tipo di macchina e impostazioni dell'acceleratore). Potresti dover impostare il tipo di macchina worker per il job. Per saperne di più, consulta Configurare le VM worker.

  3. Invia il job Dataflow.

  4. Puoi monitorare l'utilizzo attuale della prenotazione da parte di Dataflow nella pagina Prenotazioni della Google Cloud console.

Per impedire che i carichi di lavoro a bassa priorità nello stesso progetto competano per le prenotazioni con Dataflow, imposta l'affinità della prenotazione su none quando crei le VM per questi carichi di lavoro. Per saperne di più, consulta Utilizzare le istanze riservate.

Limitazioni

  • Quando i worker Dataflow utilizzano le prenotazioni, si applicano tutte le limitazioni delle prenotazioni di Compute Engine. Consulta Come funzionano le prenotazioni.

  • Dataflow si basa sull' ordine di utilizzo predefinito in Compute Engine. Di conseguenza, si applicano le seguenti limitazioni:

    • Altri carichi di lavoro nello stesso progetto o nella stessa organizzazione che non specificano il flag --reservation potrebbero competere con i carichi di lavoro Dataflow per le prenotazioni specifiche del progetto o condivise.

  • I job Dataflow Prime non utilizzano le prenotazioni di Compute Engine.

Prenotazioni e acceleratori

Dataflow supporta le prenotazioni con target specifico per le pipeline che utilizzano acceleratori (GPU o TPU). Questa funzionalità è in disponibilità generale con una lista consentita. Per istruzioni sull'utilizzo degli acceleratori Dataflow con prenotazioni specifiche, contatta il team dedicato al tuo account.

Prezzi

Dataflow ti addebita le VM dalle prenotazioni con consumo automatico durante l'esecuzione del job Dataflow. Quando Dataflow non utilizza le VM, Compute Engine ti addebita i costi.

Modello di prezzi di Compute Engine

Se il tuo utilizzo di Dataflow include VM da prenotazioni con target specifico che dispongono di GPU o TPU, le risorse di computing di queste VM riservate vengono addebitate in base ai prezzi di Compute Engine. Se le prenotazioni con target specifico sono collegate a un impegno basato sulle risorse di Compute Engine commitment, then ricevi anche gli sconti per impegno di utilizzo (CUD) basati sulle risorse applicabili per il tuo utilizzo. Ti viene addebitato anche un premio di gestione per le risorse di computing utilizzate in Dataflow. Per ulteriori dettagli sui prezzi, consulta Prezzi di Dataflow.

Modello di prezzi di Dataflow

Per qualsiasi altro tipo di prenotazione di Compute Engine che utilizzi con Dataflow, l'utilizzo viene addebitato utilizzando il modello di prezzi di Dataflow. L'utilizzo di Dataflow da queste prenotazioni non è idoneo per i CUD basati sulle risorse, anche se queste prenotazioni sono collegate a un impegno basato sulle risorse. Questo vale per le seguenti prenotazioni di Compute Engine:

  • Prenotazioni con target specifico che non dispongono di GPU o TPU
  • Tutte le prenotazioni con consumo automatico

Passaggi successivi

Per saperne di più sulle prenotazioni di Compute Engine, consulta Prenotazioni di risorse di zona di Compute Engine.