Pianificare job dipendenti

Questo documento descrive come creare ed eseguire un job che non viene pianificato finché non vengono completati o non riescono job specifici. Per saperne di più sugli stati dei job, consulta la panoramica sulla creazione e l'esecuzione dei job.

Se hai un carico di lavoro con requisiti di risorse variabili, valuta la possibilità di utilizzare job dipendenti per creare una catena automatizzata di job che utilizzano ciascuno VM separate. Ad esempio, separa i tipi di VM utilizzati per le operazioni a bassa richiesta (come la preparazione dei dati) e le operazioni a elevato utilizzo di calcolo (come l'elaborazione dei dati). Utilizzando i job dipendenti per ottimizzare il consumo di risorse, puoi ridurre i costi e l'utilizzo della quota.

Prima di iniziare

  1. Se non hai mai utilizzato Batch, consulta la guida Inizia a utilizzare Batch e attiva Batch completando i prerequisiti per progetti e utenti.

  2. Per ottenere le autorizzazioni necessarie per creare un job, chiedi all'amministratore di concederti i seguenti ruoli IAM:

    Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

    Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Limitazioni

I job dipendenti presentano le seguenti limitazioni:

  • Un job dipendente può avere fino a quattro dipendenze. Ogni dipendenza deve contenere un nome di job univoco e uno dei seguenti stati obbligatori:

    • SUCCEEDED: operazioni riuscite
    • FAILED: operazioni non riuscite
    • FINISHED: operazioni riuscite o non riuscite

  • Quando crei un job dipendente, devono esistere tutti i job di dipendenza.

  • Un job dipendente non può passare allo stato pianificato (SCHEDULED) finché ogni job di dipendenza non ha raggiunto lo stato richiesto. Se un job di dipendenza non può raggiungere lo stato richiesto, il job dipendente non viene pianificato e non riesce immediatamente.

  • Come tutti i job, un job dipendente non può passare allo stato pianificato (SCHEDULED) se supera il tempo di attesa massimo nella coda. Batch applica questo limite per evitare che i job diventino obsoleti. Di conseguenza, se prevedi che il tempo rimanente necessario per il completamento di uno dei job di dipendenza potrebbe superare questo limite, valuta la possibilità di eseguire una o più delle seguenti operazioni:

    • Se non hai ancora creato un job di dipendenza, prova a ridurre il tempo di esecuzione previsto del job di dipendenza. Ad esempio, puoi aumentare il parallelismo del carico di lavoro o limitare il tempo di esecuzione di eventuali attività ed eseguibili che non devono essere completati.
    • Attendi di creare il job dipendente finché il tempo di esecuzione previsto dei job di dipendenza non è inferiore al limite.

Creare un job dipendente

Puoi creare un job che è dipendente utilizzando i seguenti metodi:

Per specificare che un job è dipendente, includi il dependencies[].items campo, che supporta una o più dipendenze specificate come coppie chiave-valore, nel corpo principale del file JSON:

"dependencies": [
  {
    "items": {
      "DEPENDENCY_JOB_NAME": "REQUIRED_STATE"
    }
  }
]

Sostituisci quanto segue:

  • DEPENDENCY_JOB_NAME: il nome di un job di dipendenza, che deve raggiungere lo stato richiesto prima che questo job dipendente possa essere pianificato.

  • REQUIRED_STATE: lo stato richiesto per il job di dipendenza corrispondente, che deve essere SUCCEEDED, FAILED o FINISHED.

Ad esempio, un job dipendente con tre dipendenze può avere un file di configurazione JSON simile al seguente:

{
  "taskGroups": [
    {
      "taskSpec": {
        "runnables": [
          {
            "script": {
              "text": "echo Hello World! This is task $BATCH_TASK_INDEX."
            }
          }
        ]
      },
      "taskCount": 3
    }
  ],
  "dependencies": [
    {
      "items": {
        "DEPENDENCY_JOB_NAME_1": "REQUIRED_STATE_1",
        "DEPENDENCY_JOB_NAME_2": "REQUIRED_STATE_2",
        "DEPENDENCY_JOB_NAME_3": "REQUIRED_STATE_3"
      }
    }
  ]
}

Passaggi successivi