Esportare le informazioni sui job

Questa pagina descrive come esportare le informazioni relative ai tuoi job archiviate in Batch in una tabella BigQuery utilizzando Workflows. Nello specifico, scopri come eseguire il flusso di lavoro export-jobs di esempio e come visualizzare le informazioni sul job risultanti in BigQuery.

L'esportazione delle informazioni di un job è utile quando vuoi conservarle dopo l'eliminazione automatica o manuale di un job o analizzarle al di fuori di Batch. In alternativa, se vuoi esportare solo le informazioni sulle modifiche dello stato di attività e job in BigQuery, consulta Monitorare i job utilizzando le notifiche.

Per scoprire come esportare le informazioni sui lavori archiviate in altri serviziGoogle Cloud , consulta la documentazione sull'esportazione per quel servizio. Ad esempio, consulta le seguenti pagine:

• Esporta i log di Cloud Logging.
• Esporta le metriche di Cloud Monitoring.

Nota: Workflows e BigQuery sono prodotti Google Cloud separati con prezzi propri. Per ulteriori informazioni, vedi Prezzi di Workflows e Prezzi di BigQuery.

Prima di iniziare

1. Se non hai mai utilizzato Batch, consulta la sezione Guida introduttiva a Batch e attiva Batch completando i prerequisiti per progetti e utenti.

2. Enable the BigQuery and Workflows APIs.

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   Enable the APIs

3. (Facoltativo) Identifica un set di dati o una tabella BigQuery esistente nel tuo progetto in cui vuoi archiviare le informazioni sul job. Una tabella esistente deve avere uno schema corrispondente.

   In caso contrario, puoi utilizzare il flusso di lavoro export-jobs per creare un nuovo set di dati o una nuova tabella.

4. Prepara un account di servizio per il flusso di lavoro export-jobs eseguendo le seguenti operazioni:

   1. Crea un nuovo service account o identifica un service account esistente.

   2. Per assicurarti che il account di servizio disponga delle autorizzazioni necessarie per eseguire il flusso di lavoro export-jobs, chiedi all'amministratore di concedere i seguenti ruoli IAM al account di servizio sul progetto:

      Importante: devi concedere questi ruoli al account di servizio, non al tuo account utente. La mancata concessione dei ruoli all'entità corretta potrebbe comportare errori di autorizzazione.
      • Scrittura dei log: Logs Writer (roles/logging.logWriter)
      • Crea e modifica set di dati e tabelle BigQuery: Amministratore BigQuery (roles/bigquery.admin)
      • Visualizzare ed eliminare i job batch: Batch Job Editor (roles/batch.jobsEditor)

      Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

      L'amministratore potrebbe anche essere in grado di concedere al account di servizio le autorizzazioni richieste tramite ruoli personalizzati o altri ruoli predefiniti.

5. Per ottenere le autorizzazioni necessarie per creare, eseguire il deployment ed eseguire il flusso di lavoro export-jobs, chiedi all'amministratore di concederti i seguenti ruoli IAM sul progetto:

   • Visualizza i job: Batch Job Viewer (roles/batch.jobsViewer)
   • Visualizza service account: Visualizza service account (roles/iam.serviceAccountViewer)
   • Visualizza set di dati e tabelle BigQuery: Visualizzatore dati BigQuery (roles/bigquery.dataViewer)
   • Crea, esegui il deployment ed esegui i workflow: Editor di Workflows (roles/workflows.editor)

6. Assicurati che gli utenti del tuo progetto possano visualizzare le informazioni sul job esportato.

   Per assicurarti che un utente disponga delle autorizzazioni necessarie per esportare le informazioni sui job, chiedi all'amministratore di concedere il ruolo IAM Visualizzatore dati BigQuery (roles/bigquery.dataViewer) a un utente della tabella, del set di dati o del progetto.

   Nota:puoi concedere l'accesso solo alle risorse esistenti. A meno che tu non preveda di esportare le informazioni sul job in una tabella o un set di dati preesistente, devi concedere questo accesso al progetto o dopo aver esportato le informazioni sul job.

Esportare le informazioni sui job

Questa sezione spiega come esportare le informazioni sui lavori utilizzando il flusso di lavoro export-jobs, che fa parte dell'export-to-bigquery esempio di codice. Il flusso di lavoro export-jobs esporta le informazioni per i job del tuo progetto che si trovano nella regione specificata e soddisfano i criteri di filtro specificati.

Importante:il flusso di lavoro di esportazione dei lavori può esportare le informazioni sui lavori da una sola regione alla volta. Se vuoi esportare informazioni per i job in più regioni o più sottoinsiemi in una regione, configura, crea, esegui il deployment ed esegui un flusso di lavoro di esportazione dei job dedicato per ogni caso d'uso.

Ti consigliamo di creare flussi di lavoro dedicati per ogni caso d'uso. Sebbene tu possa modificare e rieseguire un workflow, i workflow dedicati semplificano il monitoraggio dell'ultima esportazione dei job e la pianificazione dei workflow per esportare automaticamente i job.

Il flusso di lavoro export-jobs esporta le informazioni sui job in una tabella specificata in un dataset specificato, che vengono creati automaticamente dal flusso di lavoro se non esistono già nel tuo progetto. Per impostazione predefinita, il flusso di lavoro export-jobs elimina anche i job esportati da Batch, ma puoi facoltativamente modificare il flusso di lavoro export-jobs per non eliminare i job.

Per ogni flusso di lavoro export-jobs che vuoi utilizzare:

1. Configura la definizione del workflow.
2. Crea ed esegui il deployment del flusso di lavoro.
3. Esegui il workflow. Ripeti questo passaggio ogni volta che vuoi esportare i lavori specificati.

Configura la definizione del workflow

1. Scarica il file export-to-bigquery-delete-batch-jobs.yaml da GitHub.

2. Apri il file export-to-bigquery-delete-batch-jobs.yaml in un editor di testo. Quindi, apportare le seguenti modifiche:

   1. Sostituisci sys.get_env("GOOGLE_CLOUD_PROJECT_ID") con l'ID progetto formattato come stringa, ad esempio "my-project-id".

   2. Sostituisci sys.get_env("GOOGLE_CLOUD_LOCATION") con la regione che contiene i job che vuoi esportare, formattata come stringa, ad esempio "us-central1".

   3. (Facoltativo) Modifica i criteri di filtro che specificano i job da esportare.

      Per impostazione predefinita, il workflow export-jobs specifica i criteri di filtro "(status.state:SUCCEEDED OR status.state:FAILED OR status.state:CANCELLED) AND create_time<=\"2023-05-01T00:00:00Z\"". Questi criteri di filtro predefiniti esportano le informazioni solo per i job che si trovano nello stato SUCCEEDED, FAILED o CANCELLED e sono stati creati prima o entro il timestamp 2023-05-01T00:00:00Z RFC 3339.

   4. (Facoltativo) Sostituisci default_dataset_id con un nome diverso per il set di dati che vuoi che il workflow export-jobs utilizzi o crei.

   5. (Facoltativo) Sostituisci default_table_id con un nome diverso della tabella che vuoi che il workflow export-jobs utilizzi o crei.

   6. Se non vuoi che i job esportati vengano eliminati dal flusso di lavoro, fai quanto segue:

      Suggerimento: se non elimini i job esportati, la riesecuzione dello stesso flusso di lavoro export-jobs potrebbe creare righe duplicate. Per evitare questo problema, puoi aggiornare i criteri di filtro create_time prima di ogni riesecuzione in modo da includere solo i job creati dopo l'esecuzione precedente. Per scoprire come vedere quando è stato eseguito un flusso di lavoro in precedenza, consulta Accedere ai risultati dell'esecuzione del flusso di lavoro.

      1. Rimuovi le seguenti righe:

                 - log_delete_step:
                     call: sys.log
                     args:
                       text: ${"Deleting Batch job " + j.name}
                       severity: NOTICE
                 - delete_job:
                     call: googleapis.batch.v1.projects.locations.jobs.delete
                     args:
                       name: ${j.name}
         

      2. Rimuovi + " and deleted".

   7. Salva il file. Tieni aperto il file.

Crea ed esegui il deployment del workflow

1. Nella console Google Cloud , vai alla pagina Workflow:

   Vai a Flussi di lavoro

2. Nella pagina Flussi di lavoro, fai clic su Crea.

3. Nel campo Nome workflow, inserisci un nome per il workflow, ad esempio export-batch-jobs-us-central1.

4. Nell'elenco Service account, seleziona il account di servizio che hai preparato.

5. Fai clic su Avanti.

6. Nell'editor del flusso di lavoro, sostituisci il flusso di lavoro di esempio con i contenuti del file export-to-bigquery-delete-batch-jobs.yaml. Poi, puoi chiudere il file.

7. Fai clic su Esegui il deployment. Viene visualizzata la pagina Dettagli workflow.

Esegui il flusso di lavoro

Suggerimento: se vuoi eseguire automaticamente il flusso di lavoro export-jobs, consulta Pianificare un flusso di lavoro utilizzando Cloud Scheduler nella documentazione di Workflows. Ad esempio, poiché ogni job viene eliminato automaticamente 60 giorni dopo il termine, puoi esportare tutti i tuoi job (che non vengono eliminati manualmente) pianificando uno o più flussi di lavoro di esportazione dei job per esportare ed eliminare i job ogni 59 giorni.

1. Nella pagina Dettagli workflow, fai clic su Esegui. Si apre la pagina Esegui workflow.

2. Nella pagina Esegui workflow che si apre, fai clic su Esegui.

3. Nella pagina Dettagli esecuzione che si apre, attendi il completamento dell'esecuzione del flusso di lavoro. Ad esempio, il tempo di esecuzione per esportare ed eliminare alcuni job è in genere di pochi secondi, ma l'esecuzione potrebbe richiedere più tempo se esporti ed elimini molti job.

   Al termine dell'esecuzione del flusso di lavoro, nel riquadro Output vengono visualizzati i risultati.

Visualizzare le informazioni sul job esportate

Questa sezione introduce come visualizzare i dati della tabella creati dal flusso di lavoro export-jobs. Ad esempio, puoi utilizzare i seguenti passaggi per verificare che il flusso di lavoro sia stato eseguito correttamente e sfogliare i dati della tabella. Per saperne di più su come visualizzare e utilizzare le informazioni sui job esportate, ad esempio come scrivere query, consulta Gestione dei dati delle tabelle nella documentazione di BigQuery.

1. Nella console Google Cloud , vai alla pagina BigQuery.

   Vai a BigQuery

2. Nel riquadro Explorer, apri la tabella con le informazioni sul job esportato:

   1. Nel campo Cerca risorse BigQuery, inserisci il nome della tabella del workflow export-jobs. Ad esempio, il nome della tabella predefinito è default_table_id.
   2. Fai clic sul nome della tabella. Viene visualizzata la pagina dei dettagli della tabella.

   3. Nella pagina dei dettagli della tabella, fai clic sulla scheda Dettagli.

      Nella scheda Dettagli, prendi nota del timestamp Ultima modifica e del Numero di righe.

   4. Nella pagina dei dettagli della tabella, fai clic sulla scheda Anteprima.

Passaggi successivi

• Scopri di più sui workflow.
• Scopri di più su BigQuery.
• Scopri di più su Batch:
  • Visualizzare i lavori nel progetto
  • Eliminare i job
  • Crea un altro job