Puoi personalizzare l'ambiente di runtime del codice utente nelle pipeline Dataflow fornendo un'immagine container personalizzata. I container personalizzati sono supportati per le pipeline che utilizzano Dataflow Portable Runner.
Quando Dataflow avvia le VM worker, utilizza le immagini container Docker per avviare i processi SDK containerizzati sui worker. Per impostazione predefinita, una pipeline utilizza un'immagine precompilata Apache Beam. Tuttavia, puoi fornire un'immagine container personalizzata per il tuo job Dataflow. Quando specifichi un'immagine container personalizzata, Dataflow avvia i worker che eseguono il pull dell'immagine specificata.
Potresti utilizzare un container personalizzato per i seguenti motivi:
- Preinstallare le dipendenze della pipeline per ridurre il tempo di avvio del worker.
- Preinstallare le dipendenze della pipeline non disponibili nei repository pubblici.
- Preinstallare le dipendenze della pipeline quando l'accesso ai repository pubblici è disattivato. L'accesso potrebbe essere disattivato per motivi di sicurezza.
- Pre-staging di file di grandi dimensioni per ridurre il tempo di avvio del worker.
- Avviare software di terze parti in background.
- Personalizzare l'ambiente di esecuzione.
Per ulteriori informazioni sui container personalizzati in Apache Beam, consulta la guida ai container personalizzati di Apache Beam. Per esempi di pipeline Python che utilizzano container personalizzati, consulta Container personalizzati di Dataflow.
Passaggi successivi
- Creare immagini container personalizzate
- Creare immagini container multi-architettura
- Eseguire un job Dataflow in un container personalizzato
- Risolvere i problemi relativi ai container personalizzati