SDK e dipendenze nodi di lavoro

Gli SDK Apache Beam e i worker Dataflow dipendono da componenti di terze parti comuni che importano poi dipendenze aggiuntive. Le dipendenze degli SDK Apache Beam sono preinstallate negli ambienti di runtime Dataflow predefiniti.

Alcuni casi d'uso di elaborazione dei dati traggono vantaggio dall'utilizzo di librerie o classi aggiuntive. In questi casi, potresti dover gestire le dipendenze della pipeline. Per saperne di più sulla gestione delle dipendenze, consulta Gestire le dipendenze della pipeline in Dataflow.

Questa pagina contiene informazioni sui pacchetti di dipendenze e worker per le release di Apache Beam e Dataflow SDK:

SDK Apache Beam 2.x

SDK per Go

Le informazioni sulle dipendenze per gli SDK Apache Beam per Go sono elencate nella pagina delle dipendenze dell'SDK Apache Beam per Go.

SDK per Java

Le informazioni sulle dipendenze per gli SDK Apache Beam per Java sono elencate nella pagina delle dipendenze dell'SDK Apache Beam per Java.

SDK per Python

Le informazioni sulle dipendenze per gli SDK Apache Beam per Python sono elencate nella pagina Dipendenze dell'SDK Apache Beam per Python.

Dipendenze dei worker

Questa sezione si applica ad Apache Beam 2.49.0 e versioni precedenti. Le seguenti tabelle forniscono informazioni sulle dipendenze Python installate sui worker creati da Dataflow.

SDK Dataflow 2.x

SDK per Java

Per determinare se il tuo JAR utilizza una versione in conflitto, esamina l'albero delle dipendenze del tuo progetto. Puoi generare l'albero delle dipendenze con vari strumenti, ad esempio Maven.

Evita di specificare "latest" in pom.xml per le librerie nella tabella seguente.

SDK per Python

SDK Dataflow 1.x

SDK per Java