Dépendances des SDK et des nœuds de calcul

Les SDK Apache Beam et les nœuds de calcul Dataflow dépendent de composants tiers courants qui importent ensuite des dépendances supplémentaires. Les dépendances des SDK Apache Beam sont préinstallées dans les environnements d'exécution Dataflow par défaut.

Certains cas d'utilisation du traitement des données exploitent l'utilisation de bibliothèques ou de classes supplémentaires. Dans ce cas, vous devrez peut-être gérer vos dépendances de pipeline. Pour en savoir plus sur la gestion des dépendances, consultez Gérer les dépendances de pipeline dans Dataflow.

Cette page contient des informations sur les dépendances et les packages de nœud de calcul pour les versions suivantes des SDK Apache Beam et Dataflow :

SDK Apache Beam 2.x

SDK pour Go

Les informations sur les dépendances pour les SDK Apache Beam pour Go sont répertoriées sur la page Apache Beam SDK for Go dependencies.

SDK pour Java

Les informations sur les dépendances pour les SDK Apache Beam pour Java sont répertoriées sur la page Apache Beam SDK for Java dependencies.

SDK pour Python

Les informations sur les dépendances pour les SDK Apache Beam pour Python sont répertoriées sur la page Apache Beam SDK for Python dependencies.

Dépendances des nœuds de calcul

Cette section s'applique à Apache Beam 2.49.0 et aux versions antérieures. Les tableaux suivants fournissent des informations sur les dépendances Python installées sur les nœuds de calcul créés par Dataflow.

SDK Dataflow 2.x

SDK pour Java

Pour déterminer si votre fichier JAR utilise une version conflictuelle, inspectez l'arbre des dépendances de votre projet. Vous pouvez le générer à l'aide de divers outils, tels que Maven.

Dans votre fichier pom.xml, évitez de spécifier "latest" pour les bibliothèques répertoriées dans le tableau suivant.

SDK pour Python

SDK Dataflow 1.x

SDK pour Java