SDK- und Worker-Abhängigkeiten

Für die Apache Beam SDKs und die Dataflow-Worker bestehen Abhängigkeiten von gemeinsamen Drittanbieterkomponenten, die wiederum zusätzliche Abhängigkeiten mit sich bringen. Die Abhängigkeiten der Apache Beam SDKs sind in den Dataflow-Standardlaufzeitumgebungen vorinstalliert.

Bei einigen Anwendungsfällen in der Datenverarbeitung ist es jedoch sinnvoll, zusätzliche Bibliotheken oder Klassen zu verwenden. In diesen Fällen müssen Sie möglicherweise Ihre Pipelineabhängigkeiten verwalten. Weitere Informationen zum Verwalten von Abhängigkeiten finden Sie unter Pipelineabhängigkeiten in Dataflow verwalten.

Diese Seite enthält Informationen zu Abhängigkeiten und Worker-Paketen für Apache Beam und Dataflow SDK-Versionen:

Apache Beam 2.x SDKs

SDK für Go

Informationen zu Abhängigkeiten für Apache Beam SDKs for Go finden Sie auf dieser Seite.

SDK für Java

Informationen zu Abhängigkeiten für Apache Beam SDKs for Java finden Sie auf dieser Seite.

SDK for Python

Informationen zu Abhängigkeiten für Apache Beam SDKs for Python finden Sie auf dieser Seite.

Worker-Abhängigkeiten

Dieser Abschnitt gilt für Apache Beam 2.49.0 und frühere Versionen. Die folgenden Tabellen enthalten Informationen zu den Python-Abhängigkeiten, die auf den von Dataflow erstellten Workern installiert sind.

Dataflow 2.x SDKs

SDK für Java

Um festzustellen, ob Ihre JAR-Datei eine abweichende Version verwendet, prüfen Sie die Abhängigkeitsstruktur Ihres Projekts. Sie können die Abhängigkeitsstruktur mit verschiedenen Tools generieren, zum Beispiel mit Maven.

Geben Sie in pom.xml nicht "latest" für die Bibliotheken in der folgenden Tabelle an.

SDK für Python

Dataflow 1.x SDKs

SDK for Java