Apache Beam zum Erstellen von Pipelines verwenden

Dataflow basiert auf dem Open-Source-Projekt Apache Beam. Sie können das Apache Beam SDK verwenden, um Pipelines für Dataflow zu erstellen. In diesem Dokument werden einige Ressourcen für den Einstieg in die Apache Beam-Programmierung aufgeführt.

Jetzt starten

  • Apache Beam SDK installieren: Erläutert, wie Sie das Apache Beam SDK installieren, damit Sie Ihre Pipelines in Dataflow ausführen können.

  • Java-Pipeline erstellen: Hier erfahren Sie, wie Sie eine Pipeline mit dem Apache Beam Java SDK erstellen und in Dataflow ausführen.

  • Python-Pipeline erstellen: Hier erfahren Sie, wie Sie eine Pipeline mit dem Apache Beam Python SDK erstellen und in Dataflow ausführen.

  • Go-Pipeline erstellen: Hier erfahren Sie, wie Sie eine Pipeline mit dem Apache Beam Go SDK erstellen und in Dataflow ausführen.

Apache Beam kennenlernen

Auf den folgenden Seiten der Apache Beam-Website finden Sie Informationen zur Apache Beam-Programmierung.

  • Apache Beam-Programmierhandbuch: Enthält Anleitungen zum Verwenden der Apache Beam SDK-Klassen zum Erstellen und Testen Ihrer Pipeline.

  • Tour zu Apache Beam: Ein Lernleitfaden, mit dem Sie sich mit Apache Beam vertraut machen können. Lerneinheiten begleitet von Codebeispielen, die Sie ausführen und ändern können.

  • Apache Beam Playground: Eine interaktive Umgebung zum Testen von Apache Beam-Transformationen und -Beispielen, ohne Apache Beam in Ihrer Umgebung installieren zu müssen.

  • Pipeline erstellen: Erläutert die Funktionsweise der Verwendung der Klassen in den Apache Beam SDKs und die nötigen Schritte zur Erstellung einer Pipeline.

Pipelines entwickeln

  • Pipeline planen: Hier erfahren Sie, wie Sie Ihre Pipeline planen, bevor Sie mit der Codeentwicklung beginnen.

  • Pipelines entwickeln und testen: Best Practices zum Entwickeln und Testen Ihrer Dataflow-Pipeline.

  • Streamingpipelines: Hier erfahren Sie mehr über wichtige Designüberlegungen für Streamingpipelines, einschließlich Zeitfenster, Trigger und Wasserzeichen.

Codebeispiele

Sie können die folgenden Beispiele aus dem Apache Beam GitHub verwenden, um mit dem Erstellen einer Streaming-Pipeline zu beginnen:

Nächste Schritte