Dataflow מבוסס על פרויקט הקוד הפתוח Apache Beam. אפשר להשתמש ב-Apache Beam SDK כדי ליצור צינורות עיבוד נתונים ל-Dataflow. במאמר הזה מפורטים כמה מקורות מידע שיעזרו לכם להתחיל לתכנת ב-Apache Beam.
קדימה, מתחילים
התקנה של Apache Beam SDK: הסבר על התקנה של Apache Beam SDK כדי להריץ צינורות (pipelines) ב-Dataflow.
יצירת צינור עיבוד נתונים ב-Java: במאמר הזה מוסבר איך ליצור צינור עיבוד נתונים באמצעות Apache Beam Java SDK ולהריץ את צינור עיבוד הנתונים ב-Dataflow.
יצירת צינור עיבוד נתונים של Python: מוסבר איך ליצור צינור עיבוד נתונים באמצעות Apache Beam Python SDK ולהריץ את צינור עיבוד הנתונים ב-Dataflow.
יצירת צינור עיבוד נתונים של Go: במאמר הזה מוסבר איך ליצור צינור עיבוד נתונים באמצעות Apache Beam Go SDK ולהריץ את צינור עיבוד הנתונים ב-Dataflow.
מידע על Apache Beam
בדפים הבאים באתר Apache Beam אפשר לקבל מידע על תכנות ב-Apache Beam.
מדריך התכנות של Apache Beam: המדריך מספק הנחיות לשימוש במחלקות של Apache Beam SDK כדי ליצור ולבדוק את צינור עיבוד הנתונים.
סיור ב-Apache Beam: מדריך למידה שיעזור לכם להכיר את Apache Beam. ליחידות הלימוד מצורפות דוגמאות קוד שאפשר להריץ ולשנות.
סביבת הפיתוח של Apache Beam: סביבה אינטראקטיבית להתנסות בטרנספורמציות ובדוגמאות של Apache Beam בלי להתקין את Apache Beam בסביבה שלכם.
יצירת צינור עיבוד נתונים: הסבר על המנגנון של השימוש במחלקות ב-Apache Beam SDK ועל השלבים הנדרשים ליצירת צינור עיבוד נתונים.
פיתוח צינורות עיבוד נתונים
תכנון צינור עיבוד הנתונים: איך מתכננים את צינור עיבוד הנתונים לפני שמתחילים לפתח קוד.
פיתוח ובדיקה של צינורות עיבוד נתונים: שיטות מומלצות לפיתוח ולבדיקה של צינורות עיבוד נתונים ב-Dataflow.
צינורות עיבוד נתונים בסטרימינג: מידע על שיקולי עיצוב חשובים לצינורות עיבוד נתונים בסטרימינג, כולל חלונות, טריגרים וסימני מים.
דוגמאות לקוד
אפשר להשתמש בדוגמאות הבאות מ-Apache Beam GitHub כדי להתחיל לבנות צינור עיבוד נתונים לסטרימינג:
- חילוץ מילים בסטרימינג (Java)
- Streaming word count (Python), and
-
streaming_wordcap(Go).