Apache Beam הוא מודל מאוחד בקוד פתוח להגדרת צינורות לעיבוד מקביל של נתונים באצווה ונתוני סטרימינג. לפני שמתחילים להשתמש ב-Dataflow, חשוב להבין איך לתכנן, ליצור ולבדוק צינורות של Apache Beam.
משאבים של Apache Beam
באתר Apache Beam אפשר למצוא מסמכים בנושאים הבאים:
איך לעצב את צינור הנתונים: במאמר הזה מוסבר איך לקבוע את המבנה של צינור הנתונים, איך לבחור אילו טרנספורמציות להחיל על הנתונים ואיך לקבוע את שיטות הקלט והפלט.
איך יוצרים צינור נתונים: הסבר על המכניקה של השימוש במחלקות ב-Beam SDKs ועל השלבים הנדרשים לבניית צינור נתונים.
איך בודקים את צינור עיבוד הנתונים: מאמר עם שיטות מומלצות לבדיקת צינורות עיבוד נתונים.