מסמכי תיעוד של Dataflow
Dataflow הוא שירות מנוהל להרצת מגוון רחב של דפוסי עיבוד נתונים. במסמכי התיעוד באתר הזה מוסבר איך לפרוס את צינורות עיבוד הנתונים של אצווה וסטרימינג באמצעות Dataflow, כולל הוראות לשימוש בתכונות השירות.
Apache Beam SDK הוא מודל תכנות בקוד פתוח שמאפשר לפתח צינורות להעברת נתונים באצווה ולסטרימינג. אתם יוצרים את צינורות הנתונים באמצעות תוכנית Apache Beam ומריצים אותם בשירות Dataflow. בתיעוד של Apache Beam מופיע מידע תיאורטי מפורט וחומר עזר למודל התכנות של Apache Beam, ל-SDK ולרצים אחרים.
כדי ללמוד את המושגים הבסיסיים של Apache Beam, אפשר לעיין ב סיור ב-Beam וב-Beam Playground. במאגר Dataflow Cookbook יש גם צינורות מוכנים להפעלה ועצמאיים, ותרחישי השימוש הנפוצים ביותר ב-Dataflow.
מתחילים לעבוד על הוכחת ההיתכנות בחינם עם קרדיט בשווי 300$
- פיתוח באמצעות המודלים והכלים הכי עדכניים שלנו ל-AI גנרטיבי
- שימוש בחינם ביותר מ-20 מוצרים פופולריים, כולל Compute Engine וממשקי API של AI
- בלי חיובים אוטומטיים ובלי התחייבות
מתנסים ביותר מ-20 מוצרים שבחינם תמיד
אתם יכולים להשתמש ביותר מ-20 מוצרים בחינם לתרחישי שימוש נפוצים, כולל ממשקי API של AI, מכונות וירטואליות, מחסני נתונים (data warehouse) ועוד.
משאבי עזרה
מקורות מידע שקשורים לנושא
הפעלת עומסי עבודה של HPC עם הקבלה גבוהה
בעזרת Dataflow, אתם יכולים להריץ את עומסי העבודה המקבילים שלכם בצינור עיבוד נתונים יחיד, לשפר את היעילות ולנהל את תהליך העבודה בקלות רבה יותר.
Run inference with Dataflow ML
בעזרת Dataflow ML אפשר להשתמש ב-Dataflow כדי לפרוס ולנהל צינורות עיבוד נתונים מלאים של למידת מכונה (ML). שימוש במודלים של למידת מכונה כדי לבצע היקש מקומי ומרחוק באמצעות צינורות עיבוד נתונים של אצווה וסטרימינג. משתמשים בכלים לעיבוד נתונים כדי להכין את הנתונים לאימון המודל ולעבד את התוצאות של המודלים.
יצירת צינור עיבוד נתונים בסטרימינג למסחר אלקטרוני
פיתוח אפליקציה לדוגמה של מסחר אלקטרוני מקצה לקצה שמעבירה נתונים בסטרימינג מחנות אינטרנט ל-BigQuery ול-Bigtable. אפליקציית הדוגמה ממחישה תרחישים נפוצים ושיטות מומלצות להטמעה של ניתוח נתונים בזמן אמת ובינה מלאכותית (AI) בזמן אמת.