מאמרי עזרה ל-Dataflow
Dataflow הוא שירות מנוהל להרצה של מגוון רחב של תבניות לעיבוד נתונים. במסמכים באתר הזה מוסבר איך לפרוס את צינורות עיבוד הנתונים שלכם (batch וסטרימינג) באמצעות Dataflow, כולל הוראות לשימוש בתכונות השירות.
Apache Beam SDK הוא מודל תכנות בקוד פתוח שמאפשר לפתח צינורות (pipelines) של נתונים באצווה ושל נתוני סטרימינג. אתם יוצרים את צינורות הנתונים באמצעות תוכנית Apache Beam ומריצים אותם בשירות Dataflow. בתיעוד של Apache Beam אפשר למצוא מידע תיאורטי מפורט וחומר עזר למודל התכנות של Apache Beam, לערכות ה-SDK ולרכיבי Runner אחרים.
כדי ללמוד את המושגים הבסיסיים של Apache Beam, אפשר לעיין במאמר Tour of Beam ובמאמר Beam Playground. במאגר Dataflow Cookbook יש גם צינורות מוכנים להפעלה ועצמאיים, ותרחישי השימוש הנפוצים ביותר ב-Dataflow.
מתחילים לעבוד על הוכחת ההיתכנות בחינם עם קרדיט בשווי 300$
- פיתוח באמצעות המודלים והכלים הכי עדכניים של AI גנרטיבי
- שימוש בחינם ביותר מ-20 מוצרים פופולריים, כולל Compute Engine וממשקי API של AI
- בלי חיובים אוטומטיים ובלי התחייבות
מוזמנים להתנסות ביותר מ-20 מוצרים חינמיים
אתם יכולים להשתמש ביותר מ-20 מוצרים בחינם לתרחישי שימוש נפוצים, כולל ממשקי API של AI, מכונות וירטואליות, מחסני נתונים (data warehouse) ועוד.
מאמרי עזרה
מקורות מידע שקשורים לנושא
הרצת עומסי עבודה של HPC עם הקבלה גבוהה
בעזרת Dataflow, אתם יכולים להריץ את עומסי העבודה המקבילים שלכם בצינור עיבוד נתונים יחיד, לשפר את היעילות ולנהל את תהליך העבודה בקלות רבה יותר.
הרצת הסקה באמצעות Dataflow ML
Dataflow ML מאפשר לכם להשתמש ב-Dataflow כדי לפרוס ולנהל צינורות מלאים של למידת מכונה (ML). שימוש במודלים של למידת מכונה כדי לבצע הסקה מקומית ומרחוק באמצעות צינורות עיבוד נתונים של אצווה וסטרימינג. משתמשים בכלים לעיבוד נתונים כדי להכין את הנתונים לאימון המודל ולעבד את התוצאות של המודלים.
יצירת פייפליין זורם למסחר אלקטרוני
יצירת אפליקציית מסחר אלקטרוני לדוגמה מקצה לקצה שמעבירה נתונים בסטרימינג מחנות אינטרנט ל-BigQuery ול-Bigtable. באפליקציה לדוגמה מוצגים תרחישים נפוצים ושיטות מומלצות להטמעה של ניתוח נתוני סטרימינג ובינה מלאכותית (AI) בזמן אמת.