בדף הזה יש קישורים למאמרים, לסרטונים ולפודקאסטים שגלויים לכולם וקשורים ל-Dataflow.
עדכונים
כדי לקרוא על הודעות ועדכונים, אפשר להיעזר במקורות המידע הבאים:
- חדשות בנושא Dataflow: Google Cloud בלוג
- עדכונים ב-Dataflow: הערות לגבי הגרסה של Dataflow
- עדכונים ב-Apache Beam: הערות לגבי הגרסה של Apache Beam SDK
המערכת האקולוגית של Dataflow
- Dataflow, עמוד השדרה של ניתוח הנתונים
- Dataflow Under the Hood: the origin story: Part 1, Part 2, Part 3
- כדי לקבל מידע נוסף על פיתוח מודל מאוחד, על הגדרת צינורות ועל הפעלת צינורות ב-Dataflow או באחד מהקצוות העורפיים המבוזרים שנתמכים ב-Apache Beam, אפשר לעיין במסמכים של Apache Beam בקוד פתוח.
סיפורי לקוחות
מאמרים ציבוריים
- Collection of Dataflow stories - Medium Publication
- Dataflow מוביל בניתוח נתונים בזמן אמת בשנת 2021 – Forrester Wave
- פיתוח כלי שמספק משוב בזמן אמת על קהלים שצופים בשידור חי – ITV
- מעקב אחרי צינורות עיבוד נתונים של Dataflow – מאמר ב-Medium
- Execution Model for Highly Scalable, Low-Latency Data Processing - Medium Publication
- האצת הסקת מסקנות של מודלים של למידת מכונה ב-Dataflow באמצעות מעבדים גרפיים (GPU) – Nvidia
- ביצוע חישובים על מערכי נתונים גדולים – Pandora
- Optimized the Largest Dataflow Job Ever for Wrapped 2020 - Spotify
- עיבוד של מיליארדי אירועים בזמן אמת באמצעות Dataflow – Twitter
- Dataflow בצינור עיבוד הנתונים של הבית החכם – Nest
- העברת הודעות JSON בסטרימינג לעמודה מסוג JSON ב-BigQuery – Medium
מקרים לדוגמה
- AXA Switzerland: שימוש Google Cloud בפתרונות לניתוח נתונים כדי לשפר תהליכים פנימיים ולפתח שירותים
- Bayer Crop: שיפור בריאות הקרקע וניהול הגידולים באמצעות ניתוח נתונים גיאו-מרחביים ב-BigQuery וב-Dataflow
- דאו ג'ונס: יצרה תרשים ידע של אירועים מרכזיים שתועדו בתוכן חדשותי במשך יותר מ-30 שנה
- HSBC: אימוץ הענן כדי להפחית את הסיכון באמצעות יכולות מהירות של תובנות וניתוח
- Nintendo: שימוש ב-Dataflow וב-Pub/Sub לאיסוף וניתוח של יומני שימוש במשחקים ב-BigQuery
- Quantiphi: פיתוח פתרון לזיהוי הונאות בכרטיסי אשראי בזמן אמת ללא שרת
- SoFi Stadium: פיתוח אפליקציית קונסיירז' אישית שמוכנה לשימוש האוהדים, כדי להתאים אישית את חוויית יום המשחק לכל משתמש
- Spotify: ניסויים בעיבוד זרמי נתונים ב-Dataflow
- Subaru Corporation: שימוש ב-AI Google Cloud ובלמידת מכונה כדי להאיץ את הפיתוח
- Telus: Accelerate modernization with data science
- Tokopedia: יצרה פלטפורמה לנתוני לקוחות ב- Google Cloud
- Tyson Foods: פיתחה פלטפורמת נתונים חדשה באמצעות פיתוח של שירות להעברת נתונים
- Vodafone: שימוש ב- Google Cloud לשיתוף בטוח של נתונים מהטלפון הנייד
סרטונים
הדרכה טכנית
סרטוני אינטרו
מאמרים
- יצירת ארגון מבוסס-נתונים
- יצירת תבניות מכל פייפליין של Dataflow
- תבניות Dataflow ל-Elastic Cloud
- צינורות עיבוד נתונים של Dataflow: פריסה וניהול של צינורות עיבוד נתונים בהיקף נרחב
- Dataflow Auto Sharding for BigQuery delivers 3x performance
- ייצוא Google Cloud נתונים ל-Elastic Stack באמצעות תבניות Dataflow
- הרחבת תבנית Dataflow באמצעות UDF
- עיבוד בדיוק פעם אחת ב-Dataflow: חלק 1, חלק 2, חלק 3
- שיפור עיבוד הנתונים באמצעות Dataflow GPU
- טיפול בנתונים כפולים בצינור עיבוד נתונים בסטרימינג באמצעות Dataflow ו-Pub/Sub
- איך לומדים על דפוסי Apache Beam באמצעות עיבוד נתוני Clickstream מ-Google Tag Manager
- דפוסי למידת מכונה באמצעות Apache Beam ו-Dataflow Runner
- הזרמת נתונים ל-BigQuery באמצעות BigQuery Storage Write API (gRPC)
- פישוט של עיבוד הנתונים והפיכתו לאוטומטי באמצעות Dataflow Prime
- שלוש דרכים שבהן Dataflow מספקת החזר ROI ללקוחות
- שימוש בדפוסי הפניה לזיהוי אנומליות בזמן אמת כדי להילחם בהונאות
- שימוש בהסקת מסקנות של TFX עם Dataflow לדפוסי הסקת מסקנות של למידת מכונה בקנה מידה גדול
- למה כדאי להשתמש בתבניות Flex לפריסות של Dataflow
- כתיבת צינורות עיבוד נתונים של Dataflow עם התחשבות בסקלביליות
- מדריך לדפוסי תרחישי שימוש נפוצים ב-Dataflow: חלק 1, חלק 2
סרטונים בנושא נתונים וניתוח נתונים
פתרון בעיות ומעקב
סרטונים
מאמרים
פודקאסטים
- Google Cloud פרק 81 של הפודקאסט – Dataflow עם פרנסס פרי
- Software Engineering Daily Podcast - Dataflow with Eric Anderson
- Software Engineering Radio Podcast Episode 272: Apache Beam