בדף הזה יש קישורים למאמרים, לסרטונים ולפודקאסטים שקשורים ל-Dataflow וזמינים לציבור.
עדכונים
כדי לקרוא על הודעות ועדכונים, אפשר להיעזר במקורות המידע הבאים:
- חדשות בנושא Dataflow: הבלוג של Google Cloud Platform
- עדכונים ב-Dataflow: הערות לגבי הגרסה של Dataflow
- עדכונים ב-Apache Beam: נתוני גרסה של Apache Beam SDK
הסביבה העסקית של Dataflow
- Dataflow, עמוד השדרה של ניתוח הנתונים
- Dataflow Under the Hood: the origin story: Part 1, Part 2, Part 3
- במסמכים של Apache Beam בקוד פתוח אפשר לקרוא מידע נוסף על פיתוח מודל מאוחד, על הגדרה של צינורות ועל הפעלה של צינורות ב-Dataflow או באחד מהקצוות העורפיים המבוזרים שנתמכים ב-Apache Beam.
סיפורי לקוחות
מאמרים ציבוריים
- אוסף סיפורים על Dataflow – פרסום ב-Medium
- Dataflow מוביל בניתוח נתונים בזמן אמת בשנת 2021 – Forrester Wave
- פיתוח כלי למתן משוב בזמן אמת על קהלים בשידור חי – ITV
- מעקב אחרי צינורות עיבוד נתונים של Dataflow – מאמר ב-Medium
- Execution Model for Highly Scalable, Low-Latency Data Processing - Medium Publication
- האצת הסקת מסקנות של מודלים של למידת מכונה ב-Dataflow באמצעות מעבדים גרפיים (GPU) – Nvidia
- ביצוע חישובים על מערכי נתונים גדולים – Pandora
- Optimized the Largest Dataflow Job Ever for Wrapped 2020 - Spotify
- עיבוד של מיליארדי אירועים בזמן אמת באמצעות Dataflow – Twitter
- Dataflow בצינור עיבוד הנתונים של הבית החכם – Nest
- העברת הודעות JSON בסטרימינג לעמודה מסוג JSON ב-BigQuery – Medium
מקרים לדוגמה
- AXA Switzerland: שימוש בפתרונות ניתוח של Google Cloud Platform כדי לשפר תהליכים פנימיים ולפתח שירותים
- Bayer Crop: שיפור בריאות הקרקע וניהול הגידולים באמצעות ניתוח נתונים גיאו-מרחביים ב-BigQuery וב-Dataflow
- דאו ג'ונס: יצרה תרשים ידע של אירועים מרכזיים שתועדו בתוכן חדשותי במשך יותר מ-30 שנה
- HSBC: אימוץ הענן כדי להפחית את הסיכון באמצעות יכולות מהירות של תובנות וניתוח
- Nintendo: שימוש ב-Dataflow וב-Pub/Sub לאיסוף וניתוח של יומני שימוש במשחקים ב-BigQuery
- Quantiphi: פיתוח פתרון לזיהוי הונאות בכרטיסי אשראי בזמן אמת ללא שרתים
- SoFi Stadium: פיתוח אפליקציה אישית של שירותי קונסיירז' שתתאים את חוויית יום המשחק לכל משתמש
- Spotify: Experiments with stream processing on Dataflow
- Subaru Corporation: Using Google Cloud Platform AI and Machine learning to accelerate the development
- Telus: Accelerate modernization with data science
- Tokopedia: יצרה פלטפורמת נתוני לקוחות ב-Google Cloud Platform
- Tyson Foods: פיתחה פלטפורמת נתונים חדשה באמצעות פיתוח של Ingestion as a Service
- Vodafone: שימוש ב-Google Cloud Platform לשיתוף בטוח של נתונים מטלפונים ניידים
סרטונים
הנחיות טכניות
סרטוני אינטרו
מאמרים
- יצירת ארגון מבוסס-נתונים
- יצירת תבניות מכל פייפליין של Dataflow
- תבניות Dataflow ל-Elastic Cloud
- צינורות עיבוד נתונים של Dataflow: פריסה וניהול של צינורות עיבוד נתונים בהיקף נרחב
- Dataflow Auto Sharding for BigQuery delivers 3x performance
- ייצוא נתונים מ-Google Cloud Platform אל Elastic Stack באמצעות תבניות Dataflow
- הרחבת תבנית Dataflow באמצעות UDF
- עיבוד בדיוק פעם אחת ב-Dataflow: חלק 1, חלק 2, חלק 3
- שיפור עיבוד הנתונים באמצעות Dataflow GPU
- טיפול בנתונים כפולים בצינור עיבוד נתונים בסטרימינג באמצעות Dataflow ו-Pub/Sub
- איך לומדים על דפוסי Apache Beam באמצעות עיבוד נתוני Clickstream מ-Google Tag Manager
- דפוסי למידת מכונה עם Apache Beam ו-Dataflow Runner
- הזרמת נתונים ל-BigQuery באמצעות BigQuery Storage Write API
- עיבוד נתונים פשוט ואוטומטי עם Dataflow Prime
- שלוש דרכים שבהן Dataflow מספק החזר ROI ללקוחות
- שימוש בדפוסי הפניה לזיהוי אנומליות בזמן אמת כדי להילחם בהונאות
- שימוש בהסקת מסקנות של TFX עם Dataflow לדפוסי הסקת מסקנות של למידת מכונה בקנה מידה גדול
- למה כדאי להשתמש בתבניות Flex לפריסות של Dataflow
- כתיבת צינורות עיבוד נתונים של Dataflow תוך התחשבות בסקלביליות
- מדריך לדפוסי תרחישי שימוש נפוצים ב-Dataflow: חלק 1, חלק 2
סרטונים בנושא נתונים וניתוח נתונים
פתרון בעיות ומעקב
סרטונים
מאמרים
פודקאסטים
- Google Cloud Platform Podcast Episode 81 - Dataflow with Frances Perry
- Software Engineering Daily Podcast - Dataflow with Eric Anderson
- פרק 272 בפודקאסט Software Engineering Radio: Apache Beam