מסמכי מידע על Managed Service for Apache Spark
Managed Service for Apache Spark באשכולות מאפשר לכם ליהנות מכלי נתונים בקוד פתוח לעיבוד ברצף (batch processing), לשליחת שאילתות, להעברת נתונים בסטרימינג וללמידת מכונה. השירות המנוהל לאוטומציה של Apache Spark עוזר לכם ליצור אשכולות במהירות, לנהל אותם בקלות ולחסוך כסף על ידי השבתת האשכולות כשאתם לא צריכים אותם. כך תוכלו להשקיע פחות זמן וכסף באדמיניסטרציה ולהתמקד בעבודה ובנתונים.
אתם יכולים להשתמש ב-Managed Service for Apache Spark serverless כדי להריץ עומסי עבודה של Spark batch בלי להקצות ולנהל אשכול משלכם. מציינים את הפרמטרים של עומס העבודה ושולחים את עומס העבודה לשירות Managed Service for Apache Spark. השירות יריץ את עומס העבודה בתשתית מחשוב מנוהלת, וישנה את גודל המשאבים באופן אוטומטי לפי הצורך. החיובים על Managed Service for Apache Spark חלים רק על הזמן שבו עומס העבודה מופעל.
מתחילים לעבוד על הוכחת ההיתכנות בחינם עם קרדיט בשווי 300$
- פיתוח באמצעות המודלים והכלים הכי עדכניים של AI גנרטיבי
- שימוש בחינם ביותר מ-20 מוצרים פופולריים, כולל Compute Engine וממשקי API של AI
- בלי חיובים אוטומטיים ובלי התחייבות
מוזמנים להתנסות ביותר מ-20 מוצרים חינמיים
אתם יכולים להשתמש ביותר מ-20 מוצרים בחינם לתרחישי שימוש נפוצים, כולל ממשקי API של AI, מכונות וירטואליות, מחסני נתונים (data warehouse) ועוד.
מאמרי עזרה
מדריכים
-
מדריכים למתחילים: יצירת אשכול, שליחת עומס עבודה של Apache Spark, או הרצת משימת Spark ב-Google Kubernetes Engine
מקורות מידע שקשורים לנושא
הפעלת משימת Spark ב-Google Kubernetes Engine
שליחת משימות Spark לאשכול Google Kubernetes Engine פעיל מתוך Dataproc Jobs API.
מבוא ל-Cloud Dataproc: Hadoop ו-Spark ב-Google Cloud
הקורס כולל שילוב של הרצאות, הדגמות ושיעורי Lab מעשיים, שבהם יוצרים אשכול Dataproc, שולחים משימת Spark ואז משביתים את האשכול.
למידת מכונה באמצעות Spark ב-Dataproc
הקורס כולל שילוב של הרצאות, הדגמות ושיעורי Lab מעשיים כדי ליישם רגרסיה לוגיסטית באמצעות ספריית למידת מכונה של Apache Spark שפועלת באשכול Dataproc, ולפתח מודל לנתונים ממערך נתונים מרובה משתנים.
העברת נתונים מ-HDFS משרת מקומי ל-Google Cloud
איך מעבירים נתונים ממערכת קבצים מבוזרת של Hadoop (HDFS) בארגון ל-Google Cloud.
ניהול יחסי תלות של Java ו-Scala ב-Apache Spark
גישות מומלצות להכללת תלות כששולחים עבודת Spark לאשכול Managed Service for Apache Spark.