מסמכי מידע על Managed Service for Apache Spark
Managed Service for Apache Spark באשכולות מאפשר לכם ליהנות מכלי נתונים בקוד פתוח לעיבוד ברצף (batch processing), לשליחת שאילתות, להעברת נתונים בסטרימינג וללמידת מכונה. השירות המנוהל לאוטומציה של Apache Spark עוזר ליצור אשכולות במהירות, לנהל אותם בקלות ולחסוך כסף על ידי השבתת אשכולות כשלא צריך אותם. כך תוכלו להשקיע פחות זמן וכסף באדמיניסטרציה ולהתמקד בעבודה ובנתונים שלכם.
אתם יכולים להשתמש ב-Managed Service for Apache Spark serverless כדי להריץ עומסי עבודה של Spark batch בלי להקצות ולנהל אשכול משלכם. מציינים את הפרמטרים של עומס העבודה, ואז שולחים את עומס העבודה לשירות Managed Service for Apache Spark. השירות יריץ את עומס העבודה בתשתית מחשוב מנוהלת, וישנה את קנה המידה של המשאבים באופן אוטומטי לפי הצורך. החיובים על Managed Service for Apache Spark חלים רק על הזמן שבו עומס העבודה מופעל.
מתחילים לעבוד על הוכחת ההיתכנות בחינם עם קרדיט בשווי 300$
- פיתוח באמצעות המודלים והכלים הכי עדכניים של AI גנרטיבי
- שימוש בחינם ביותר מ-20 מוצרים פופולריים, כולל Compute Engine וממשקי API של AI
- בלי חיובים אוטומטיים ובלי התחייבות
מוזמנים להתנסות ביותר מ-20 מוצרים חינמיים
אתם יכולים להשתמש ביותר מ-20 מוצרים בחינם לתרחישי שימוש נפוצים, כולל ממשקי API של AI, מכונות וירטואליות, מחסני נתונים (data warehouse) ועוד.
מאמרי עזרה
מדריכים
-
מדריכים למתחילים: יצירת אשכול, שליחת עומס עבודה של Apache Spark, או הרצת משימת Spark ב-Google Kubernetes Engine
מקורות מידע שקשורים לנושא
הרצת משימת Spark ב-Google Kubernetes Engine
שליחת משימות Spark לאשכול Google Kubernetes Engine פעיל מתוך Dataproc Jobs API.
מבוא ל-Cloud Dataproc: Hadoop ו-Spark ב-Google Cloud
הקורס משלב הרצאות, הדגמות ושיעורי Lab מעשיים כדי ליצור אשכול Dataproc, לשלוח משימת Spark ואז לכבות את האשכול.
למידת מכונה באמצעות Spark ב-Dataproc
הקורס כולל שילוב של הרצאות, הדגמות ושיעורי Lab מעשיים שמטרתם ליישם רגרסיה לוגיסטית באמצעות ספריית למידת מכונה של Apache Spark שפועלת באשכול Dataproc, כדי לפתח מודל לנתונים ממערך נתונים מרובה משתנים.
העברת נתונים מ-HDFS משרת מקומי ל-Google Cloud
איך מעבירים נתונים ממערכת קבצים מבוזרת של Hadoop (HDFS) בארגון ל-Google Cloud.
ניהול יחסי תלות של Java ו-Scala ב-Apache Spark
גישות מומלצות להכללת תלות כששולחים משימת Spark לאשכול Managed Service for Apache Spark.