Managed Service for Apache Spark ללא שרת (serverless) מאפשר להריץ עומסי עבודה של Spark בלי להקצות ולנהל אשכול משלכם. יש שתי דרכים להריץ עומסי עבודה ב-Managed Service for Apache Spark: עומסי עבודה באצווה וסשנים אינטראקטיביים.
עומסי עבודה באצווה
שולחים עומס עבודה באצווה באמצעות מסוףGoogle Cloud , Google Cloud CLI או API בארכיטקטורת REST. Managed Service for Apache Spark מריץ את עומס העבודה בתשתית מחשוב מנוהלת, ומשנה את קנה המידה של המשאבים באופן אוטומטי לפי הצורך. החיובים חלים רק על הזמן שבו עומס העבודה פועל.
יכולות של עומסי עבודה באצווה
אפשר להריץ את הסוגים הבאים של עומסי עבודה באצווה:
- PySpark
- Spark SQL
- Spark R
- Spark (Java או Scala)
אפשר לציין מאפייני Spark כששולחים עומס עבודה באצווה.
תזמון עומסי עבודה באצווה
אתם יכולים לתזמן עומס עבודה באצווה של Spark כחלק מתהליך עבודה של Airflow או של Managed Service for Apache Airflow באמצעות אופרטור אצווה של Airflow. מידע נוסף זמין במאמר הרצת עומסי עבודה ללא שרת (serverless) של Managed Service for Apache Spark באמצעות Managed Airflow.
קדימה, מתחילים
כדי להתחיל, קראו את המאמר הפעלת עומס עבודה באצווה של Apache Spark.
סשנים אינטראקטיביים
לכתוב ולהריץ קוד ב-Jupyter Notebooks במהלך סשן אינטראקטיבי. אפשר ליצור סשן של Notebook בדרכים הבאות:
הרצת קוד PySpark בתיקיות של BigQuery Studio. פותחים מחברת BigQuery Python כדי ליצור סשן אינטראקטיבי מבוסס-Spark-Connect. לכל Notebook ב-BigQuery יכול להיות רק סשן פעיל אחד שמשויך אליו.
משתמשים בפלאגין של JupyterLab כדי ליצור כמה סשנים של Jupyter Notebook מתבניות שאתם יוצרים ומנהלים. כשמתקינים את הפלאגין במכונה מקומית או ב-VM של Compute Engine, בדף מרכז האפליקציות של JupyterLab מופיעים כרטיסים שונים שתואמים להגדרות שונות של ליבת Spark. לוחצים על כרטיס כדי ליצור סשן של Notebook ב-Managed Service for Apache Spark, ואז מתחילים לכתוב ולבדוק את הקוד ב-Notebook.
בעזרת הפלאגין של JupyterLab, אתם יכולים גם לבצע את הפעולות הבאות דרך דף מרכז האפליקציות של JupyterLab:
- ליצור אשכולות של Managed Service for Apache Spark.
- לשלוח משימות לאשכולות.
- צפייה ביומנים של Google Cloud ו-Spark.
משתמשים ב-Google Cloud Data Agent Kit כדי לנהל את כל מחזור החיים של עומסי העבודה של הנתונים ב-IDE. Data Agent Kit תומך ב-Managed Service for Apache Spark, ומאפשר לכם לפתח קוד, ליצור סשנים אינטראקטיביים ולבנות פייפליינים ישירות מ-VS Code או באמצעות Agents CLI נתמך.
תאימות אבטחה
Managed Service for Apache Spark עומד בכל הדרישות של מיקום אחסון הנתונים, CMEK, VPC-SC ודרישות אבטחה אחרות.