יצירת סשנים אינטראקטיביים ותבניות לסשנים

בדף הזה מוסבר איך ליצור הפעלות אינטראקטיביות ותבניות הפעלה של Serverless for Apache Spark. אפשר להשתמש בתבנית של סשן כדי ליצור כמה סשנים אינטראקטיביים על סמך ההגדרה של תבנית הסשן.

הערה: סשנים אינטראקטיביים של Serverless for Apache Spark משויכים למחברות אינטראקטיביות. דוגמה לשימוש בסשן עם מחברות Jupyter מופיעה במאמר שימוש בתוסף Dataproc JupyterLab לסשנים אינטראקטיביים של מחברות ולסשנים של עיבוד אצווה ללא שרתים. דוגמאות לשימוש בסשנים ב-notebooks של BigQuery Studio זמינות במאמר הרצת קוד PySpark ב-notebooks של BigQuery Studio.

יצירת סשן אינטראקטיבי

אפשר להשתמש ב-Google Cloud CLI או ב-Dataproc API כדי ליצור סשן אינטראקטיבי של Serverless for Apache Spark.

gcloud

אפשר להשתמש ב-gcloud beta dataproc sessions create command SESSION_NAME כדי ליצור סשן אינטראקטיבי של Serverless for Apache Spark.

gcloud beta dataproc sessions create spark SESSION_ID \
    --location=REGION \
    optional flags ...

מחליפים או מוסיפים את הפרטים הבאים:

• ‫SESSION_ID: חובה. מזהה של הסשן.

• ‫REGION: חובה. אזור זמין למיקום הסשן.

• ‫--version: אופציונלי. גרסת זמן ריצה של Spark נתמכת. אם לא משתמשים בדגל הזה כדי לציין גרסה, המערכת משתמשת בגרסת זמן הריצה הנוכחית של Spark שמוגדרת כברירת מחדל.

• ‫--container-image: אופציונלי. קובץ אימג' של קונטיינר מותאם אישית לשימוש בסשן.

• ‫--property: אופציונלי. מאפייני Spark אחד או יותר לסשן, מופרדים בפסיקים.

• ‫--service-account: אופציונלי. חשבון השירות שבו רוצים להשתמש בסשן. אם לא מציינים חשבון שירות, המערכת משתמשת בחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine.

• ‫--subnet: אופציונלי. השם של רשת משנה באזור של הסשן. אם לא מציינים את הרשת המשנית, ‏Serverless for Apache Spark משתמש ברשת המשנית default באזור של הסשן. ‫Serverless ל-Apache Spark מאפשר גישה פרטית ל-Google‏ (PGA) ברשת המשנה. לדרישות הקישוריות לרשת, אפשר לעיין במאמר בנושא Google Cloud תצורת הרשת של Serverless for Apache Spark.

REST

אפשר להשתמש ב-Dataproc sessions.create API כדי ליצור סשן אינטראקטיבי של Serverless for Apache Spark.

הערות:

• ‫name: שדה חובה. שם הסשן.

• ‫version: אופציונלי. כל אחת מגרסאות זמן הריצה של Spark שנתמכות בסשן שלכם. אם לא מציינים גרסה, המערכת משתמשת בגרסת ברירת המחדל הנוכחית.

• ‫containerImage: אופציונלי. קובץ אימג' של קונטיינר מותאם אישית לשימוש בסשן.

• ‫properties: אופציונלי. מיפוי של שמות מאפייני הסשן לערכים. מאפייני Spark

• ‫serviceAccount: אופציונלי. חשבון השירות שבו רוצים להשתמש כדי להריץ את הסשן. אם לא מציינים חשבון שירות, המערכת משתמשת בחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine.

• ‫subnetworkUri: אופציונלי. השם של רשת משנה באזור של הסשן. אם לא מציינים את הרשת המשנית, ‏Serverless for Apache Spark משתמש ברשת המשנית default באזור של הסשן. ‫Serverless ל-Apache Spark מאפשר גישה פרטית ל-Google‏ (PGA) ברשת המשנה. לדרישות הקישוריות לרשת, אפשר לעיין במאמר בנושא Google Cloud תצורת הרשת של Serverless for Apache Spark.

יצירת תבנית סשן

תבנית של סשן Serverless for Apache Spark מגדירה את הגדרות התצורה ליצירת סשן אינטראקטיבי אחד או יותר של Serverless for Apache Spark. אתם יכולים להשתמש במסוף Google Cloud , ב-CLI של gcloud או ב-Dataproc API כדי ליצור תבנית של סשן Serverless for Apache Spark עבור סשן של Jupyter או של Spark Connect.

הערה: אפשר ליצור סשן במחברת BigQuery Studio מתבנית של סשן Serverless for Apache Spark. בקטע הזה מוסבר איך להגדיר את התבנית כדי להשתמש בה במחברת BigQuery Studio.

המסוף

כדי ליצור תבנית של סשן Serverless for Apache Spark באמצעות Google Cloud המסוף:

1. נכנסים לדף Session Templates במסוף Google Cloud .

   מעבר אל Session Templates

   1. לוחצים על יצירה.

2. בדף Create session template, מזינים או מאשרים את הגדרות התבנית. שימו לב לנקודות הבאות:

   • מזהה זמן הריצה של התבנית: חובה. מאשרים את מזהה ברירת המחדל (השם) או מציינים שם זמן ריצה של תבנית.
   • אזור: חובה. מאשרים את האזור שמוגדר כברירת מחדל או מציינים אזור זמין עבור הפעלות של תבניות.
   • גרסת זמן ריצה: אופציונלי. זמני הריצה של הסשנים שניתן לבחור תואמים לגרסאות זמן הריצה של Serverless for Apache Spark.
     • דרישה לגבי סשן של מחברת BigQuery Studio: אם אתם יוצרים תבנית לשימוש בסשנים של מחברת BigQuery Studio Spark Connect, התבנית צריכה להשתמש בגרסה 2.3 ואילך של Spark runtime.
   • סוג הגדרת התבנית: חובה. בוחרים סוג. אם בוחרים באפשרות Jupyter, מציינים את השם המוצג ובוחרים את סוג ליבת Jupyter. אפשר גם לעיין במאמר בנושא הפעלת מחברת Jupyter ב-Serverless for Apache Spark.
     • דרישה להפעלת מחברת ב-BigQuery Studio: בהפעלת מחברת ב-BigQuery Studio צריך לציין את Spark Connect כסוג ההגדרה של התבנית.
   • חשבון שירות: אופציונלי. חשבון השירות שבו רוצים להשתמש כדי להריץ הפעלות של תבניות. אם לא מציינים חשבון שירות, המערכת משתמשת בחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine.
   • קובץ אימג' מותאם אישית של קונטיינר: אופציונלי. קובץ אימג' של קונטיינר מותאם אישית לשימוש בסשנים מבוססי-תבניות.
   • מאפיינים: אופציונלי. לוחצים על הוספת פריט לכל נכס שרוצים להגדיר עבור הפעלות שמבוססות על תבנית. מידע נוסף זמין במאמר בנושא מאפייני Spark.
   • הגדרת רשת: * חובה. בוחרים רשת משנה באזור של הסשן. ‫Serverless ל-Apache Spark מאפשר גישה פרטית ל-Google‏ (PGA) ברשת המשנה שצוינה. לדרישות הקישוריות לרשת, אפשר לעיין במאמר בנושא Google Cloud תצורת הרשת של Serverless for Apache Spark.

3. לוחצים על שליחה כדי ליצור את תבנית הסשן.

gcloud

אי אפשר ליצור ישירות תבנית של סשן Serverless for Apache Spark באמצעות ה-CLI של gcloud, אבל אפשר להשתמש בפקודה gcloud beta dataproc session-templates import כדי לייבא תבנית קיימת של סשן. אפשר לערוך את התבנית המיובאת ואז לייצא אותה באמצעות הפקודה gcloud beta dataproc session-templates export.

REST

אתם יכולים להשתמש ב-Dataproc sessionTemplates.create API כדי ליצור תבנית של סשן Serverless for Apache Spark.

הערות:

• ‫name: שדה חובה. שם תבנית הסשן.

• ‫version: אופציונלי. כל אחת מגרסאות זמן הריצה של Spark שנתמכות בסשנים מבוססי-תבניות. אם לא מציינים גרסה, המערכת משתמשת בגרסת ברירת המחדל.

  • דרישה לגבי סשן של מחברת BigQuery Studio: אם אתם יוצרים תבנית לשימוש בסשנים של מחברת BigQuery Studio Spark Connect, התבנית צריכה להשתמש בגרסה 2.3 ואילך של Spark runtime.

• ‫sessionConfig: מציינים jupyter_session או spark_connect_session. אם מציינים את jupyter_session, צריך לציין גם את JupyterConfig.display_name ואת JupyterConfig.kernel. אפשר גם לעיין במאמר בנושא הפעלת מחברת Jupyter ב-Serverless for Apache Spark.

  • דרישה להפעלת מחברת ב-BigQuery Studio: בהפעלת מחברת ב-BigQuery Studio צריך לציין את Spark Connect כסוג הגדרת התבנית.

• ‫containerImage: אופציונלי. קובץ אימג' מותאם אישית של קונטיינר לשימוש בסשנים מבוססי-תבניות.

• ‫properties: אופציונלי. מיפוי של שמות מאפייני הסשן לערכים. מאפייני Spark

• ‫serviceAccount: אופציונלי. חשבון שירות שמשמש להפעלת סשנים מבוססי-תבניות. אם לא מציינים חשבון שירות, המערכת משתמשת בחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine.

• ‫subnetworkUri: אופציונלי. השם של רשת משנה באזור של הסשן. אם לא מציינים את הרשת המשנית, ‏Serverless for Apache Spark משתמש ברשת המשנית default באזור של הסשן. ‫Serverless ל-Apache Spark מאפשר גישה פרטית ל-Google‏ (PGA) ברשת המשנה. לדרישות הקישוריות לרשת, אפשר לעיין במאמר בנושא Google Cloud תצורת הרשת של Serverless for Apache Spark.