"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).

Google uses AI technology to translate content into your preferred language. AI translations can contain errors.

רכיב Docker אופציונלי של Managed Service for Apache Spark

כדי להריץ קונטיינרים של Docker בצמתי האשכולות של Managed Service for Apache Spark, צריך להפעיל את רכיב Docker האופציונלי במהלך יצירת האשכול. במאמר הזה מוסבר איך להתקין ולהגדיר את רכיב Docker ב-Managed Service for Apache Spark.

מידע נוסף על רכיבים אופציונליים אחרים שזמינים ב-Managed Service for Apache Spark מופיע במאמר רכיבים אופציונליים זמינים.

איך רכיב Docker פועל

כשמפעילים את רכיב Docker של Managed Service for Apache Spark, מותקן Docker daemon בכל צומת באשכול. בנוסף, הוא מגדיר בכל צומת משתמש וקבוצה ב-Linux, ששניהם נקראים docker, כדי להריץ את Docker daemon. בנוסף, הרכיב יוצר שירות systemd מסוג docker כדי להריץ את השירות dockerd. כדאי להשתמש בשירות systemd כדי לנהל את מחזור החיים של שירות Docker.

התקנת הרכיב

מתקינים את הרכיב כשיוצרים אשכול של Managed Service for Apache Spark. אפשר להתקין את רכיב Docker באשכולות שנוצרו באמצעות גרסת תמונה 1.5 ואילך של Managed Service for Apache Spark.

בקטע גרסאות נתמכות של Managed Service for Apache Spark מפורטת גרסת הרכיב שכלולה בכל מהדורת תמונת Managed Service for Apache Spark.

מסוףGoogle Cloud

במסוף Google Cloud , פותחים את הדף Create cluster.
לוחצים על הגדרה נוספת כדי להרחיב את הקטע.
עורכים את הרכיבים האופציונליים.
בחלונית שנפתחת, מסמנים את תיבת הסימון Docker ולוחצים על שמירה.

‫CLI של gcloud

כדי ליצור אשכול של Managed Service for Apache Spark שכולל את רכיב Docker, משתמשים בפקודה gcloud dataproc clusters create cluster-name עם הדגל --optional-components.

gcloud dataproc clusters create cluster-name \
    --optional-components=DOCKER \
    --region=region \
    --image-version=1.5 \
    ... other flags

‫API בארכיטקטורת REST

אפשר לציין את רכיב Docker דרך Dataproc API באמצעות SoftwareConfig.Component כחלק מבקשת clusters.create.

הפעלת Docker ב-YARN

במאמר התאמה אישית של סביבת זמן הריצה של משימת Spark באמצעות Docker ב-YARN מוסבר איך להשתמש בקובץ אימג' של Docker מותאם אישית עם YARN.

רישום ביומן ב-Docker

כברירת מחדל, רכיב ה-Docker של Managed Service for Apache Spark כותב יומנים ל-Cloud Logging על ידי הגדרת gcplogs driver – ראו צפייה ביומנים.

Docker Registry

רכיב Docker של Managed Service for Apache Spark מגדיר את Docker כך שישתמש ב-Container Registry בנוסף למאגרי Docker שמוגדרים כברירת מחדל. ‫Docker ישתמש בכלי העזר לפרטי כניסה של Docker כדי לבצע אימות מול Container Registry.

שימוש ברכיב Docker באשכול Kerberos

אפשר להתקין את רכיב Docker האופציונלי באשכול שנוצר עם אבטחת Kerberos מופעלת.