רכיב Docker אופציונלי ב-Dataproc

כדי להריץ קונטיינרים של Docker בצמתי האשכול של Dataproc, צריך להפעיל את רכיב Docker האופציונלי במהלך יצירת האשכול. במאמר הזה מוסבר איך להתקין ולהגדיר את רכיב Docker ב-Dataproc.

מידע נוסף על רכיבים אופציונליים אחרים שזמינים ב-Dataproc מופיע במאמר רכיבים אופציונליים זמינים.

איך רכיב Docker פועל

כשמפעילים את רכיב Dataproc Docker, מותקן Docker daemon בכל צומת באשכול. בנוסף, הוא מגדיר משתמש וקבוצה ב-Linux, ששניהם נקראים docker, בכל צומת כדי להריץ את שד Docker. בנוסף, הרכיב יוצר שירות systemd docker כדי להפעיל את שירות dockerd. כדאי להשתמש בשירות systemd כדי לנהל את מחזור החיים של שירות Docker.

התקנת הרכיב

מתקינים את הרכיב כשיוצרים אשכול Dataproc. אפשר להתקין את רכיב Docker באשכולות שנוצרו באמצעות גרסה 1.5 ואילך של תמונת Dataproc.

בקטע גרסאות Dataproc נתמכות מפורטת גרסת הרכיב שנכללת בכל מהדורת תמונת Dataproc.

פקודת gcloud

כדי ליצור אשכול Dataproc שכולל את רכיב Docker, משתמשים בפקודה gcloud dataproc clusters create cluster-name עם הדגל --optional-components.

gcloud dataproc clusters create cluster-name \
    --optional-components=DOCKER \
    --region=region \
    --image-version=1.5 \
    ... other flags

API ל-REST

אפשר לציין את רכיב Docker דרך Dataproc API באמצעות SoftwareConfig.Component כחלק מבקשת clusters.create.

המסוף

  1. מפעילים את הרכיב.
    • במסוף Google Cloud , פותחים את הדף Dataproc Create a cluster. החלונית 'הגדרת אשכול' נבחרה.
    • בקטע Components (רכיבים):
      • בקטע Optional components (רכיבים אופציונליים), בוחרים ב-Docker וברכיבים אופציונליים אחרים להתקנה באשכול.

הפעלת Docker ב-YARN

במאמר התאמה אישית של סביבת זמן הריצה של משימת Spark באמצעות Docker ב-YARN מוסבר איך להשתמש בקובץ אימג' של Docker מותאם אישית עם YARN.

רישום ביומן ב-Docker

כברירת מחדל, רכיב Dataproc Docker כותב יומנים ל-Cloud Logging על ידי הגדרת gcplogs driver – ראו הצגת היומנים.

Docker Registry

רכיב Dataproc Docker מגדיר את Docker כך שישתמש ב-Container Registry בנוסף למאגרי ברירת המחדל של Docker. ‫Docker ישתמש בכלי העזר לאימות של Docker כדי לבצע אימות מול Container Registry.

שימוש ברכיב Docker באשכול Kerberos

אפשר להתקין את רכיב Docker האופציונלי באשכול שנוצר עם אבטחת Kerberos מופעלת.