יצירת קובץ אימג' של קונטיינר בהתאמה אישית ב-Google Kubernetes Engine

אתם יכולים לציין קובץ אימג' של קונטיינר בהתאמה אישית לשימוש עם Managed Service for Apache Spark ב-GKE . קובץ האימג' של הקונטיינר בהתאמה אישית צריך להשתמש באחד מקובצי האימג' הבסיסיים של Spark ב-Managed Service for Apache Spark ב-GKE.

שימוש בקובץ אימג' של קונטיינר בהתאמה אישית

כדי להשתמש בקובץ אימג' של קונטיינר בהתאמה אישית של Managed Service for Apache Spark ב-GKE, מגדירים את spark.kubernetes.container.image property כשיוצרים אשכול וירטואלי של Managed Service for Apache Spark ב-GKE או שולחים משימת Spark לאשכול.

  • דוגמה ליצירת אשכול באמצעות ה-CLI של gcloud:
    gcloud dataproc clusters gke create "${DP_CLUSTER}" \
        --properties=spark:spark.kubernetes.container.image=custom-image \
        ... other args ...
    
  • דוגמה לשליחת משימה באמצעות ה-CLI של gcloud:
    gcloud dataproc jobs submit spark \
        --properties=spark.kubernetes.container.image=custom-image \
        ... other args ...
    

הגדרות ודרישות של קובץ אימג' של קונטיינר בהתאמה אישית

תמונות בסיס

אתם יכולים להשתמש בכלים של docker כדי ליצור Docker בהתאמה אישית, על סמך אחד מקובצי האימג' הבסיסיים של Spark שפורסמו ב-Managed Service for Apache Spark ב-GKE.

משתמש במאגר התגים

ב-Managed Service for Apache Spark ב-GKE, קונטיינרים של Spark פועלים כמשתמש spark של Linux עם מזהה משתמש 1099 ומזהה קבוצה 1099. משתמשים ב-UID וב-GID להרשאות של מערכת הקבצים. לדוגמה, אם מוסיפים קובץ jar ב-/opt/spark/jars/my-lib.jar בתמונה כתלות של עומס עבודה, צריך לתת למשתמש spark הרשאת קריאה לקובץ.

רכיבים

  • ‫Java: משתנה הסביבה JAVA_HOME מצביע על המיקום של התקנת Java. ערך ברירת המחדל הנוכחי הוא /usr/lib/jvm/adoptopenjdk-8-hotspot-amd64, והוא עשוי להשתנות (למידע מעודכן, ראו את נתוני הגרסה של Managed Service for Apache Spark).

    • אם אתם מתאימים אישית את סביבת Java, ודאו ש-JAVA_HOME מוגדר למיקום הנכון וש-PATH כולל את הנתיב לקובצי ה-binary.
  • ‫Python: בתמונות הבסיס של Spark ב-Managed Service for Apache Spark ב-GKE, ‏Miniconda3 מותקן ב-/opt/conda. ‫CONDA_HOME מפנה למיקום הזה, ${CONDA_HOME}/bin נכלל ב-PATH, והערך של PYSPARK_PYTHON מוגדר ל-${CONDA_HOME}/python.

    • אם אתם מתאימים אישית את Conda, ודאו ש-CONDA_HOME מפנה לספריית הבית של Conda, ש-${CONDA_HOME}/bin נכלל ב-PATH וש-PYSPARK_PYTHON מוגדר ל-${CONDA_HOME}/python..

    • אתם יכולים להתקין, להסיר ולעדכן חבילות בסביבת הבסיס שמוגדרת כברירת מחדל, או ליצור סביבה חדשה, אבל מומלץ מאוד שהסביבה תכלול את כל החבילות שמותקנות בסביבת הבסיס של קובץ האימג' של קונטיינר הבסיס.

    • אם מוסיפים לקובץ האימג' של הקונטיינר מודולים של Python, כמו סקריפט Python עם פונקציות בסיסיות, צריך לכלול את ספריות המודולים ב-PYTHONPATH.

  • ‫Spark: ‏Spark מותקן ב-/usr/lib/spark, ו-SPARK_HOME מפנה למיקום הזה. אי אפשר להתאים אישית את Spark. אם הוא ישתנה, קובץ האימג' של הקונטיינר יידחה או לא יפעל כמו שצריך.

    • ‫Jobs: אפשר להתאים אישית את יחסי התלות של משימות Spark. ‫SPARK_EXTRA_CLASSPATH מגדיר את ה-classpath הנוסף לתהליכי Spark JVM. המלצה: להוסיף קובצי JAR ל-/opt/spark/jars, ולהגדיר את SPARK_EXTRA_CLASSPATH ל-/opt/spark/jars/*.

      אם מטמיעים את קובץ ה-JAR של המשימה בתמונה, הספרייה המומלצת היא /opt/spark/job. כששולחים את המשימה, אפשר להפנות אליה באמצעות נתיב מקומי, לדוגמה, file:///opt/spark/job/my-spark-job.jar.

    • חיבור ל-Cloud Storage: החיבור ל-Cloud Storage מותקן ב-/usr/lib/spark/jars.

    • כלי עזר: כדי להריץ את Spark צריך את חבילות כלי העזר procps ו-tini. כלי השירות האלה כלולים בתמונות הבסיס של Spark, כך שאין צורך להתקין אותם מחדש בתמונות בהתאמה אישית.

    • ‫Entrypoint: ‏Managed Service for Apache Spark ב-GKE מתעלם מכל שינוי שנעשה בפרימיטיבים ENTRYPOINT ו-CMD בקובץ האימג' של הקונטיינר.

    • סקריפטים של אתחול: אפשר להוסיף סקריפט אתחול אופציונלי ב-/opt/init-script.sh. סקריפט אתחול יכול להוריד קבצים מ-Cloud Storage, להפעיל שרת proxy בתוך הקונטיינר, להפעיל סקריפטים אחרים ולבצע משימות הפעלה אחרות.

      סקריפט נקודת הכניסה קורא לסקריפט האתחול עם כל הארגומנטים של שורת הפקודה ($@) לפני הפעלת מנהל ההתקן של Spark, מפעיל Spark ותהליכים אחרים. סקריפט האיניציאליזציה יכול לבחור את סוג התהליך של Spark על סמך הארגומנט הראשון ($1): הערכים האפשריים כוללים את spark-submit למאגרי מנהלי התקנים, ואת executor למאגרי מנהלי ביצוע.

  • הגדרות: ההגדרות של Spark נמצאות ב-/etc/spark/conf. משתנה הסביבה SPARK_CONF_DIR מצביע על המיקום הזה.

    אל תתאימו אישית את הגדרות Spark בקובץ האימג' של הקונטיינר. במקום זאת, שלחו את המאפיינים דרך Managed Service for Apache Spark on GKE API מהסיבות הבאות:

    • חלק מהמאפיינים, כמו גודל הזיכרון של ה-executor, נקבעים בזמן הריצה ולא בזמן היצירה של קובץ האימג' של הקונטיינר. צריך להחדיר אותם באמצעות Managed Service for Apache Spark ב-GKE.
    • ב-Managed Service for Apache Spark ב-GKE יש הגבלות על המאפיינים שהמשתמשים מספקים. ‫Managed Service for Apache Spark ב-GKE טוען הגדרות מ-configMap אל /etc/spark/conf בקונטיינר, ומחליף את ההגדרות שמוטמעות בתמונה.

תמונות בסיסיות של Spark

‫Managed Service for Apache Spark תומך בקובצי האימג' הבסיסיים הבאים של קונטיינר Spark:

  • Spark 3.5: ${REGION}-docker.pkg.dev/cloud-dataproc/spark/dataproc_2.2

דוגמה ליצירת קובץ אימג' של קונטיינר בהתאמה אישית

קובץ Docker לדוגמה

FROM us-central1-docker.pkg.dev/cloud-dataproc/spark/dataproc_2.0:latest

# Change to root temporarily so that it has permissions to create dirs and copy
# files.
USER root

# Add a BigQuery connector jar.
ENV SPARK_EXTRA_JARS_DIR=/opt/spark/jars/
ENV SPARK_EXTRA_CLASSPATH='/opt/spark/jars/*'
RUN mkdir -p "${SPARK_EXTRA_JARS_DIR}" \
    && chown spark:spark "${SPARK_EXTRA_JARS_DIR}"
COPY --chown=spark:spark \
    spark-bigquery-with-dependencies_2.12-0.22.2.jar "${SPARK_EXTRA_JARS_DIR}"

# Install Cloud Storage client Conda package.
RUN "${CONDA_HOME}/bin/conda" install google-cloud-storage

# Add a custom Python file.
ENV PYTHONPATH=/opt/python/packages
RUN mkdir -p "${PYTHONPATH}"
COPY test_util.py "${PYTHONPATH}"

# Add an init script.
COPY --chown=spark:spark init-script.sh /opt/init-script.sh

# (Optional) Set user back to `spark`.
USER spark

יצירת קובץ האימג' של הקונטיינר

מריצים את הפקודות הבאות בספרייה של קובץ ה-Docker:

  1. מגדירים את קובץ האימג' (לדוגמה: us-central1-docker.pkg.dev/my-project/spark/spark-test-image:latest) ועוברים לספריית ה-build.
    IMAGE=custom container image \
        BUILD_DIR=$(mktemp -d) \
        cd "${BUILD_DIR}"
    
  2. מורידים את המחבר ל-BigQuery.

    gcloud storage cp \
        gs://spark-lib/bigquery/spark-bigquery-with-dependencies_2.12-0.22.2.jar .
    

  3. יוצרים קובץ Python לדוגמה.

    cat >test_util.py <<'EOF'
    def hello(name):
      print("hello {}".format(name))
    def read_lines(path):   with open(path) as f:     return f.readlines() EOF

  4. יוצרים סקריפט init לדוגמה.

    cat >init-script.sh <<EOF
    echo "hello world" >/tmp/init-script.out
    EOF
    

  5. יוצרים את קובץ האימג' ודוחפים אותו.

    docker build -t "${IMAGE}" . && docker push "${IMAGE}"