אתם יכולים לציין קובץ אימג' של קונטיינר בהתאמה אישית לשימוש עם Managed Service for Apache Spark ב-GKE . קובץ האימג' של הקונטיינר בהתאמה אישית צריך להשתמש באחד מקובצי האימג' הבסיסיים של Spark ב-Managed Service for Apache Spark ב-GKE.
שימוש בקובץ אימג' של קונטיינר בהתאמה אישית
כדי להשתמש בקובץ אימג' של קונטיינר בהתאמה אישית של Managed Service for Apache Spark ב-GKE, מגדירים את spark.kubernetes.container.image property כשיוצרים אשכול וירטואלי של Managed Service for Apache Spark ב-GKE או שולחים משימת Spark לאשכול.
- דוגמה ליצירת אשכול באמצעות ה-CLI של gcloud:
gcloud dataproc clusters gke create "${DP_CLUSTER}" \ --properties=spark:spark.kubernetes.container.image=custom-image \ ... other args ... - דוגמה לשליחת משימה באמצעות ה-CLI של gcloud:
gcloud dataproc jobs submit spark \ --properties=spark.kubernetes.container.image=custom-image \ ... other args ...
הגדרות ודרישות של קובץ אימג' של קונטיינר בהתאמה אישית
תמונות בסיס
אתם יכולים להשתמש בכלים של docker כדי ליצור Docker בהתאמה אישית, על סמך אחד מקובצי האימג' הבסיסיים של Spark שפורסמו ב-Managed Service for Apache Spark ב-GKE.
משתמש במאגר התגים
ב-Managed Service for Apache Spark ב-GKE, קונטיינרים של Spark פועלים כמשתמש spark של Linux עם מזהה משתמש 1099 ומזהה קבוצה 1099. משתמשים ב-UID וב-GID להרשאות של מערכת הקבצים.
לדוגמה, אם מוסיפים קובץ jar ב-/opt/spark/jars/my-lib.jar בתמונה כתלות של עומס עבודה, צריך לתת למשתמש spark הרשאת קריאה לקובץ.
רכיבים
Java: משתנה הסביבה
JAVA_HOMEמצביע על המיקום של התקנת Java. ערך ברירת המחדל הנוכחי הוא/usr/lib/jvm/adoptopenjdk-8-hotspot-amd64, והוא עשוי להשתנות (למידע מעודכן, ראו את נתוני הגרסה של Managed Service for Apache Spark).- אם אתם מתאימים אישית את סביבת Java, ודאו ש-
JAVA_HOMEמוגדר למיקום הנכון וש-PATHכולל את הנתיב לקובצי ה-binary.
- אם אתם מתאימים אישית את סביבת Java, ודאו ש-
Python: בתמונות הבסיס של Spark ב-Managed Service for Apache Spark ב-GKE, Miniconda3 מותקן ב-
/opt/conda. CONDA_HOMEמפנה למיקום הזה,${CONDA_HOME}/binנכלל ב-PATH, והערך שלPYSPARK_PYTHONמוגדר ל-${CONDA_HOME}/python.אם אתם מתאימים אישית את Conda, ודאו ש-
CONDA_HOMEמפנה לספריית הבית של Conda, ש-${CONDA_HOME}/binנכלל ב-PATHוש-PYSPARK_PYTHONמוגדר ל-${CONDA_HOME}/python..אתם יכולים להתקין, להסיר ולעדכן חבילות בסביבת הבסיס שמוגדרת כברירת מחדל, או ליצור סביבה חדשה, אבל מומלץ מאוד שהסביבה תכלול את כל החבילות שמותקנות בסביבת הבסיס של קובץ האימג' של קונטיינר הבסיס.
אם מוסיפים לקובץ האימג' של הקונטיינר מודולים של Python, כמו סקריפט Python עם פונקציות בסיסיות, צריך לכלול את ספריות המודולים ב-
PYTHONPATH.
Spark: Spark מותקן ב-
/usr/lib/spark, ו-SPARK_HOMEמפנה למיקום הזה. אי אפשר להתאים אישית את Spark. אם הוא ישתנה, קובץ האימג' של הקונטיינר יידחה או לא יפעל כמו שצריך.Jobs: אפשר להתאים אישית את יחסי התלות של משימות Spark.
SPARK_EXTRA_CLASSPATHמגדיר את ה-classpath הנוסף לתהליכי Spark JVM. המלצה: להוסיף קובצי JAR ל-/opt/spark/jars, ולהגדיר אתSPARK_EXTRA_CLASSPATHל-/opt/spark/jars/*.אם מטמיעים את קובץ ה-JAR של המשימה בתמונה, הספרייה המומלצת היא
/opt/spark/job. כששולחים את המשימה, אפשר להפנות אליה באמצעות נתיב מקומי, לדוגמה,file:///opt/spark/job/my-spark-job.jar.חיבור ל-Cloud Storage: החיבור ל-Cloud Storage מותקן ב-
/usr/lib/spark/jars.כלי עזר: כדי להריץ את Spark צריך את חבילות כלי העזר
procpsו-tini. כלי השירות האלה כלולים בתמונות הבסיס של Spark, כך שאין צורך להתקין אותם מחדש בתמונות בהתאמה אישית.Entrypoint: Managed Service for Apache Spark ב-GKE מתעלם מכל שינוי שנעשה בפרימיטיבים
ENTRYPOINTו-CMDבקובץ האימג' של הקונטיינר.סקריפטים של אתחול: אפשר להוסיף סקריפט אתחול אופציונלי ב-
/opt/init-script.sh. סקריפט אתחול יכול להוריד קבצים מ-Cloud Storage, להפעיל שרת proxy בתוך הקונטיינר, להפעיל סקריפטים אחרים ולבצע משימות הפעלה אחרות.סקריפט נקודת הכניסה קורא לסקריפט האתחול עם כל הארגומנטים של שורת הפקודה (
$@) לפני הפעלת מנהל ההתקן של Spark, מפעיל Spark ותהליכים אחרים. סקריפט האיניציאליזציה יכול לבחור את סוג התהליך של Spark על סמך הארגומנט הראשון ($1): הערכים האפשריים כוללים אתspark-submitלמאגרי מנהלי התקנים, ואתexecutorלמאגרי מנהלי ביצוע.
הגדרות: ההגדרות של Spark נמצאות ב-
/etc/spark/conf. משתנה הסביבהSPARK_CONF_DIRמצביע על המיקום הזה.אל תתאימו אישית את הגדרות Spark בקובץ האימג' של הקונטיינר. במקום זאת, שלחו את המאפיינים דרך Managed Service for Apache Spark on GKE API מהסיבות הבאות:
- חלק מהמאפיינים, כמו גודל הזיכרון של ה-executor, נקבעים בזמן הריצה ולא בזמן היצירה של קובץ האימג' של הקונטיינר. צריך להחדיר אותם באמצעות Managed Service for Apache Spark ב-GKE.
- ב-Managed Service for Apache Spark ב-GKE יש הגבלות על המאפיינים שהמשתמשים מספקים.
Managed Service for Apache Spark ב-GKE טוען הגדרות מ-
configMapאל/etc/spark/confבקונטיינר, ומחליף את ההגדרות שמוטמעות בתמונה.
תמונות בסיסיות של Spark
Managed Service for Apache Spark תומך בקובצי האימג' הבסיסיים הבאים של קונטיינר Spark:
- Spark 3.5: ${REGION}-docker.pkg.dev/cloud-dataproc/spark/dataproc_2.2
דוגמה ליצירת קובץ אימג' של קונטיינר בהתאמה אישית
קובץ Docker לדוגמה
FROM us-central1-docker.pkg.dev/cloud-dataproc/spark/dataproc_2.0:latest
# Change to root temporarily so that it has permissions to create dirs and copy
# files.
USER root
# Add a BigQuery connector jar.
ENV SPARK_EXTRA_JARS_DIR=/opt/spark/jars/
ENV SPARK_EXTRA_CLASSPATH='/opt/spark/jars/*'
RUN mkdir -p "${SPARK_EXTRA_JARS_DIR}" \
&& chown spark:spark "${SPARK_EXTRA_JARS_DIR}"
COPY --chown=spark:spark \
spark-bigquery-with-dependencies_2.12-0.22.2.jar "${SPARK_EXTRA_JARS_DIR}"
# Install Cloud Storage client Conda package.
RUN "${CONDA_HOME}/bin/conda" install google-cloud-storage
# Add a custom Python file.
ENV PYTHONPATH=/opt/python/packages
RUN mkdir -p "${PYTHONPATH}"
COPY test_util.py "${PYTHONPATH}"
# Add an init script.
COPY --chown=spark:spark init-script.sh /opt/init-script.sh
# (Optional) Set user back to `spark`.
USER spark
יצירת קובץ האימג' של הקונטיינר
מריצים את הפקודות הבאות בספרייה של קובץ ה-Docker:
- מגדירים את קובץ האימג' (לדוגמה:
us-central1-docker.pkg.dev/my-project/spark/spark-test-image:latest) ועוברים לספריית ה-build.IMAGE=custom container image \ BUILD_DIR=$(mktemp -d) \ cd "${BUILD_DIR}" מורידים את המחבר ל-BigQuery.
gcloud storage cp \ gs://spark-lib/bigquery/spark-bigquery-with-dependencies_2.12-0.22.2.jar .
יוצרים קובץ Python לדוגמה.
cat >test_util.py <<'EOF' def hello(name): print("hello {}".format(name))
def read_lines(path): with open(path) as f: return f.readlines() EOFיוצרים סקריפט init לדוגמה.
cat >init-script.sh <<EOF echo "hello world" >/tmp/init-script.out EOF
יוצרים את קובץ האימג' ודוחפים אותו.
docker build -t "${IMAGE}" . && docker push "${IMAGE}"