Sie können ein benutzerdefiniertes Container-Image für Managed Service for Apache Spark in der GKE angeben . Ihr benutzerdefiniertes Container-Image muss eines der Spark-Basis-Images von Managed Service for Apache Spark in GKE verwenden.
Benutzerdefiniertes Container-Image verwenden
Wenn Sie ein benutzerdefiniertes Container-Image für Managed Service for Apache Spark in der GKE verwenden möchten, legen Sie spark.kubernetes.container.image property fest, wenn Sie einen virtuellen Managed Service for Apache Spark in der GKE-Cluster erstellen oder einen Spark-Job an den Cluster senden.
- Beispiel für die Clustererstellung mit der gcloud CLI:
gcloud dataproc clusters gke create "${DP_CLUSTER}" \ --properties=spark:spark.kubernetes.container.image=custom-image \ ... other args ... - Beispiel für das Einreichen eines Jobs mit der gcloud CLI:
gcloud dataproc jobs submit spark \ --properties=spark.kubernetes.container.image=custom-image \ ... other args ...
Anforderungen und Einstellungen für benutzerdefinierte Container-Images
Basis-Images
Sie können docker-Tools verwenden, um ein benutzerdefiniertes Docker-Image basierend auf einem der veröffentlichten Spark-Basis-Images für Managed Service for Apache Spark in GKE zu erstellen.
Containernutzer
Managed Service for Apache Spark in GKE führt Spark-Container als Linux-Nutzer spark mit der UID 1099 und der GID 1099 aus. Verwenden Sie die UID und GID für Dateisystemberechtigungen.
Wenn Sie beispielsweise eine JAR-Datei unter /opt/spark/jars/my-lib.jar im Image als Arbeitslastabhängigkeit hinzufügen, müssen Sie dem Nutzer spark Leseberechtigung für die Datei gewähren.
Komponenten
Java: Die Umgebungsvariable
JAVA_HOMEverweist auf den Speicherort der Java-Installation. Der aktuelle Standardwert ist/usr/lib/jvm/adoptopenjdk-8-hotspot-amd64. Dieser kann sich ändern. Aktuelle Informationen finden Sie in den Versionshinweisen zu Managed Service for Apache Spark.- Wenn Sie die Java-Umgebung anpassen, achten Sie darauf, dass
JAVA_HOMEauf den richtigen Speicherort festgelegt ist undPATHden Pfad zu Binärdateien enthält.
- Wenn Sie die Java-Umgebung anpassen, achten Sie darauf, dass
Python: Auf den Spark-Basis-Images von Managed Service for Apache Spark on GKE ist Miniconda3 unter
/opt/condainstalliert.CONDA_HOMEverweist auf diesen Standort,${CONDA_HOME}/binist inPATHenthalten undPYSPARK_PYTHONist auf${CONDA_HOME}/pythonfestgelegt.Wenn Sie Conda anpassen, achten Sie darauf, dass
CONDA_HOMEauf das Conda-Basisverzeichnis verweist,${CONDA_HOME}/bininPATHenthalten ist undPYSPARK_PYTHONauf${CONDA_HOME}/python.festgelegt ist.Sie können Pakete in der Standard-Basisumgebung installieren, entfernen und aktualisieren oder eine neue Umgebung erstellen. Es wird jedoch dringend empfohlen, dass die Umgebung alle Pakete enthält, die in der Basisumgebung des Basis-Container-Images installiert sind.
Wenn Sie dem Container-Image Python-Module hinzufügen, z. B. ein Python-Skript mit Dienstfunktionen, fügen Sie die Modulverzeichnisse in
PYTHONPATHein.
Spark: Spark ist in
/usr/lib/sparkinstalliert undSPARK_HOMEverweist auf diesen Speicherort. Spark kann nicht angepasst werden. Wenn es geändert wird, wird das Container-Image abgelehnt oder funktioniert nicht richtig.Jobs: Sie können Spark-Jobabhängigkeiten anpassen.
SPARK_EXTRA_CLASSPATHdefiniert den zusätzlichen Klassenpfad für Spark-JVM-Prozesse. Empfehlung: Legen Sie JAR-Dateien unter/opt/spark/jarsab und setzen SieSPARK_EXTRA_CLASSPATHauf/opt/spark/jars/*.Wenn Sie die Job-JAR-Datei in das Image einbetten, ist das empfohlene Verzeichnis
/opt/spark/job. Wenn Sie den Job einreichen, können Sie ihn mit einem lokalen Pfad referenzieren, z. B.file:///opt/spark/job/my-spark-job.jar.Cloud Storage-Connector: Der Cloud Storage-Connector ist unter
/usr/lib/spark/jarsinstalliert.Dienstprogramme: Die Dienstprogrammpakete
procpsundtinisind erforderlich, um Spark auszuführen. Diese Dienstprogramme sind in den Spark-Basis-Images enthalten, sodass sie in benutzerdefinierten Images nicht neu installiert werden müssen.Einstiegspunkt: Managed Service for Apache Spark on GKE ignoriert alle Änderungen, die an den Primitiven
ENTRYPOINTundCMDim Container-Image vorgenommen wurden.Initialisierungsskripts: Sie können unter
/opt/init-script.shein optionales Initialisierungsskript hinzufügen. Mit einem Initialisierungsskript können Dateien aus Cloud Storage heruntergeladen, ein Proxy im Container gestartet, andere Skripts aufgerufen und andere Startaufgaben ausgeführt werden.Das Einstiegspunkt-Script ruft das Initialisierungs-Script mit allen Befehlszeilenargumenten (
$@) auf, bevor der Spark-Treiber, der Spark-Executor und andere Prozesse gestartet werden. Das Initialisierungsskript kann den Typ des Spark-Prozesses anhand des ersten Arguments ($1) auswählen. Mögliche Werte sindspark-submitfür Treibercontainer undexecutorfür Executor-Container.
Konfigurationen: Spark-Konfigurationen befinden sich unter
/etc/spark/conf. Die UmgebungsvariableSPARK_CONF_DIRverweist auf diesen Speicherort.Passen Sie Spark-Konfigurationen nicht im Container-Image an. Senden Sie stattdessen alle Attribute über die Managed Service for Apache Spark on GKE API. Das hat folgende Gründe:
- Einige Attribute, z. B. die Executor-Arbeitsspeichergröße, werden zur Laufzeit und nicht beim Erstellen des Container-Images bestimmt. Sie müssen von Managed Service for Apache Spark in GKE eingefügt werden.
- Managed Service for Apache Spark on GKE schränkt die von Nutzern bereitgestellten Attribute ein.
Managed Service for Apache Spark in der GKE stellt Konfigurationen aus
configMapin/etc/spark/confim Container bereit und überschreibt damit die im Image eingebetteten Einstellungen.
Spark-Basis-Images
Managed Service for Apache Spark unterstützt die folgenden Spark-Basis-Container-Images:
- Spark 3.5: ${REGION}-docker.pkg.dev/cloud-dataproc/spark/dataproc_2.2
Beispiel für die Erstellung eines benutzerdefinierten Container-Images
Beispiel-Dockerfile
FROM us-central1-docker.pkg.dev/cloud-dataproc/spark/dataproc_2.0:latest
# Change to root temporarily so that it has permissions to create dirs and copy
# files.
USER root
# Add a BigQuery connector jar.
ENV SPARK_EXTRA_JARS_DIR=/opt/spark/jars/
ENV SPARK_EXTRA_CLASSPATH='/opt/spark/jars/*'
RUN mkdir -p "${SPARK_EXTRA_JARS_DIR}" \
&& chown spark:spark "${SPARK_EXTRA_JARS_DIR}"
COPY --chown=spark:spark \
spark-bigquery-with-dependencies_2.12-0.22.2.jar "${SPARK_EXTRA_JARS_DIR}"
# Install Cloud Storage client Conda package.
RUN "${CONDA_HOME}/bin/conda" install google-cloud-storage
# Add a custom Python file.
ENV PYTHONPATH=/opt/python/packages
RUN mkdir -p "${PYTHONPATH}"
COPY test_util.py "${PYTHONPATH}"
# Add an init script.
COPY --chown=spark:spark init-script.sh /opt/init-script.sh
# (Optional) Set user back to `spark`.
USER spark
Container-Image erstellen
Führen Sie die folgenden Befehle im Dockerfile-Verzeichnis aus:
- Legen Sie das Image fest (Beispiel:
us-central1-docker.pkg.dev/my-project/spark/spark-test-image:latest) und wechseln Sie zum Build-Verzeichnis.IMAGE=custom container image \ BUILD_DIR=$(mktemp -d) \ cd "${BUILD_DIR}" Laden Sie den BigQuery-Connector herunter.
gcloud storage cp \ gs://spark-lib/bigquery/spark-bigquery-with-dependencies_2.12-0.22.2.jar .
Erstellen Sie eine Python-Beispieldatei.
cat >test_util.py <<'EOF' def hello(name): print("hello {}".format(name))
def read_lines(path): with open(path) as f: return f.readlines() EOFErstellen Sie ein Beispiel-Initialisierungsskript.
cat >init-script.sh <<EOF echo "hello world" >/tmp/init-script.out EOF
Erstellen Sie das Image und übertragen Sie es per Push.
docker build -t "${IMAGE}" . && docker push "${IMAGE}"