Benutzerdefiniertes Google Kubernetes Engine-Container-Image erstellen

Sie können ein benutzerdefiniertes Container-Image für Managed Service for Apache Spark in der GKE angeben . Ihr benutzerdefiniertes Container-Image muss eines der Spark-Basis-Images von Managed Service for Apache Spark in GKE verwenden.

Benutzerdefiniertes Container-Image verwenden

Wenn Sie ein benutzerdefiniertes Container-Image für Managed Service for Apache Spark in der GKE verwenden möchten, legen Sie spark.kubernetes.container.image property fest, wenn Sie einen virtuellen Managed Service for Apache Spark in der GKE-Cluster erstellen oder einen Spark-Job an den Cluster senden.

  • Beispiel für die Clustererstellung mit der gcloud CLI:
    gcloud dataproc clusters gke create "${DP_CLUSTER}" \
        --properties=spark:spark.kubernetes.container.image=custom-image \
        ... other args ...
    
  • Beispiel für das Einreichen eines Jobs mit der gcloud CLI:
    gcloud dataproc jobs submit spark \
        --properties=spark.kubernetes.container.image=custom-image \
        ... other args ...
    

Anforderungen und Einstellungen für benutzerdefinierte Container-Images

Basis-Images

Sie können docker-Tools verwenden, um ein benutzerdefiniertes Docker-Image basierend auf einem der veröffentlichten Spark-Basis-Images für Managed Service for Apache Spark in GKE zu erstellen.

Containernutzer

Managed Service for Apache Spark in GKE führt Spark-Container als Linux-Nutzer spark mit der UID 1099 und der GID 1099 aus. Verwenden Sie die UID und GID für Dateisystemberechtigungen. Wenn Sie beispielsweise eine JAR-Datei unter /opt/spark/jars/my-lib.jar im Image als Arbeitslastabhängigkeit hinzufügen, müssen Sie dem Nutzer spark Leseberechtigung für die Datei gewähren.

Komponenten

  • Java: Die Umgebungsvariable JAVA_HOME verweist auf den Speicherort der Java-Installation. Der aktuelle Standardwert ist /usr/lib/jvm/adoptopenjdk-8-hotspot-amd64. Dieser kann sich ändern. Aktuelle Informationen finden Sie in den Versionshinweisen zu Managed Service for Apache Spark.

    • Wenn Sie die Java-Umgebung anpassen, achten Sie darauf, dass JAVA_HOME auf den richtigen Speicherort festgelegt ist und PATH den Pfad zu Binärdateien enthält.
  • Python: Auf den Spark-Basis-Images von Managed Service for Apache Spark on GKE ist Miniconda3 unter /opt/conda installiert. CONDA_HOME verweist auf diesen Standort, ${CONDA_HOME}/bin ist in PATH enthalten und PYSPARK_PYTHON ist auf ${CONDA_HOME}/python festgelegt.

    • Wenn Sie Conda anpassen, achten Sie darauf, dass CONDA_HOME auf das Conda-Basisverzeichnis verweist, ${CONDA_HOME}/bin in PATH enthalten ist und PYSPARK_PYTHON auf ${CONDA_HOME}/python. festgelegt ist.

    • Sie können Pakete in der Standard-Basisumgebung installieren, entfernen und aktualisieren oder eine neue Umgebung erstellen. Es wird jedoch dringend empfohlen, dass die Umgebung alle Pakete enthält, die in der Basisumgebung des Basis-Container-Images installiert sind.

    • Wenn Sie dem Container-Image Python-Module hinzufügen, z. B. ein Python-Skript mit Dienstfunktionen, fügen Sie die Modulverzeichnisse in PYTHONPATH ein.

  • Spark: Spark ist in /usr/lib/spark installiert und SPARK_HOME verweist auf diesen Speicherort. Spark kann nicht angepasst werden. Wenn es geändert wird, wird das Container-Image abgelehnt oder funktioniert nicht richtig.

    • Jobs: Sie können Spark-Jobabhängigkeiten anpassen. SPARK_EXTRA_CLASSPATH definiert den zusätzlichen Klassenpfad für Spark-JVM-Prozesse. Empfehlung: Legen Sie JAR-Dateien unter /opt/spark/jars ab und setzen Sie SPARK_EXTRA_CLASSPATH auf /opt/spark/jars/*.

      Wenn Sie die Job-JAR-Datei in das Image einbetten, ist das empfohlene Verzeichnis /opt/spark/job. Wenn Sie den Job einreichen, können Sie ihn mit einem lokalen Pfad referenzieren, z. B. file:///opt/spark/job/my-spark-job.jar.

    • Cloud Storage-Connector: Der Cloud Storage-Connector ist unter /usr/lib/spark/jars installiert.

    • Dienstprogramme: Die Dienstprogrammpakete procps und tini sind erforderlich, um Spark auszuführen. Diese Dienstprogramme sind in den Spark-Basis-Images enthalten, sodass sie in benutzerdefinierten Images nicht neu installiert werden müssen.

    • Einstiegspunkt: Managed Service for Apache Spark on GKE ignoriert alle Änderungen, die an den Primitiven ENTRYPOINT und CMD im Container-Image vorgenommen wurden.

    • Initialisierungsskripts: Sie können unter /opt/init-script.sh ein optionales Initialisierungsskript hinzufügen. Mit einem Initialisierungsskript können Dateien aus Cloud Storage heruntergeladen, ein Proxy im Container gestartet, andere Skripts aufgerufen und andere Startaufgaben ausgeführt werden.

      Das Einstiegspunkt-Script ruft das Initialisierungs-Script mit allen Befehlszeilenargumenten ($@) auf, bevor der Spark-Treiber, der Spark-Executor und andere Prozesse gestartet werden. Das Initialisierungsskript kann den Typ des Spark-Prozesses anhand des ersten Arguments ($1) auswählen. Mögliche Werte sind spark-submit für Treibercontainer und executor für Executor-Container.

  • Konfigurationen: Spark-Konfigurationen befinden sich unter /etc/spark/conf. Die Umgebungsvariable SPARK_CONF_DIR verweist auf diesen Speicherort.

    Passen Sie Spark-Konfigurationen nicht im Container-Image an. Senden Sie stattdessen alle Attribute über die Managed Service for Apache Spark on GKE API. Das hat folgende Gründe:

    • Einige Attribute, z. B. die Executor-Arbeitsspeichergröße, werden zur Laufzeit und nicht beim Erstellen des Container-Images bestimmt. Sie müssen von Managed Service for Apache Spark in GKE eingefügt werden.
    • Managed Service for Apache Spark on GKE schränkt die von Nutzern bereitgestellten Attribute ein. Managed Service for Apache Spark in der GKE stellt Konfigurationen aus configMap in /etc/spark/conf im Container bereit und überschreibt damit die im Image eingebetteten Einstellungen.

Spark-Basis-Images

Managed Service for Apache Spark unterstützt die folgenden Spark-Basis-Container-Images:

  • Spark 3.5: ${REGION}-docker.pkg.dev/cloud-dataproc/spark/dataproc_2.2

Beispiel für die Erstellung eines benutzerdefinierten Container-Images

Beispiel-Dockerfile

FROM us-central1-docker.pkg.dev/cloud-dataproc/spark/dataproc_2.0:latest

# Change to root temporarily so that it has permissions to create dirs and copy
# files.
USER root

# Add a BigQuery connector jar.
ENV SPARK_EXTRA_JARS_DIR=/opt/spark/jars/
ENV SPARK_EXTRA_CLASSPATH='/opt/spark/jars/*'
RUN mkdir -p "${SPARK_EXTRA_JARS_DIR}" \
    && chown spark:spark "${SPARK_EXTRA_JARS_DIR}"
COPY --chown=spark:spark \
    spark-bigquery-with-dependencies_2.12-0.22.2.jar "${SPARK_EXTRA_JARS_DIR}"

# Install Cloud Storage client Conda package.
RUN "${CONDA_HOME}/bin/conda" install google-cloud-storage

# Add a custom Python file.
ENV PYTHONPATH=/opt/python/packages
RUN mkdir -p "${PYTHONPATH}"
COPY test_util.py "${PYTHONPATH}"

# Add an init script.
COPY --chown=spark:spark init-script.sh /opt/init-script.sh

# (Optional) Set user back to `spark`.
USER spark

Container-Image erstellen

Führen Sie die folgenden Befehle im Dockerfile-Verzeichnis aus:

  1. Legen Sie das Image fest (Beispiel: us-central1-docker.pkg.dev/my-project/spark/spark-test-image:latest) und wechseln Sie zum Build-Verzeichnis.
    IMAGE=custom container image \
        BUILD_DIR=$(mktemp -d) \
        cd "${BUILD_DIR}"
    
  2. Laden Sie den BigQuery-Connector herunter.

    gcloud storage cp \
        gs://spark-lib/bigquery/spark-bigquery-with-dependencies_2.12-0.22.2.jar .
    

  3. Erstellen Sie eine Python-Beispieldatei.

    cat >test_util.py <<'EOF'
    def hello(name):
      print("hello {}".format(name))
    def read_lines(path):   with open(path) as f:     return f.readlines() EOF

  4. Erstellen Sie ein Beispiel-Initialisierungsskript.

    cat >init-script.sh <<EOF
    echo "hello world" >/tmp/init-script.out
    EOF
    

  5. Erstellen Sie das Image und übertragen Sie es per Push.

    docker build -t "${IMAGE}" . && docker push "${IMAGE}"