Versiones de imágenes de la versión 2.3.x

Componente	2.3.37-debian12/ -ubuntu22/ -ubuntu22-arm/ -ml-ubuntu22/ -rocky9 2026/09/30	2.3.36-debian12/ -ubuntu22/ -ubuntu22-arm/ -ml-ubuntu22/ -rocky9 2026/09/04	2.3.35-debian12/ -ubuntu22/ -ubuntu22-arm/ -ml-ubuntu22/ -rocky9 2026/08/19	2.3.34-debian12/ -ubuntu22/ -ubuntu22-arm/ -ml-ubuntu22/ -rocky9 2026/07/15	2.3.33-debian12/ -ubuntu22/ -ubuntu22-arm/ -ml-ubuntu22/ -rocky9 2026/06/30
^Acción de inicialización de Apache Atlas	2.2.0	2.2.0	2.2.0	2.2.0	2.2.0
Apache Flink ^componente opcional	1.17.0	1.17.0	1.17.0	1.17.0	1.17.0
Apache Hadoop ^instalado	3.3.6	3.3.6	3.3.6	3.3.6	3.3.6
Apache Hive ^instalado	3.1.3	3.1.3	3.1.3	3.1.3	3.1.3
^Componente opcional de Apache Hive WebHCat	3.1.3	3.1.3	3.1.3	3.1.3	3.1.3
^Componente opcional Apache Hudi	0.15.0	0.15.0	0.15.0	0.15.0	0.15.0
Componente opcional ^de Apache Iceberg	1.6.1	1.6.1	1.6.1	1.6.1	1.6.1
^Acción de inicialización de Apache Kafka	3.1.0	3.1.0	3.1.0	3.1.0	3.1.0
Componente opcional de Apache Pig	0.18.0-SNAPSHOT	0.18.0-SNAPSHOT	0.18.0-SNAPSHOT	0.18.0-SNAPSHOT	0.18.0-SNAPSHOT
Apache Spark ^instalado	3.5.3	3.5.3	3.5.3	3.5.3	3.5.3
^Acción de inicialización de Apache Sqoop	1.5.0-SNAPSHOT	1.5.0-SNAPSHOT	1.5.0-SNAPSHOT	1.5.0-SNAPSHOT	1.5.0-SNAPSHOT
Apache Tez ^instalado	0.10.2	0.10.2	0.10.2	0.10.2	0.10.2
Conector de BigQuery ^instalado	0.42.3	0.42.3	0.42.3	0.42.3	0.42.3
Conector de Cloud Storage ^instalado	3.1.13	3.1.13	3.1.13	3.1.13	3.1.13
Conscrypt ^instalado	2.5.2	2.5.2	2.5.2	2.5.2	2.5.2
Delta Lake ^componente opcional	3.2.1	3.2.1	3.2.1	3.2.1	3.2.1
Docker ^componente opcional	28.1	28.1	28.1	28.1	28.1
^Acción de inicialización de Hue	4.11.0	4.11.0	4.11.0	4.11.0	4.11.0
Java ^instalado	11	11	11	11	11
^Componente opcional de Notebook de JupyterLab	3.6	3.6	3.6	3.6	3.6
^Acción de inicialización de Oozie	5.2.1	5.2.1	5.2.1	5.2.1	5.2.1
Python ^instalado	micromamba 2.0.5 con Python 3.11	micromamba 2.0.5 con Python 3.11	micromamba 2.0.5 con Python 3.11	micromamba 2.0.5 con Python 3.11	micromamba 2.0.5 con Python 3.11
R ^instalado	R 4.3	R 4.3	R 4.3	R 4.3	R 4.3
^Componente opcional de Ranger	2.4.0	2.4.0	2.4.0	2.4.0	2.4.0
Scala ^instalado	2.12.18	2.12.18	2.12.18	2.12.18	2.12.18
^Componente opcional de Solr	9.4.1	9.4.1	9.4.1	9.4.1	9.4.1
Trino ^componente opcional	432	432	432	432	432
^Componente opcional de Notebook de Zeppelin	0.10.1	0.10.1	0.10.1	0.10.1	0.10.1
^Componente opcional de Zookeeper	3.9.5	3.9.5	3.9.5	3.9.5	3.9.5

Notas:

• La versión 2.3 es una imagen ligera que solo contiene componentes principales, lo que reduce la exposición a vulnerabilidades y exposiciones comunes (CVE). Para cumplir con requisitos de seguridad más estrictos, usa la versión de imagen 2.3 o una posterior cuando crees un clúster de Managed Service para Apache Spark.

• Si eliges instalar componentes opcionales cuando creas un clúster de Managed Service para Apache Spark con la imagen 2.3, se descargarán y se instalarán durante la creación del clúster. Esto podría aumentar el tiempo de inicio del clúster. Para evitar esta demora, puedes crear una imagen personalizada con los componentes opcionales preinstalados. Para ello, ejecuta generate_custom_image.py con la marca --optional-components.

  Nota: Debes especificar los componentes opcionales que deseas instalar cuando creas el clúster. Para obtener más información, consulta Agrega componentes opcionales.
  En el siguiente ejemplo, se muestra el comando de Google Cloud CLI para crear un clúster con componentes opcionales:

  gcloud dataproc clusters create CLUSTER_NAME
      --optional-components=COMPONENT_NAME \
      ... other flags
  

• Las versiones de imagen 2.3.32, 2.3.36 y posteriores no tienen canales de Conda preconfigurados. Los paquetes no se pueden instalar con Conda, a menos que los canales se configuren de forma manual durante la inicialización del clúster. Además, los clústeres de la versión de imagen 2.3 que tienen canales de Conda preconfigurados, incluidas las versiones de imagen 2.3.35 y anteriores, pero sin incluir 2.3.32, no se podrán usar después del 25 de agosto de 2026.

  • Es posible que debas borrar y reemplazar los clústeres existentes. Después del 25 de agosto de 2026, los clústeres existentes que se crearon con imágenes que tienen canales de Conda preconfigurados, incluso si los trabajos del clúster no usan Conda para instalar paquetes, se deben borrar y reemplazar por clústeres nuevos creados o recreados con imágenes que no tengan canales de Conda preconfigurados.

• Los siguientes componentes opcionales son compatibles con las imágenes 2.3 que no son de ARM:

  • Apache Flink
  • WebHCat de Apache Hive
  • Apache Hudi
  • Apache Iceberg
  • Apache Pig
  • Delta Lake
  • Docker
  • Notebook de JupyterLab
  • Ranger
  • Solr
  • Trino
  • Notebook de Zeppelin
  • Zookeeper

• Las imágenes 2.3.x-*-arm solo admiten los componentes preinstalados y los siguientes componentes opcionales. No se admiten los otros componentes opcionales de la versión 2.3 ni todas las acciones de inicialización:

  • WebHCat de Apache Hive
  • Apache Pig (a partir de 2.3.22-ubuntu22-arm)
  • Docker
  • Notebook de Zeppelin
  • Zookeeper (instalado en clústeres de alta disponibilidad; componente opcional en otros clústeres)

• Lightning Engine y ejecución de consultas nativas en ARM: Se admite en imágenes de 2.3-ubuntu22-arm.

• yarn.nodemanager.recovery.enabled y el registro de auditoría de HDFS están habilitados de forma predeterminada en las imágenes 2.3.

• micromamba, en lugar de conda en las versiones de imagen anteriores, se instala como parte de la instalación de Python.

• Versión de Apache Iceberg: En las imágenes 2.3, Apache Iceberg está disponible en las versiones 1.6.1 y 1.10. La versión predeterminada es 1.6.1. A partir de la versión de imagen 2.3.35, los clústeres 2.3 creados con Lightning Engine habilitado usan la versión 1.10 de Iceberg de forma predeterminada. Para especificar la versión de Iceberg en cualquier clúster 2.3, establece la propiedad de clúster dataproc:dataproc.iceberg.version en 1.10 (o 1.6) durante la creación del clúster.

• Problemas con la instalación de Docker y Zeppelin:

  • La instalación falla si el clúster no tiene acceso público a Internet. Como solución alternativa, crea un clúster que use una imagen personalizada con componentes opcionales preinstalados. Para ello, ejecuta generate_custom_image.py con la marca --optional-components.
  • La instalación puede fallar si el clúster está fijado a una versión de imagen secundaria anterior: Los paquetes se instalan a pedido desde repositorios públicos de OSS, y es posible que un paquete no esté disponible de forma ascendente para admitir la instalación. Como solución alternativa, crea un clúster que use una imagen personalizada con componentes opcionales preinstalados en la imagen personalizada. Para ello, ejecuta generate_custom_image.py con la marca --optional-components.

• La calculadora de recursos predeterminada para YARN se cambió de DefaultResourceCalculator a DominantResourceCalculator, que usa el concepto de recurso dominante para determinar la asignación de recursos, como la asignación de memoria y CPU. Este cambio afecta al escalador automático, que escala según el uso de recursos dominante del clúster.

Componentes de aprendizaje automático (AA) de la versión de imagen 2.3

La imagen 2.3-ml-ubuntu de Managed Service para Apache Spark extiende la imagen base 2.3 con software específico de AA. Admite componentes opcionales de imagen 2.3 y otras funciones de la versión 2.3, y agrega las versiones de los componentes que se indican en las siguientes secciones.

Bibliotecas específicas de GPU

Para los trabajos de Managed Service para Apache Spark que usan VMs de GPU, el siguiente controlador y las bibliotecas de NVIDIA están disponibles en la imagen de 2.3-ml-ubuntu. Puedes usarlas para realizar las siguientes tareas:

• Acelera las cargas de trabajo por lotes de Spark con la biblioteca de NVIDIA cuDF para Apache Spark
• Entrena cargas de trabajo de aprendizaje automático
• Ejecuta inferencias por lotes distribuidas con Spark

Nombre del paquete	Versión
Spark cuDF	25.04.0
Controlador de NVIDIA	Ubuntu 22.04 LTS acelerado con la versión 570 del controlador de NVIDIA
CUDA	12.6.3
cublas	12.6.4
cusolver	11.7.1
cupti	12.6.80
cusparse	12.5.4
cuDNN	9.10.1
NCCL	2.27.5

Bibliotecas de XGBoost

Las siguientes versiones del paquete de Maven están disponibles en la imagen 2.3-ml-ubuntu para que puedas usar XGBoost con Spark en Java o Scala.

ID del grupo	Nombre del paquete	Versión
ml.dmlc	xgboost4j-gpu_2.12	2.1.1
ml.dmlc	xgboost4j-spark-gpu_2.12	2.1.1

Nota: No puedes usar XGBoost de Spark distribuido en un trabajo de Managed Service para Apache Spark que tenga ajuste de escala automático (el comportamiento predeterminado) porque los nodos nuevos que inician el escalado elástico no pueden recibir tareas nuevas y permanecen inactivos. Para usar XGBoost con una carga de trabajo por lotes, puedes establecer la propiedad spark.dynamicAllocation.enabled = false en un trabajo de Managed Service para Apache Spark para inhabilitar la asignación dinámica.

Bibliotecas de Python

La imagen 2.3-ml-ubuntu contiene las siguientes bibliotecas, que admiten diferentes etapas en el ciclo de vida del AA.

Paquete	Versión
acelerar	1.8.1
conda	23.11.0
cookiecutter	2.5.0
curl	8.12.1
cython	3.0.12
dask	2023.12.1
conjuntos de datos	3.6.0
deepspeed	0.17.2
delta-spark	3.2.0
evaluate	0.4.5
fastavro	1.9.7
fastparquet	2023.10.1
fiona	1.10.0
gateway-provisioners[yarn]	0.4.0
gcsfs	2023.12.2.post1
google-auth-oauthlib	1.2.2
google-cloud-aiplatform	1.88.0
google-cloud-bigquery[pandas]	3.31.0
google-cloud-bigquery-storage	2.30.0
google-cloud-bigtable	2.30.1
google-cloud-container	2.56.1
google-cloud-datacatalog	3.26.1
google-cloud-dataproc	5.18.1
google-cloud-datastore	2.21.0
google-cloud-language	2.17.2
google-cloud-logging	3.11.4
google-cloud-monitoring	2.27.2
google-cloud-pubsub	2.29.1
google-cloud-redis	2.18.1
google-cloud-spanner	3.53.0
google-cloud-speech	2.32.0
google-cloud-storage	2.19.0
google-cloud-texttospeech	2.25.1
google-cloud-translate	3.20.3
google-cloud-vision	3.10.2
huggingface_hub	0.33.1
httplib2	0.22.0
ipyparallel	8.6.1
ipython-sql	0.3.9
ipywidgets	8.1.7
jupyter_contrib_nbextensions	0.7.0
jupyter_http_over_ws	0.0.8
jupyter_kernel_gateway	2.5.2
jupyter_server	1.24.0
jupyterhub	4.1.6
jupyterlab	3.6.8
jupyterlab-git	0.44.0
jupyterlab_widgets	3.0.15
koalas	0.22.0
langchain	0.3.26
lightgbm	4.6.0
markdown	3.5.2
matplotlib	3.8.4
mlflow	3.1.1
nbconvert	7.14.2
nbdime	3.2.1
nltk	3.9.1
notebook	6.5.7
numba	0.58.1
numpy	1.26.4
oauth2client	4.1.3
onnx	1.17.0
openblas	0.3.25
opencv	4.11.0
orc	2.1.1
pandas	2.1.4
pandas-profiling	3.0.0
papermill	2.4.0
pyarrow	16.1.0
pydot	2.0.0
pyhive	0.7.0
pynvml	12.0.0
pysal	23.7
pytables	3.9.2
python	3.11
regex	25/12/2023
solicitudes	2.32.2
requests-kerberos	0.12.0
rtree	1.1.0
scikit-image	0.22.0
scikit-learn	1.5.2
scipy	1.11.4
seaborn	0.13.2
sentence-transformers	5.0.0
setuptools	79.0.1
shap	0.48.0
shapely	2.1.1
spacy	3.8.7
spark-tensorflow-distributor	1.0.0
spyder	5.5.6
sqlalchemy	2.0.41
sympy	1.13.3
tensorflow	2.18.0
tokenizadores	0.21.4.dev0
toree	0.5.0
antorcha	2.6.0
torch-model-archiver	0.11.1
torcheval	0.0.7
tornado	6.4.2
torchvision	0.21.0
traitlets	5.14.3
transformers	4.53.1
uritemplate	4.1.1
virtualenv	20.26.6
wordcloud	1.9.4
xgboost	2.1.4

Bibliotecas de R

Las siguientes versiones de la biblioteca de R se incluyen en la imagen 2.3-ml-ubuntu.

Nombre del paquete	Versión
r-ggplot2	3.4.4
r-irkernel	1.3.2
r-rcurl	1.98-1.16
r-recommended	4.3