Versões de imagem de lançamento 2.3.x

Componente	2.3.37-debian12/ -ubuntu22/ -ubuntu22-arm/ -ml-ubuntu22/ -rocky9 2026/09/30	2.3.36-debian12/ -ubuntu22/ -ubuntu22-arm/ -ml-ubuntu22/ -rocky9 2026/09/04	2.3.35-debian12/ -ubuntu22/ -ubuntu22-arm/ -ml-ubuntu22/ -rocky9 2026/08/19	2.3.34-debian12/ -ubuntu22/ -ubuntu22-arm/ -ml-ubuntu22/ -rocky9 2026/07/15	2.3.33-debian12/ -ubuntu22/ -ubuntu22-arm/ -ml-ubuntu22/ -rocky9 2026/06/30
Apache Atlas ^ação de inicialização	2.2.0	2.2.0	2.2.0	2.2.0	2.2.0
Apache Flink ^componente opcional	1.17.0	1.17.0	1.17.0	1.17.0	1.17.0
Apache Hadoop ^instalado	3.3.6	3.3.6	3.3.6	3.3.6	3.3.6
Apache Hive ^instalado	3.1.3	3.1.3	3.1.3	3.1.3	3.1.3
Apache Hive WebHCat ^componente opcional	3.1.3	3.1.3	3.1.3	3.1.3	3.1.3
Apache Hudi ^componente opcional	0.15.0	0.15.0	0.15.0	0.15.0	0.15.0
Apache Iceberg ^componente opcional	1.6.1	1.6.1	1.6.1	1.6.1	1.6.1
Apache Kafka ^ação de inicialização	3.1.0	3.1.0	3.1.0	3.1.0	3.1.0
Componente opcional ^Apache Pig	0.18.0-SNAPSHOT	0.18.0-SNAPSHOT	0.18.0-SNAPSHOT	0.18.0-SNAPSHOT	0.18.0-SNAPSHOT
Apache Spark ^instalado	3.5.3	3.5.3	3.5.3	3.5.3	3.5.3
Apache Sqoop ^ação de inicialização	1.5.0-SNAPSHOT	1.5.0-SNAPSHOT	1.5.0-SNAPSHOT	1.5.0-SNAPSHOT	1.5.0-SNAPSHOT
Apache Tez ^instalado	0.10.2	0.10.2	0.10.2	0.10.2	0.10.2
Conector do BigQuery ^instalado	0.42.3	0.42.3	0.42.3	0.42.3	0.42.3
Cloud Storage Connector ^instalado	3.1.13	3.1.13	3.1.13	3.1.13	3.1.13
Conscrypt ^instalado	2.5.2	2.5.2	2.5.2	2.5.2	2.5.2
Componente opcional ^Delta Lake	3.2.1	3.2.1	3.2.1	3.2.1	3.2.1
Docker ^componente opcional	28.1	28.1	28.1	28.1	28.1
Hue ^ação de inicialização	4.11.0	4.11.0	4.11.0	4.11.0	4.11.0
Java ^instalado	11	11	11	11	11
Notebook JupyterLab ^componente opcional	3.6	3.6	3.6	3.6	3.6
Oozie ^ação de inicialização	5.2.1	5.2.1	5.2.1	5.2.1	5.2.1
Python ^instalado	micromamba 2.0.5 com Python 3.11	micromamba 2.0.5 com Python 3.11	micromamba 2.0.5 com Python 3.11	micromamba 2.0.5 com Python 3.11	micromamba 2.0.5 com Python 3.11
R ^instalado	R 4.3	R 4.3	R 4.3	R 4.3	R 4.3
Ranger ^componente opcional	2.4.0	2.4.0	2.4.0	2.4.0	2.4.0
Scala ^instalado	2.12.18	2.12.18	2.12.18	2.12.18	2.12.18
Solr ^componente opcional	9.4.1	9.4.1	9.4.1	9.4.1	9.4.1
Trino ^Trino	432	432	432	432	432
Notebook Zeppelin ^componente opcional	0.10.1	0.10.1	0.10.1	0.10.1	0.10.1
Zookeeper ^componente opcional	3.9.5	3.9.5	3.9.5	3.9.5	3.9.5

Observações:

• A versão 2.3 é uma imagem leve que contém apenas componentes principais, reduzindo a exposição a vulnerabilidades e exposições comuns (CVEs). Para requisitos de conformidade de segurança mais altos, use a versão de imagem 2.3 ou posterior ao criar um cluster do Serviço Gerenciado para Apache Spark.

• Se você optar por instalar componentes opcionais ao criar um cluster do Serviço Gerenciado para Apache Spark com a imagem 2.3, eles serão baixados e instalados durante a criação do cluster. Isso pode aumentar o tempo de inicialização do cluster. Para evitar esse atraso, crie uma imagem personalizada com os componentes opcionais pré-instalados. Para isso, execute generate_custom_image.py com a flag --optional-components.

  Observação: especifique os componentes opcionais que você quer instalar ao criar o cluster. Para mais informações, consulte Adicionar componentes opcionais.
  O exemplo a seguir mostra o comando da Google Cloud CLI para criar um cluster com componentes opcionais:

  gcloud dataproc clusters create CLUSTER_NAME
      --optional-components=COMPONENT_NAME \
      ... other flags
  

• As versões de imagem 2.3.32, 2.3.36 e mais recentes não têm canais Conda pré-configurados. Não é possível instalar pacotes usando o Conda, a menos que os canais sejam configurados manualmente durante a inicialização do cluster. Além disso, os clusters da versão de imagem 2.3 que têm canais Conda pré-configurados, incluindo 2.3.35 e versões de imagem anteriores, mas excluindo 2.3.32, não poderão ser usados após 25 de agosto de 2026.

  • Talvez seja necessário excluir e substituir os clusters atuais. Após 25 de agosto de 2026, os clusters criados com imagens que têm canais do Conda pré-configurados, mesmo que os jobs do cluster não usem o Conda para instalar pacotes, precisarão ser excluídos e substituídos por novos clusters criados ou recriados com imagens que não têm canais do Conda pré-configurados.

• Os seguintes componentes opcionais são compatíveis com imagens 2.3 que não são do Arm:

  • Apache Flink
  • Apache Hive WebHCat
  • Apache Hudi
  • Apache Iceberg
  • Apache Pig
  • Delta Lake
  • Docker
  • Notebook do JupyterLab
  • Ranger
  • Solr
  • Trino
  • Notebook do Zeppelin
  • Zookeeper

• As imagens do 2.3.x-*-arm são compatíveis apenas com os componentes pré-instalados e os seguintes componentes opcionais. Os outros componentes opcionais do 2.3 e todas as ações de inicialização não são compatíveis:

  • Apache Hive WebHCat
  • Apache Pig (a partir de 2.3.22-ubuntu22-arm)
  • Docker
  • Notebook do Zeppelin
  • Zookeeper (instalado em clusters de alta disponibilidade; componente opcional em outros clusters)

• Lightning Engine e execução de consulta nativa no ARM: compatível com imagens 2.3-ubuntu22-arm.

• O yarn.nodemanager.recovery.enabled e o registro de auditoria do HDFS são ativados por padrão nas imagens 2.3.

• micromamba, em vez de conda em versões anteriores da imagem, é instalado como parte da instalação do Python.

• Versão do Apache Iceberg: nas imagens 2.3, o Apache Iceberg está disponível nas versões 1.6.1 e 1.10. A versão padrão é 1.6.1. A partir da versão de imagem 2.3.35, os clusters 2.3 criados com o Lightning Engine ativado usam a versão 1.10 do Iceberg por padrão. Para especificar a versão do Iceberg em qualquer cluster 2.3, defina a propriedade do cluster dataproc:dataproc.iceberg.version como 1.10 (ou 1.6) durante a criação do cluster.

• Problemas de instalação do Docker e do Zeppelin:

  • A instalação vai falhar se o cluster não tiver acesso público à Internet. Como alternativa, crie um cluster que use uma imagem personalizada com componentes opcionais pré-instalados. Para isso, execute generate_custom_image.py com a flag --optional-components.
  • A instalação pode falhar se o cluster estiver fixado em uma versão de imagem sub-minor mais antiga: os pacotes são instalados sob demanda de repositórios OSS públicos, e um pacote pode não estar disponível upstream para dar suporte à instalação. Como alternativa, crie um cluster que use uma imagem personalizada com componentes opcionais pré-instalados. Para fazer isso, execute generate_custom_image.py com a flag --optional-components.

• A calculadora de recursos padrão para YARN foi alterada de DefaultResourceCalculator para DominantResourceCalculator, que usa o conceito de recurso dominante para determinar a alocação de recursos, como alocação de memória e CPU. Essa mudança afeta o escalonador automático, que faz o escalonamento com base no uso de recursos dominante do cluster.

Componentes de machine learning (ML) da versão 2.3 da imagem

A imagem 2.3-ml-ubuntu do Serviço Gerenciado para Apache Spark estende a imagem base 2.3 com software específico de ML. Ele oferece suporte a componentes opcionais de imagem 2.3 e outros recursos 2.3, além de adicionar as versões de componentes listadas nas seções a seguir.

Bibliotecas específicas da GPU

Para jobs do Serviço Gerenciado para Apache Spark que usam VMs com GPU, o seguinte driver e bibliotecas da NVIDIA estão disponíveis na imagem 2.3-ml-ubuntu. É possível usá-los para realizar as seguintes tarefas:

• Acelere as cargas de trabalho em lote do Spark com a biblioteca NVIDIA Spark Rapids
• Treinar cargas de trabalho de machine learning
• Executar inferência em lote distribuída usando o Spark

Nome do pacote	Versão
Spark Rapids	25.04.0
Driver NVIDIA	Ubuntu 22.04 LTS acelerado com o driver NVIDIA versão 570
CUDA	12.6.3
cublas	12.6.4
cusolver	11.7.1
cupti	12.6.80
cusparse	12.5.4
cuDNN	9.10.1
NCCL	2.27.5

Bibliotecas XGBoost

As seguintes versões do pacote Maven estão disponíveis na imagem 2.3-ml-ubuntu para que você use o XGBoost com o Spark em Java ou Scala.

ID do grupo	Nome do pacote	Versão
ml.dmlc	xgboost4j-gpu_2.12	2.1.1
ml.dmlc	xgboost4j-spark-gpu_2.12	2.1.1

Observação: não é possível usar o XGBoost do Spark distribuído em um job do Serviço Gerenciado para Apache Spark com escalonamento automático (o comportamento padrão), porque os novos nós que iniciam o escalonamento elástico não podem receber novas tarefas e permanecem ociosos. Para usar o XGBoost com uma carga de trabalho em lote, defina a propriedade spark.dynamicAllocation.enabled = false em um job do Serviço Gerenciado para Apache Spark para desativar a alocação dinâmica.

Bibliotecas do Python

A imagem 2.3-ml-ubuntu contém as seguintes bibliotecas, que oferecem suporte a diferentes etapas no ciclo de vida do ML.

Pacote	Versão
acelerar	1.8.1
conda	23.11.0
cookiecutter	2.5.0
curl	8.12.1
cython	3.0.12
dask	2023.12.1
conjuntos de dados	3.6.0
deepspeed	0.17.2
delta-spark	3.2.0
evaluate	0.4.5
fastavro	1.9.7
fastparquet	2023.10.1
fiona	1.10.0
gateway-provisioners[yarn]	0.4.0
gcsfs	2023.12.2.post1
google-auth-oauthlib	1.2.2
google-cloud-aiplatform	1.88.0
google-cloud-bigquery[pandas]	3.31.0
google-cloud-bigquery-storage	2.30.0
google-cloud-bigtable	2.30.1
google-cloud-container	2.56.1
google-cloud-datacatalog	3.26.1
google-cloud-dataproc	5.18.1
google-cloud-datastore	2.21.0
google-cloud-language	2.17.2
google-cloud-logging	3.11.4
google-cloud-monitoring	2.27.2
google-cloud-pubsub	2.29.1
google-cloud-redis	2.18.1
google-cloud-spanner	3.53.0
google-cloud-speech	2.32.0
google-cloud-storage	2.19.0
google-cloud-texttospeech	2.25.1
google-cloud-translate	3.20.3
google-cloud-vision	3.10.2
huggingface_hub	0.33.1
httplib2	0.22.0
ipyparallel	8.6.1
ipython-sql	0.3.9
ipywidgets	8.1.7
jupyter_contrib_nbextensions	0.7.0
jupyter_http_over_ws	0.0.8
jupyter_kernel_gateway	2.5.2
jupyter_server	1.24.0
jupyterhub	4.1.6
jupyterlab	3.6.8
jupyterlab-git	0.44.0
jupyterlab_widgets	3.0.15
coalas	0.22.0
langchain	0.3.26
lightgbm	4.6.0
markdown	3.5.2
matplotlib	3.8.4
mlflow	3.1.1
nbconvert	7.14.2
nbdime	3.2.1
nltk	3.9.1
notebook	6.5.7
numba	0.58.1
numpy	1.26.4
oauth2client	4.1.3
onnx	1.17.0
openblas	0.3.25
opencv	4.11.0
orc	2.1.1
pandas	2.1.4
pandas-profiling	3.0.0
fábrica de papel	2.4.0
pyarrow	16.1.0
pydot	2.0.0
pyhive	0.7.0
pynvml	12.0.0
pysal	23,7
pytables	3.9.2
python	3.11
Regex	25/12/2023
solicitações	2.32.2
requests-kerberos	0.12.0
rtree	1.1.0
scikit-image	0.22.0
scikit-learn	1.5.2
scipy	1.11.4
seaborn	0.13.2
sentence-transformers	5.0.0
setuptools	79.0.1
shap	0.48.0
shapely	2.1.1
spacy	3.8.7
spark-tensorflow-distributor	1.0.0
spyder	5.5.6
sqlalchemy	2.0.41
sympy	1.13.3
tensorflow	2.18.0
tokenizers	0.21.4.dev0
toree	0.5.0
lanterna	2.6.0
torch-model-archiver	0.11.1
torcheval	0.0.7
tornado	6.4.2
torchvision	0.21.0
traitlets	5.14.3
transformadores	4.53.1
uritemplate	4.1.1
virtualenv	20.26.6
wordcloud	1.9.4
XGBoost	2.1.4

Bibliotecas R

As seguintes versões da biblioteca R estão incluídas na imagem 2.3-ml-ubuntu.

Nome do pacote	Versão
r-ggplot2	3.4.4
r-irkernel	1.3.2
r-rcurl	1.98-1.16
r-recommended	4.3