Ambiente de execução do Serverless para Apache Spark 3.0

Consulte as notas da versão do Serverless para Apache Spark para conferir os avisos mais recentes de atualização do ambiente de execução do Serverless para Apache Spark.

Componentes da versão 3.0 do ambiente de execução do Spark

Componente	3.0.7 2026/02/13	3.0.5 2026/02/06	3.0.4 2026/01/30	3.0.3 2026/01/23	3.0.1 2026/01/09
Apache Spark	4.0.0	4.0.0	4.0.0	4.0.0	4.0.0
Conector do Cloud Storage	3.1.9	3.1.9	3.1.9	3.1.9	3.1.9
Conector do BigQuery	0.43.1-preview	0.43.1-preview	0.43.1-preview	0.43.1-preview	0.43.1-preview
Java	21	21	21	21	21
Python	3.12	3.12	3.12	3.12	3.12
Scala	2.13	2.13	2.13	2.13	2.13

Observações:

• O ambiente de execução 3.0 usa o UTF-8 como codificação de caracteres padrão.

• Novos recursos e melhorias do ambiente de execução 3.0:

  • As cargas de trabalho regionais e multizonais são usadas por padrão para aumentar a capacidade de obtenção de recursos de computação.
  • Inicialização mais rápida do que os tempos de execução anteriores
  • Limpeza rápida de recursos que permite a liberação mais rápida de IPs da VPC após a conclusão da carga de trabalho
  • As credenciais do usuário final são usadas para todas as cargas de trabalho por padrão
  • Novo catálogo do Spark bigquery, pré-configurado para interações de tabela nativa do BigQuery prontas para uso
  • Novos papéis do IAM específicos do Spark sem servidor
  • É necessário ativar a nova API dataprocrm.googleapis.com

• Tempo de execução do 3.0 sem suporte e funcionalidade descontinuada:

  • O servidor de histórico permanente (PHS) não é compatível. Em vez disso, use a interface do usuário do Spark.
  • Os lotes do SparkR não são compatíveis. Em vez disso, use sparklyr.
  • As sessões do Jupyter não são compatíveis. Em vez disso, use as sessões do Spark Connect, o padrão do setor para desenvolvimento interativo do Spark.

Bibliotecas do Python

Observação: não é possível usar o XGBoost distribuído do Spark em uma carga de trabalho em lote do Serverless para Apache Spark com o escalonamento automático ativado (o comportamento padrão), porque novos nós que iniciam o escalonamento elástico não podem receber novas tarefas e permanecem inativos.

Para usar o XGBoost com uma carga de trabalho em lote, defina a propriedade spark.dynamicAllocation.enabled = false em uma carga de trabalho em lote para desativar a alocação dinâmica.

Nome do pacote	Versão
acelerar	1.11
bigframes	2,24
cookiecutter	2,6
cuda	12,9
cudnn	9.10
cython	3.1
dask	2025.10
dataproc-spark-connect	1.0.0
dataproc-ml	1.0.0rc1
conjuntos de dados	4.0
deepspeed	0,17
delta-spark	4.0.0
evaluate	0,4
fastavro	1.12
fastparquet	2024.11
gcsfs	2025.3
git	2,51
google-auth-oauthlib	1.2
google-cloud-aiplatform	1.121
google-cloud-bigquery	3,38
google-cloud-bigquery-storage	2,32
google-cloud-bigtable	2,34
google-cloud-container	2,59
google-cloud-datacatalog	3,27
google-cloud-dataproc	5,22
google-cloud-datastore	2,21
google-cloud-dlp	3,32
google-cloud-language	2,17
google-cloud-logging	3.12
google-cloud-monitoring	2,28
google-cloud-pubsub	2,31
google-cloud-redis	2,18
google-cloud-secret-manager	2,25
google-cloud-spanner	3,59
google-cloud-speech	2.33
google-cloud-storage	2,19
google-cloud-texttospeech	2,31
google-cloud-translate	3,21
google-cloud-vision	3.10
httplib2	0,31
huggingface_hub	0.36
ipyparallel	9,0
keyrings.google-artifactregistry-auth	1.1
langchain	1.0
lightgbm	4,6
mamba	2.3
markdown	3,9
nccl	2,27
nltk	3,9
nodejs	24,9
numba	0.61
numpy	2.1
oauth2client	4.1
onnx	1.17
openblas	0,3
opencv	4.11
orc	2.1
pandas	2.3
pyarrow	19,0
pydot	4.0
pyhive	0,7
pyiceberg	0,10
pymongo	4,15
pynvml	13.0
pytables	3.10
python	3.12
pytorch-gpu	2,6
Regex	2025.10
solicitações	2,32
rtree	1.4
scikit-image	0,25
scikit-learn	1,7
scipy	1.15
seaborn	0,13
sentence-transformers	5.1
shap	0,48
spark-tensorflow-distributor	1.0
spacy	3,8
sqlalchemy	2.0
statsforecast	2.0
sympy	1.14
tensorflow-gpu	2,18
torcheval	0.0.7
lanterna	2,6
torchvision	0,21
tornado	6,5
transformadores	4,57
uritemplate	4.2
virtualenv	20,35
wordcloud	1.9
XGBoost	3.0.4
ydata-profiling	4,17