Tempo de execução sem servidor para Apache Spark 3.0

Consulte as notas de lançamento do Serverless para Apache Spark para ver os avisos de atualização do tempo de execução do Serverless para Apache Spark mais recentes.

Componentes do tempo de execução do Spark, versão 3.0

Componente	3.0.1 2026/01/09	3.0.0 2025/12/04	3.0.0-RC6 2025/10/16	3.0.0-RC5 2025/10/06	3.0.0-RC4 2025/09/11
Apache Spark	4.0.0	4.0.0	4.0.0	4.0.0	4.0.0
Conector do Cloud Storage	3.1.9	3.1.9	3.1.5	3.1.5	3.1.5
Conetor do BigQuery	0.43.1-preview	0.43.1-preview	0.42.3	0.42.3	0.42.3
Java	21	21	21	21	21
Python	3.12	3.12	3.12	3.12	3.12
Scala	2.13	2.13	2.13	2.13	2.13

Notas:

• O tempo de execução do 3.0 usa o UTF-8 como uma codificação de carateres predefinida.

• 3.0 novas funcionalidades e melhorias de tempo de execução:

  • As cargas de trabalho regionais e multizonais são usadas por predefinição para aumentar a obtenção de recursos de computação
  • Arranque mais rápido do que os tempos de execução anteriores
  • Limpeza rápida de recursos que permite uma libertação mais rápida de IPs da VPC após a conclusão da carga de trabalho
  • As credenciais do utilizador final são usadas para todas as cargas de trabalho por predefinição
  • Novo catálogo do Spark, pré-configurado para interações de tabelas nativas do BigQuery prontas a usarbigquery
  • Novas funções de IAM específicas do Spark sem servidor
  • É necessária a ativação da nova API dataproc-rm.googleapis.com

• 3.0 tempo de execução, funcionalidade não suportada e descontinuada:

  • O servidor de histórico persistente (PHS) não é suportado. Em alternativa, use a IU do Spark.
  • Os lotes do SparkR não são suportados. Em alternativa, use sparklyr.
  • As sessões do Jupyter não são suportadas. Em alternativa, use sessões do Spark Connect, a norma da indústria para o desenvolvimento interativo do Spark.

Bibliotecas Python

Nota: não pode usar o Spark XGBoost distribuído numa carga de trabalho em lote sem servidor para o Apache Spark que tenha a escalabilidade automática ativada (o comportamento predefinido) porque os novos nós que iniciam a escalabilidade elástica não podem receber novas tarefas e permanecem inativos.

Para usar o XGBoost com uma carga de trabalho em lote, pode definir a propriedade spark.dynamicAllocation.enabled = false numa carga de trabalho em lote para desativar a atribuição dinâmica.

Nome do Pacote	Versão
acelerar	1.11
bigframes	2,24
cortador de biscoitos	2.6
cuda	12,9
cudnn	9.10
cython	3.1
dask	10/2025
dataproc-spark-connect	1.0.0
dataproc-ml	1.0.0rc1
conjuntos de dados	4,0
deepspeed	0,17
delta-spark	4.0.0
avaliar	0,4
fastavro	1.12
fastparquet	11/2024
gcsfs	2025.3
git	2,51
google-auth-oauthlib	1.2
google-cloud-aiplatform	1.121
google-cloud-bigquery	3.38
google-cloud-bigquery-storage	2.32
google-cloud-bigtable	2,34
google-cloud-container	2,59
google-cloud-datacatalog	3,27
google-cloud-dataproc	5,22
google-cloud-datastore	2.21
google-cloud-dlp	3.32
google-cloud-language	2,17
google-cloud-logging	3.12
google-cloud-monitoring	2,28
google-cloud-pubsub	2,31
google-cloud-redis	2.18
google-cloud-secret-manager	2,25
google-cloud-spanner	3,59
google-cloud-speech	2,33
google-cloud-storage	2,19
google-cloud-texttospeech	2,31
google-cloud-translate	3,21
google-cloud-vision	3.10
httplib2	0,31
huggingface_hub	0,36
ipyparallel	9,0
keyrings.google-artifactregistry-auth	1.1
langchain	1,0
lightgbm	4,6
mamba	2.3
markdown	3,9
nccl	2,27
nltk	3,9
nodejs	24,9
numba	0,61
numpy	2.1
oauth2client	4.1
onnx	1.17
openblas	0.3
opencv	4.11
orc	2.1
pandas	2.3
pyarrow	19,0
pydot	4,0
pyhive	0,7
pyiceberg	0,10
pymongo	4,15
pynvml	13,0
pytables	3.10
python	3.12
pytorch-gpu	2.6
regex	10/2025
pedidos	2.32
rtree	1,4
scikit-image	0,25
scikit-learn	1.7
scipy	1.15
seaborn	0,13
sentence-transformers	5.1
shap	0,48
spark-tensorflow-distributor	1,0
spacy	3,8
sqlalchemy	2,0
statsforecast	2,0
sympy	1.14
tensorflow-gpu	2.18
torcheval	0.0.7
tocha	2.6
torchvision	0,21
tornado	6.5
transformadores	4,57
uritemplate	4.2
virtualenv	20,35
wordcloud	1,9
xgboost	3.0.4
ydata-profiling	4.17