Ambiente de execução do Serverless para Apache Spark 3.0

Consulte as notas da versão do Serverless para Apache Spark para conferir os avisos mais recentes sobre atualizações do ambiente de execução do Serverless para Apache Spark.

Componentes da versão 3.0 do ambiente de execução do Spark

Componente	3.0.0 2025/12/04	3.0.0-RC6 2025/10/16	3.0.0-RC5 2025/10/06	3.0.0-RC4 2025/09/11	3.0.0-RC3 2025/09/08
Apache Spark	4.0.0	4.0.0	4.0.0	4.0.0	4.0.0
Conector do Cloud Storage	3.1.9	3.1.5	3.1.5	3.1.5	3.1.5
Conector do BigQuery	0.43.1-preview	0.42.3	0.42.3	0.42.3	0.42.3
Java	21	21	21	21	21
Python	3.12	3.12	3.12	3.12	3.12
Scala	2.13	2.13	2.13	2.13	2.13

Observações:

Desative para linhas subsequentes com: * O ambiente de execução 3.0 usa UTF-8 como uma codificação de caracteres padrão.

• Novos recursos e melhorias do ambiente de execução 3.0:

  • As cargas de trabalho regionais e multizonais são usadas por padrão para aumentar a capacidade de obtenção de recursos de computação.
  • Inicialização mais rápida do que os tempos de execução anteriores
  • Limpeza rápida de recursos que permite a liberação mais rápida de IPs da VPC após a conclusão da carga de trabalho
  • As credenciais do usuário final são usadas para todas as cargas de trabalho por padrão
  • Novo catálogo do Spark bigquery, pré-configurado para interações de tabela nativa do BigQuery prontas para uso
  • Novos papéis do IAM específicos do Spark sem servidor
  • É necessário ativar a nova API dataproc-rm.googleapis.com

• Tempo de execução do 3.0 não compatível e funcionalidade descontinuada:

  • O servidor de histórico persistente (PHS) não é compatível. Em vez disso, use a interface do usuário do Spark.
  • Os lotes do SparkR não são compatíveis. Em vez disso, use sparklyr.
  • As sessões do Jupyter não são compatíveis. Em vez disso, use sessões do Spark Connect, o padrão do setor para desenvolvimento interativo do Spark.