Runtime 3.0 di Serverless per Apache Spark

Componenti della versione 3.0 del runtime Spark

Componente 3.0.0
2025/12/04		 3.0.0-RC6
2025/10/16
 3.0.0-RC5
2025/10/06		 3.0.0-RC4
2025/09/11		 3.0.0-RC3
2025/09/08
Apache Spark 4.0.0 4.0.0 4.0.0 4.0.0 4.0.0
Cloud Storage Connector 3.1.9 3.1.5 3.1.5 3.1.5 3.1.5
Connettore BigQuery 0.43.1-preview 0.42.3 0.42.3 0.42.3 0.42.3
Java 21 21 21 21 21
Python 3.12 3.12 3.12 3.12 3.12
Scala 2.13 2.13 2.13 2.13 2.13

Note:

Disattiva per le righe successive con: * Il runtime 3.0 utilizza UTF-8 come codifica caratteri predefinita.

  • 3.0 Nuove funzionalità e miglioramenti del runtime:

    • I workload regionali e multizona vengono utilizzati per impostazione predefinita per aumentare l'ottenibilità delle risorse di calcolo
    • Avvio più rapido rispetto ai runtime precedenti
    • Pulizia rapida delle risorse che consente il rilascio più rapido degli IP VPC dopo il completamento del carico di lavoro
    • Per impostazione predefinita, le credenziali utente finale vengono utilizzate per tutti i carichi di lavoro
    • Nuovo catalogo Spark bigquery preconfigurato per interazioni native con le tabelle BigQuery pronte all'uso
    • Nuovi ruoli IAM specifici per Spark Serverless
    • È richiesta la nuova abilitazione dell'API dataproc-rm.googleapis.com

  • Funzionalità non supportate e deprecate del runtime 3.0:

    • Il server di cronologia permanente (PHS) non è supportato. Utilizza invece l'interfaccia utente Spark.
    • I batch SparkR non sono supportati. Utilizza invece sparklyr.
    • Le sessioni Jupyter non sono supportate. Utilizza invece le sessioni Spark Connect, lo standard del settore per lo sviluppo interattivo di Spark.