Il deployment serverless di Managed Service per Apache Spark ti consente di eseguire workload Spark senza dover eseguire il provisioning e gestire il tuo cluster Managed Service per Apache Spark. Esistono due modi per eseguire i workload di Managed Service per Apache Spark: workload batch e sessioni interattive.
Workload batch
Invia un workload batch utilizzando la Google Cloud console, Google Cloud CLI o l'API REST. Managed Service per Apache Spark esegue il carico di lavoro su un'infrastruttura di calcolo gestita, scalando automaticamente le risorse in base alle esigenze. Gli addebiti si applicano solo al periodo di esecuzione del workload.
Funzionalità dei workload batch
Puoi eseguire i seguenti tipi di workload batch:
- PySpark
- Spark SQL
- Spark R
- Spark (Java o Scala)
Puoi specificare le proprietà di Spark quando invii un workload batch.
Pianificare i workload batch
Puoi pianificare un workload batch di Spark come parte di un Airflow o Cloud Composer utilizzando un operatore batch Airflow. Per ulteriori informazioni, consulta Eseguire i workload di Managed Service per Apache Spark con Cloud Composer.
Inizia
Per iniziare, consulta Eseguire un workload batch di Apache Spark.
Sessioni interattive
Scrivi ed esegui il codice nei notebook Jupyter durante una sessione interattiva. Puoi creare una sessione di notebook nei seguenti modi:
Esegui il codice PySpark nei notebook di BigQuery Studio. Apri un notebook Python di BigQuery per creare una sessione interattiva di Managed Service per Apache Spark basata su Spark Connect. Ogni notebook BigQuery può avere associata una sola sessione di Managed Service per Apache Spark attiva.
Utilizza il plug-in JupyterLab per creare più sessioni di notebook Jupyter da modelli che crei e gestisci. Quando installi il plug-in su una macchina locale o su una VM Compute Engine, nella pagina di avvio di JupyterLab vengono visualizzate diverse schede che corrispondono a diverse configurazioni del kernel Spark. Fai clic su una scheda per creare una sessione di notebook di Managed Service per Apache Spark, quindi inizia a scrivere e testare il codice nel notebook.
Il plug-in JupyterLab ti consente anche di utilizzare la pagina di avvio di JupyterLab per eseguire le seguenti azioni:
- Crea cluster Managed Service per Apache Spark.
- Invia job ai cluster.
- Visualizza i log di Spark. Google Cloud
Conformità ai requisiti di sicurezza
Managed Service per Apache Spark rispetta tutti i requisiti di residenza dei dati, CMEK, VPC-SC, e altri requisiti di sicurezza con cui Managed Service per Apache Spark è conforme.