Panoramica di Dataproc su GKE

Dataproc su GKE consente di eseguire applicazioni di Big Data utilizzando l' API jobsdi Dataproc sui cluster GKE. Utilizza la Google Cloud console, Google Cloud CLI o l'API Dataproc (richiesta HTTP o librerie client Cloud) per creare un cluster virtuale Dataproc su GKE, quindi invia un job Spark, PySpark, SparkR o Spark SQL al servizio Dataproc.

Dataproc su GKE supporta le versioni di Spark 3.5.

Come funziona Dataproc su GKE

Dataproc su GKE esegue il deployment di cluster virtuali Dataproc su un cluster GKE. A differenza dei cluster Dataproc su Compute Engine, i cluster virtuali Dataproc su GKE non includono VM master e worker separate. Quando crei un cluster virtuale Dataproc su GKE, Dataproc su GKE crea invece pool di nodi all'interno di un cluster GKE. I job Dataproc su GKE vengono eseguiti come pod in questi pool di nodi. I pool di nodi e la pianificazione dei pod nei pool di nodi sono gestiti da GKE.