Managed Service for Apache Spark ti consente di archiviare ed elaborare i dati dei workload utilizzando Hadoop Distributed File System (HDFS) e Cloud Storage in parallelo. Con il connettore Cloud Storage preinstallato, puoi trasferire dati in entrata e in uscita dai tuoi cluster, personalizzando al contempo lo spazio di archiviazione su disco delle VM sottostanti in base ai requisiti di prestazioni dei job.
Opzioni e considerazioni di archiviazione
Le seguenti funzionalità e considerazioni possono essere importanti quando selezioni le opzioni di computing e archiviazione dei dati per i cluster e i job di Managed Service for Apache Spark:
- HDFS con Cloud Storage: Managed Service for Apache Spark utilizza Hadoop Distributed File System (HDFS) per l'archiviazione. Inoltre, Managed Service for Apache Spark installa automaticamente il connettore Cloud Storage compatibile con HDFS, che consente l'utilizzo di Cloud Storage in parallelo con HDFS. I dati possono essere spostati in entrata e in uscita da un cluster tramite caricamento e download su HDFS o Cloud Storage.
- Dischi VM:
- Per impostazione predefinita, se non vengono forniti SSD locali, i dati HDFS e i dati di shuffle intermedi vengono archiviati sui dischi di avvio delle VM, che sono Persistent Disk.
- Se utilizzi SSD locali, i dati HDFS e i dati di shuffling intermedi vengono archiviati sugli SSD.
- Le dimensioni e il tipo di disco permanente (DP) influiscono sulle prestazioni e sulle dimensioni della VM, indipendentemente dall'utilizzo di HDFS o Cloud Storage per l'archiviazione dei dati.
- I dischi di avvio delle VM vengono eliminati quando viene eliminato il cluster.