Provisioner in Cloud Data Fusion

I provisioner consentono di automatizzare la gestione del ciclo di vita dei cluster durante l'esecuzione di pipeline in diversi ambienti cloud. Creano il cluster di calcolo richiesto prima dell'inizio di un'esecuzione e lo eliminano al termine della pipeline.

Ogni provisioner fornisce impostazioni di configurazione per controllare le proprietà del cluster ed eseguire l'autenticazione con le piattaforme cloud di destinazione. Ad esempio, i provisioner per Managed Service for Apache Spark e Amazon EMR configurano le dimensioni del cluster e le credenziali necessarie per il provisioning dei nodi di calcolo.

Provisioner supportati in Cloud Data Fusion

Cloud Data Fusion supporta i seguenti provisioner:

Managed Service for Apache Spark
Un servizio cloud completamente gestito, veloce e facile da usare per l'esecuzione di cluster Apache Spark e Apache Hadoop.
Amazon Elastic MapReduce (EMR)
Fornisce un framework Hadoop gestito che elabora grandi quantità di dati su istanze Amazon EC2 scalabili dinamicamente.
Hadoop remoto
Esegue job su un cluster Hadoop preesistente, on-premise o nel cloud.