Provisionadores no Cloud Data Fusion

Os provisionadores permitem automatizar o gerenciamento do ciclo de vida do cluster ao executar pipelines em diferentes ambientes de nuvem. Eles criam o cluster de computação necessário antes do início de uma execução e o encerram após a conclusão do pipeline.

Cada provisionador oferece configurações para controlar as propriedades do cluster e fazer a autenticação com plataformas de nuvem de destino. Por exemplo, os provisionadores do Serviço Gerenciado para Apache Spark e do Amazon EMR configuram o tamanho do cluster e as credenciais necessárias para provisionar nós de computação.

Provisionadores com suporte no Cloud Data Fusion

O Cloud Data Fusion oferece suporte aos seguintes provisionadores:

Serviço Gerenciado para Apache Spark
Um serviço de nuvem rápido, fácil de usar e totalmente gerenciado para executar clusters do Apache Spark e do Apache Hadoop.
Amazon Elastic MapReduce (EMR)
Fornece um framework Hadoop gerenciado que processa grandes quantidades de dados em instâncias do Amazon EC2 escalonáveis dinamicamente.
Hadoop remoto
Executa jobs em um cluster Hadoop preexistente, no local ou na nuvem.