Provisioner in Cloud Data Fusion

Mit Provisionern können Sie die Verwaltung des Clusterlebenszyklus automatisieren, wenn Sie Pipelines in verschiedenen Cloud-Umgebungen ausführen. Sie erstellen den erforderlichen Compute-Cluster vor Beginn einer Ausführung und entfernen ihn nach Abschluss der Pipeline.

Jeder Provisioner bietet Konfigurationseinstellungen zum Steuern von Clustereigenschaften und zum Authentifizieren bei Ziel-Cloud-Plattformen. Provisioner für Managed Service for Apache Spark und Amazon EMR konfigurieren beispielsweise die Clustergröße und die Anmeldedaten, die zum Bereitstellen von Compute-Knoten erforderlich sind.

Unterstützte Provisioner in Cloud Data Fusion

Cloud Data Fusion unterstützt die folgenden Provisioner:

Managed Service for Apache Spark
Ein schneller, nutzerfreundlicher und vollständig verwalteter Cloud-Dienst zum Ausführen von Apache Spark- und Apache Hadoop-Clustern.
Amazon Elastic MapReduce (EMR)
Bietet ein verwaltetes Hadoop-Framework, das große Datenmengen auf dynamisch skalierbaren Amazon EC2-Instanzen verarbeitet.
Remote Hadoop
Führt Jobs auf einem bereits vorhandenen Hadoop-Cluster aus, entweder lokal oder in der Cloud.