Übersicht über die Bereitstellung von Managed Service for Apache Spark-Clustern

Im Clusterbereitstellungsmodus von Managed Service for Apache Spark können Sie Open- Source-Datentools für Batchverarbeitung, Abfragen, Streaming und maschinelles Lernen nutzen. Mithilfe der Automatisierung von Managed Service for Apache Spark lassen sich Cluster schnell erstellen, einfach verwalten und Kosten senken, weil Sie nicht mehr benötigte Cluster deaktivieren können. Da Sie weniger Zeit und Geld für die Verwaltung aufwenden, können Sie sich besser auf Ihre Jobs und Daten konzentrieren.

Vorteile des Clusterbereitstellungsmodus von Managed Service for Apache Spark

Im Vergleich zu herkömmlichen lokalen Produkten und konkurrierenden Cloud Diensten bietet Managed Service for Apache Spark eine Reihe einzigartiger Vorteile für Cluster mit drei bis Hunderten von Knoten:

  • Kostengünstig – Bei Managed Service for Apache Spark fallen zusätzlich zu den Gebühren für die anderen von Ihnen genutzten Cloud Platform-Ressourcen Kosten von lediglich 1 Cent pro virtueller CPU im Cluster pro Stunde an. Zusätzlich zu diesem niedrigen Preis können Managed Service for Apache Spark-Cluster Instanzen auf Abruf mit niedrigeren Berechnungspreisen umfassen. Somit sind weitere Kosteneinsparungen möglich. Statt auf die nächste Stunde aufzurunden, berechnet Managed Service for Apache Spark lediglich die tatsächliche Nutzung. Die Abrechnung erfolgt pro Sekunde bei einem Mindestzeitraum von einer Minute.
  • Super schnell – Ohne die Verwendung von Managed Service for Apache Spark kann es zwischen fünf und 30 Minuten dauern, bis Spark- und Hadoop-Cluster vor Ort oder über IaaS-Anbieter erstellt werden. Im Vergleich dazu lassen sich Managed Service for Apache Spark-Cluster schnell starten, skalieren und herunterfahren. Jeder dieser Vorgänge nimmt im Durchschnitt weniger als 90 Sekunden in Anspruch. Aufgrund der geringen Wartezeiten in Verbindung mit Cluster-Vorgängen haben Sie nun mehr Zeit für die Bearbeitung von Daten.
  • Eingebunden – Managed Service for Apache Spark lässt sich in andere Dienste der Google Cloud Platform einbinden, z. B. BigQuery, Cloud Storage, Cloud Bigtable, Cloud Logging und Cloud Monitoring. Sie haben also mehr als nur einen Spark- oder Hadoop-Cluster. Sie haben eine komplette Datenplattform. Sie können Managed Service for Apache Spark beispielsweise dazu verwenden, um ETL-Terabyte von Log-Rohdaten mühelos und direkt in BigQuery für die Geschäftsberichterstattung zu importieren.
  • Verwaltet – Nutzen Sie Spark- und Hadoop-Cluster ohne die Unterstützung eines Administrators oder spezieller Software. Sie können ganz einfach mit Clustern und Spark- oder Hadoop-Jobs über die Google Cloud Console, das Cloud SDK oder die Managed Service for Apache Spark REST API interagieren. Wenn Sie mit einem Cluster fertig sind, können Sie ihn einfach deaktivieren, sodass Sie kein Geld für einen inaktiven Cluster ausgeben. Sie müssen sich keine Sorgen über Datenverluste machen, da Managed Service for Apache Spark in Cloud Storage, BigQuery und Cloud Bigtable eingebunden ist.
  • Einfach und vertraut – Sie müssen keine neuen Tools oder APIs erlernen, um Managed Service for Apache Spark verwenden zu können. So können Sie vorhandene Projekte ganz einfach ohne Neuentwicklung in Managed Service for Apache Spark verschieben. Spark, Hadoop, Pig und Hive werden häufig aktualisiert, sodass Sie schneller produktiv sein können.

Was ist im Clusterbereitstellungsmodus von Managed Service for Apache Spark enthalten?

Eine Liste der von Managed Service for Apache Spark unterstützten Open-Source- (Hadoop, Spark, Hive und Pig) und Google Cloud Connector-Versionen finden Sie in den Versionslisten für Clusterimages von Managed Service for Apache Spark.

Erste Schritte

Eine Kurzanleitung für den Einstieg finden Sie in den Kurzanleitungen für Managed Service for Apache Spark. Sie können auf den Clusterbereitstellungsmodus von Managed Service for Apache Spark auf folgende Arten zugreifen: