Managed Service for Apache Spark in Clustern – Übersicht

Mit Managed Service for Apache Spark auf Clustern können Sie Open-Source-Datentools für Batchverarbeitung, Abfragen, Streaming und maschinelles Lernen nutzen. Mithilfe der Automatisierung von Managed Service for Apache Spark auf Clustern lassen sich Cluster schnell erstellen, einfach verwalten und Kosten senken, da Sie nicht benötigte Cluster deaktivieren können. Außerdem haben Sie so die Möglichkeit, sich stärker auf Jobs und Daten zu konzentrieren.

Vorteile von Managed Service for Apache Spark auf Clustern

Im Vergleich zu herkömmlichen lokalen Produkten und konkurrierenden Cloud-Diensten bietet Managed Service for Apache Spark eine Reihe einzigartiger Vorteile für Cluster mit drei bis Hunderten von Knoten:

  • Kostengünstig : Bei Managed Service for Apache Spark auf Clustern fallen zusätzlich zu den Gebühren für die anderen von Ihnen genutzten Ressourcen Kosten von lediglich 1 Cent pro virtueller CPU im Cluster pro Stunde an. Google Cloud Zusätzlich zu diesem niedrigen Preis können Managed Service for Apache Spark-Cluster Instanzen auf Abruf mit niedrigeren Berechnungspreisen umfassen. Somit sind weitere Kosteneinsparungen möglich. Statt auf die nächste Stunde aufzurunden, berechnet Managed Service for Apache Spark auf Clustern lediglich die tatsächliche Nutzung. Die Abrechnung erfolgt pro Sekunde bei einem Mindestzeitraum von einer Minute.
  • Super schnell : Ohne die Verwendung von Managed Service for Apache Spark auf Clustern kann es zwischen fünf und 30 Minuten dauern, bis Spark- und Hadoop-Cluster vor Ort oder über IaaS-Anbieter erstellt werden. Im Vergleich dazu lassen sich Managed Service for Apache Spark-Cluster schnell starten, skalieren und herunterfahren. Jeder dieser Vorgänge nimmt im Durchschnitt weniger als 90 Sekunden in Anspruch. Aufgrund der geringen Wartezeiten in Verbindung mit Cluster-Vorgängen haben Sie nun mehr Zeit für die Bearbeitung von Daten.
  • Eingebunden : Managed Service for Apache Spark auf Clustern lässt sich in andere Dienste einbinden, z. B. BigQuery, Cloud Storage, Bigtable, Cloud Logging und Cloud Monitoring. Sie haben also mehr als nur einen Spark- oder Hadoop-Cluster. Sie haben eine komplette Datenplattform. Google Cloud Sie können Managed Service for Apache Spark auf Clustern beispielsweise dazu verwenden, um ETL-Terabyte von Log-Rohdaten mühelos und direkt in BigQuery für die Geschäftsberichterstattung zu importieren.
  • Verwaltet : Nutzen Sie Spark- und Hadoop-Cluster ohne die Unterstützung eines Administrators oder spezieller Software. Sie können über die Google Cloud Console, das Cloud SDK oder die REST API von Managed Service for Apache Spark auf Clustern mit Clustern und Spark- oder Hadoop-Jobs interagieren. Wenn Sie mit einem Cluster fertig sind, können Sie ihn deaktivieren, sodass Sie kein Geld für einen inaktiven Cluster ausgeben. Sie müssen sich keine Sorgen über Datenverluste machen, da Managed Service for Apache Spark in Cloud Storage, BigQuery und Bigtable eingebunden ist.
  • Einfach und vertraut : Sie müssen keine neuen Tools oder APIs erlernen, um Managed Service for Apache Spark auf Clustern verwenden zu können. So können Sie vorhandene Projekte ganz einfach ohne Neuentwicklung in Managed Service for Apache Spark auf Clustern verschieben. Spark, Hadoop, Pig und Hive werden häufig aktualisiert, sodass Sie schneller produktiv sein können.

Was ist in Managed Service for Apache Spark auf Clustern enthalten?

Eine Liste der von Managed Service for Apache Spark auf Clustern unterstützten Open-Source- (Hadoop, Spark, Hive und Pig) und Google Cloud Connector-Versionen finden Sie in den Versionslisten für Managed Service for Apache Spark-Cluster-Images.

Erste Schritte

Eine Anleitung für die ersten Schritte finden Sie in den Kurzanleitungen zu Managed Service for Apache Spark auf Clustern. Sie können auf folgende Arten auf Managed Service for Apache Spark auf Clustern zugreifen: