Dokumentation zu Managed Service for Apache Spark
Mit Managed Service for Apache Spark in Clustern können Sie Open-Source-Datentools für Batchverarbeitung, Abfragen, Streaming und maschinelles Lernen nutzen. Mithilfe der Automatisierung von Managed Service for Apache Spark lassen sich Cluster schnell erstellen, einfach verwalten und Kosten senken, da Sie nicht benötigte Cluster deaktivieren können. Da Sie weniger Zeit und Geld für die Verwaltung aufwenden, können Sie sich besser auf Ihre Jobs und Daten konzentrieren.
Mit Managed Service for Apache Spark Serverless können Sie Spark-Batcharbeitslasten ausführen, ohne Ihren eigenen Cluster bereitstellen und verwalten zu müssen. Geben Sie Arbeitslastparameter an und senden Sie die Arbeitslast dann an den Managed Service for Apache Spark-Dienst. Der Dienst führt die Arbeitslast auf einer verwalteten Computing-Infrastruktur aus und skaliert die Ressourcen automatisch nach Bedarf. Gebühren für Managed Service for Apache Spark fallen nur für den Zeitraum an, in dem die Arbeitslast ausgeführt wird.
Weitere Informationen finden Sie auf der Produktseite zu Managed Service for Apache Spark.
Proof of Concept mit einem Guthaben in Höhe von 300 $ starten
- Nutzen Sie unsere neuesten generativen KI-Modelle und Tools für die Entwicklung.
- Sie können mehr als 20 beliebte Produkte wie Compute Engine und KIAI APIs kostenlos nutzen.
- Keine automatischen Abbuchungen, keine Verpflichtung.
Mehr als 20 Produkte immer kostenlos nutzen.
Sie haben Zugriff auf mehr als 20 kostenlose Produkte für gängige Anwendungsfälle, darunter KI-APIs, VMs, Data Warehouses und mehr.
Dokumentationsressourcen
Leitfäden
-
Kurzanleitungen: Cluster erstellen, Apache Spark-Batcharbeitslast senden, oder Spark-Job in Google Kubernetes Engine ausführen
Weitere Informationen
Spark-Job in Google Kubernetes Engine ausführen
Spark-Jobs über die Dataproc Jobs API an einen ausgeführten Google Kubernetes Engine-Cluster senden
Einführung in Cloud Dataproc: Hadoop und Spark in Google Cloud
Dieser Kurs enthält eine Kombination aus Vorträgen, Demos und praxisorientierten Labs zum Erstellen eines Dataproc-Clusters, zum Senden eines Spark-Jobs und zum anschließenden Herunterfahren des Clusters.
Maschinelles Lernen mit Spark in Dataproc
Dieser Kurs bietet eine Kombination aus Vorträgen, Demos und praxisorientierten Labs zur Implementierung der logistischen Regression mit einer ML-Bibliothek von Apache Spark, das in einem Dataproc-Cluster ausgeführt wird. So können Sie ein Modell für Daten aus einem multivariaten Dataset entwickeln.
Lokale HDFS-Daten zu Google Cloud migrieren
Informationen zum Verschieben von Daten aus einem lokalen Hadoop Distributed File System (HDFS) zu Google Cloud.
Java- und Scala-Abhängigkeiten für Apache Spark verwalten
Empfohlene Ansätze zum Einbinden von Abhängigkeiten, wenn Sie einen Spark-Job an einen Managed Service for Apache Spark-Cluster senden.