Serverless for Apache Spark bietet zwei Stufen: eine Standardstufe und eine Premiumstufe (hohe Leistung). So können Kunden Leistungs anforderungen und Feature-Zugriff mit optimalen Kosten in Einklang bringen.
Vorteile der Premiumstufe
Die Premiumstufe unterscheidet sich von der Standardstufe durch zusätzliche Funktionen und Features. Die Premiumstufe bietet eine erweiterte Abfragebeschleunigung sowie eine beschleunigte Rechenleistung, Festplattenleistung und Arbeitsspeicherleistung die häufig für komplexe oder latenzempfindliche Arbeitslasten erforderlich sind.
Funktionen und Möglichkeiten der Premiumstufe
In der folgenden Tabelle sind die exklusiven Funktionen und Möglichkeiten der Premiumstufe von Serverless for Apache Spark aufgeführt.
| Funktion | Standard | Premium |
|---|---|---|
| Lightning Engine (Abfragebeschleunigung) |  |
(Standard: Aktiviert, außer für interaktive Sitzungen) |
| Interaktive Arbeitslasten (Sitzungen) | |
(Standard: Aktiviert) |
| Jobs mit vielen Shuffle-Vorgängen (Premium-Festplatte) | |
(Standard: Deaktiviert) |
| Arbeitsspeicherintensive Jobs (erweiterter Arbeitsspeicher) | |
(Standard: Deaktiviert) |
| GPU-Unterstützung | |
(Standard: Deaktiviert) |
| Batcharbeitslasten | ||
| Autoscaling | ||
| Serverless Spark-UI | ||
| Lineage, Sicherheit und Compliance (VPC-SC, CMEK) |
Batcharbeitslasten und -sitzungen der Premiumstufe
Für die folgenden Arbeitslasten und Sitzungen ist die Premiumstufe erforderlich:
- Lightning Engine: Die Lightning Engine ist exklusiv in der Premiumstufe verfügbar und ein wichtiges Feature, das die Spark-Leistung durch optimierte Abfrageausführung beschleunigt. Sie ist standardmäßig aktiviert, wenn Sie die Premiumstufe für Batcharbeitslasten auswählen, indem Sie die
dataproc.tierEigenschaft aufpremiumsetzen. - Interaktive Sitzungen: Interaktive Sitzungen werden automatisch als hochwertiges Premium-Feature behandelt. Sie werden über die Dataproc Sessions API initiiert und zum Premium-DCU-Preis abgerechnet. Sie bieten Funktionen wie Interaktivität mit geringer Latenz und Statusverwaltung. Für interaktive Sitzungen aktivieren Sie die Lightning Engine, indem Sie die
spark.dataproc.engineEigenschaft auflightningEnginesetzen. - GPU-Unterstützung: Die GPU-Unterstützung ist nur in der Premiumstufe verfügbar. Sie ist standardmäßig deaktiviert. Sie können sie über Konfigurationsflags aktivieren. Die GPU-Unterstützung verwendet eine spezielle Infrastruktur und wird zum Premium-DCU-Preis abgerechnet, ohne zusätzliche Rechenkosten.
Vorhersehbares Preismodell für die Premiumstufe
Die Premiumstufe verwendet ein vereinfachtes Pauschalpreismodell für die Kernfunktionen. Der Premium-DCU-Preis umfasst den Zugriff auf hochwertige Funktionen wie die Lightning Engine, erweiterten Arbeitsspeicher und die spezielle Infrastruktur, die für Jobs mit vielen Shuffle-Vorgängen erforderlich ist. Wenn Sie diese Funktionen über Konfigurationsflags aktivieren, sind sie im Premium-DCU-Grundpreis enthalten und verursachen keine zusätzlichen Rechenkosten. Das bedeutet, dass Sie einen einzigen, vorhersehbaren Premiumpreis für den Zugriff auf die gesamte Suite der erweiterten Funktionen der Premiumstufe zahlen.