Managed Service for Apache Spark bietet zwei Stufen: eine Standardstufe und eine Premiumstufe (hohe Leistung). So können Kunden Leistungsanforderungen und Funktionszugriff mit optimalen Kosten in Einklang bringen.
Vorteile der Premium-Stufe
Die Premium-Stufe unterscheidet sich von der Standardstufe durch zusätzliche Funktionen. Die Premium-Stufe bietet eine erweiterte Abfragebeschleunigung sowie eine beschleunigte Rechenleistung, Festplatten- und Arbeitsspeicherleistung, die häufig für komplexe oder latenzempfindliche Arbeitslasten erforderlich sind.
Funktionen der Premium-Stufe
In der folgenden Tabelle sind die exklusiven Premium-Funktionen und -Leistungsmerkmale von Managed Service for Apache Spark aufgeführt.
| Funktion | Standard | Premium |
|---|---|---|
| Lightning Engine (Abfragebeschleunigung) |  |
(Standard: Aktiviert, außer bei interaktiven Sitzungen) |
| Interaktive Arbeitslasten (Sitzungen) | |
(Standard: Aktiviert) |
| Shuffle-intensive Jobs (premium Disk) | |
(Standard: Deaktiviert) |
| Arbeitsspeicherintensive Jobs (erweiterter Arbeitsspeicher) | |
(Standard: Deaktiviert) |
| GPU-Unterstützung | |
(Standard: Deaktiviert) |
| Batch-Arbeitslasten | ||
| Autoscaling | ||
| Serverless Spark-UI | ||
| Lineage, Sicherheit und Compliance (VPC-SC, CMEK) |
Batcharbeitslasten und ‑sitzungen in der Premium-Stufe
Für die folgenden Arbeitslasten und Sitzungen ist die Premium-Stufe erforderlich:
- Lightning Engine:Die Lightning Engine ist ausschließlich in der Premium-Stufe verfügbar und eine wichtige Funktion, die die Spark-Leistung durch optimierte Abfrageausführung beschleunigt. Sie ist standardmäßig aktiviert, wenn Sie die Premium-Stufe für Batcharbeitslasten auswählen, indem Sie das Attribut
dataproc.tieraufpremiumsetzen. - Interaktive Sitzungen:Interaktive Sitzungen werden automatisch als hochwertiges Premium-Feature behandelt. Sie werden über die Managed Service for Apache Spark-Sitzungs-API initiiert und zum Premium-DCU-Tarif abgerechnet. Sie bieten Funktionen wie Interaktivität mit niedriger Latenz und Statusverwaltung. Bei interaktiven Sitzungen aktivieren Sie Lightning Engine, indem Sie die Eigenschaft
spark.dataproc.engineauflightningEnginesetzen. - GPU-Unterstützung:Die GPU-Unterstützung ist nur in der Premium-Stufe verfügbar. Es ist standardmäßig deaktiviert. Sie aktivieren sie über Konfigurationsflags. Für die GPU-Unterstützung ist eine spezielle Infrastruktur erforderlich. Sie wird durch den Premium-DCU-Tarif abgedeckt, ohne dass zusätzliche Compute-Kosten anfallen.
Kalkulierbares Preismodell für die Premium-Stufe
Für die Premium-Stufe wird ein vereinfachtes, pauschales Preismodell für die Kernfunktionen verwendet. Der Premium-DCU-Preis umfasst den Zugriff auf hochwertige Funktionen wie Lightning Engine, Extended Memory und die spezielle Infrastruktur, die für Shuffle-intensive Jobs erforderlich ist. Wenn Sie diese Funktionen über Konfigurations-Flags aktivieren, sind sie im Basis-Premium-DCU-Preis enthalten und verursachen keine zusätzlichen Rechenkosten. Das bedeutet, dass Sie einen einzigen, vorhersehbaren Premium-Preis für den Zugriff auf die gesamte Suite der erweiterten Funktionen der Premium-Stufe zahlen.