Managed Service for Apache Spark には、標準 ティアとプレミアム （高パフォーマンス）ティアの 2 つのティアがあり、パフォーマンス要件と機能アクセスを最適なコストで調整できます。
プレミアム ティアのメリット
プレミアム ティアは、追加の機能によって標準ティアと区別されます。プレミアム ティアは、複雑なワークロードやレイテンシの影響を受けやすいワークロードで必要となることが多い、高度なクエリの高速化、コンピューティング、ディスク、メモリの高速化を提供します。
プレミアム ティアの機能
次の表に、Managed Service for Apache Spark 独自のプレミアム ティアの機能を示します。
| 機能 | 標準 | プレミアム |
|---|---|---|
| Lightning Engine（クエリの高速化） |  |
（デフォルト: 有効（インタラクティブ セッションを除く）） |
| インタラクティブ ワークロード（セッション） | |
（デフォルト: 有効） |
| シャッフル集中型ジョブ（プレミアム ディスク） | |
（デフォルト: 無効） |
| メモリ集中型ジョブ（拡張メモリ） | |
（デフォルト: 無効） |
| GPU のサポート | |
（デフォルト: 無効） |
| バッチ ワークロード | ||
| 自動スケーリング | ||
| サーバーレス Spark UI | ||
| リネージ、セキュリティ、コンプライアンス（VPC-SC、CMEK） |
プレミアム ティアのバッチ ワークロードとセッション
次のワークロードとセッションにはプレミアム ティアが必要です。
- Lightning Engine: プレミアム ティアでのみ使用できる Lightning Engine は、クエリ実行を最適化して Spark のパフォーマンスを加速する重要な機能です。
dataproc.tierプロパティをpremiumに設定してバッチ ワークロードにプレミアム ティアを選択すると、デフォルトで有効になります。 - インタラクティブ セッション: インタラクティブ セッションは、自動的に価値の高いプレミアム機能として扱われます。Managed Service for Apache Spark セッション API を介して開始され、プレミアム DCU レートで課金されます。低レイテンシのインタラクティブ性や状態管理などの機能が提供されます。インタラクティブ セッションの場合は、
spark.dataproc.engineプロパティをlightningEngineに設定して Lightning Engine を有効にします。 - GPU のサポート: GPU のサポートはプレミアム ティアでのみ利用できます。デフォルトでは無効になっています。構成フラグを使用して有効にします。GPU サポートは専用のインフラストラクチャを使用し、追加のコンピューティング費用なしでプレミアム DCU レートの対象となります。
予測可能なプレミアム ティアの料金モデル
プレミアム ティアでは、コア機能にシンプルな包括的料金モデルを使用しています。プレミアム DCU レートには、Lightning Engine、拡張メモリ、シャッフル集中型ジョブに必要な専用インフラストラクチャなどの価値の高い機能へのアクセスが含まれます。構成フラグを使用してこれらの機能を有効にすると、基本のプレミアム DCU レートに含まれ、追加のコンピューティング費用は発生しません 。つまり、プレミアム ティアの高度な機能の完全なスイートにアクセスするための料金は、予測可能な単一のプレミアム レートのみとなります。