Serverless for Apache Spark には、標準ティアとプレミアム（高パフォーマンス）ティアの 2 つのティアが用意されています。これにより、お客様はパフォーマンス要件と機能へのアクセスを最適なコストで調整できます。
プレミアム ティアの特典
プレミアム ティアは、追加の機能によってスタンダード ティアと区別されます。プレミアム ティアは、複雑なワークロードやレイテンシに敏感なワークロードで必要となることが多い、高度なクエリ アクセラレーションと、高速化されたコンピューティング、ディスク、メモリを提供します。
プレミアム ティアの機能
次の表に、Apache Spark 用サーバーレスのプレミアム ティア専用の機能を示します。
| 機能 | 標準 | プレミアム |
|---|---|---|
| Lightning Engine（クエリの高速化） |  |
（デフォルト: インタラクティブ セッションを除く有効） |
| インタラクティブ ワークロード（セッション） | |
（デフォルト: 有効） |
| シャッフルを多用するジョブ（プレミアム ディスク） | |
（デフォルト: 無効） |
| メモリ使用量の多いジョブ（拡張メモリ） | |
（デフォルト: 無効） |
| GPU のサポート | |
（デフォルト: 無効） |
| バッチ ワークロード | ||
| 自動スケーリング | ||
| サーバーレス Spark UI | ||
| リネージ、セキュリティとコンプライアンス（VPC-SC、CMEK） |
プレミアム ティアのバッチ ワークロードとセッション
次のワークロードとセッションにはプレミアム ティアが必要です。
- Lightning Engine: プレミアム ティアでのみ利用可能な Lightning Engine は、最適化されたクエリ実行を通じて Spark のパフォーマンスを加速する重要な機能です。
dataproc.tierプロパティをpremiumに設定してバッチ ワークロードのプレミアム ティアを選択すると、デフォルトで有効になります。 - インタラクティブ セッション: インタラクティブ セッションは、価値の高いプレミアム機能として自動的に扱われます。これらは Dataproc セッション API を介して開始され、プレミアム DCU レートで課金されます。低レイテンシのインタラクティブ性や状態管理などの機能を提供します。インタラクティブ セッションの場合、
spark.dataproc.engineプロパティをlightningEngineに設定して Lightning Engine を有効にします。 - GPU サポート: GPU サポートはプレミアム ティアでのみ利用できます。デフォルトでは無効になっています。この機能は、構成フラグで有効にします。GPU サポートは特殊なインフラストラクチャを使用し、追加のコンピューティング費用なしでプレミアム DCU レートの対象となります。
予測可能なプレミアム ティアの料金モデル
プレミアム ティアでは、コア機能に簡素化された包括的な料金モデルが使用されます。プレミアム DCU 料金には、Lightning Engine、拡張メモリ、シャッフルを多用するジョブに必要な特殊なインフラストラクチャなどの高価値機能へのアクセスが含まれます。構成フラグを使用してこれらの機能を有効にすると、基本のプレミアム DCU レートに含まれ、追加のコンピューティング費用は発生しません。つまり、プレミアム ティアの高度な機能の完全なスイートにアクセスするための、予測可能な単一の保険料率を支払うことになります。