Serverless for Apache Spark には、スタンダード ティアと プレミアム （高パフォーマンス）ティアの 2 つのティアが用意されています。これにより、お客様はパフォーマンス 要件と機能へのアクセスを最適なコストで調整できます。
プレミアム ティアのメリット
プレミアム ティアは、追加された機能によってスタンダード ティア と区別されます。プレミアム ティアでは、 高度なクエリの高速化、複雑なワークロードやレイテンシの影響を受けやすいワークロードで必要となることが多いコンピューティング、ディスク、メモリの高速化 が提供されます。
プレミアム ティアの機能
次の表に、Serverless for Apache Spark のプレミアム ティア専用の機能を示します。
| 機能 | 標準 | プレミアム |
|---|---|---|
| Lightning Engine（クエリの高速化） |  |
（デフォルト: 有効（インタラクティブ セッションを除く）） |
| インタラクティブ ワークロード（セッション） | |
（デフォルト: 有効） |
| シャッフル集中型ジョブ（プレミアム ディスク） | |
（デフォルト: 無効） |
| メモリ集中型ジョブ（拡張メモリ） | |
（デフォルト: 無効） |
| GPU のサポート | |
（デフォルト: 無効） |
| **バッチ ワークロード** | ||
| 自動スケーリング | ||
| サーバーレス Spark UI | ||
| リネージ、セキュリティ、コンプライアンス（VPC-SC、CMEK） |
プレミアム ティアのバッチ ワークロードとセッション
次のワークロードとセッションにはプレミアム ティアが必要です。
- Lightning Engine: プレミアム ティアでのみ使用できる Lightning Engine は、最適化されたクエリ実行によって Spark のパフォーマンスを高速化する重要な機能です。
dataproc.tierプロパティをpremiumに設定してバッチ ワークロードにプレミアム ティアを選択すると、デフォルトで有効になります。 - インタラクティブ セッション: インタラクティブ セッションは、自動的に高価値のプレミアム機能として扱われます。Dataproc Sessions API を介して開始され、プレミアム DCU レートで課金されます。低レイテンシのインタラクティブ性や状態管理などの機能が提供されます。インタラクティブ セッションの場合は、
spark.dataproc.engineプロパティをlightningEngineに設定して Lightning Engine を有効にします。 - GPU のサポート: GPU のサポートはプレミアム ティアでのみ使用できます。デフォルトでは無効になっています。構成フラグを使用して有効にします。GPU のサポートでは専用のインフラストラクチャが使用され、追加のコンピューティング費用なしでプレミアム DCU レートが適用されます。
予測可能なプレミアム ティアの料金モデル
プレミアム ティアでは、コア機能にシンプルな包括的料金モデルが使用されます。プレミアム DCU レートには、Lightning Engine、拡張メモリ、シャッフル集中型ジョブに必要な専用インフラストラクチャなどの高価値機能へのアクセスが含まれます。構成フラグを使用してこれらの機能を有効にすると、基本のプレミアム DCU レートに含まれ、追加のコンピューティング費用は発生しません 。つまり、プレミアム ティアの高度な機能の完全なスイートにアクセスするために、予測可能な単一のプレミアム レートを支払うことになります。