Managed Service for Apache Spark には、スタンダード ティアとプレミアム （高パフォーマンス）ティアの 2 つのティアが用意されています。これにより、パフォーマンス要件と機能へのアクセスを最適なコストで調整できます。
プレミアム ティアの特典
プレミアム ティアは、追加の機能によってスタンダード ティアと区別されます。プレミアム ティアは、複雑なワークロードやレイテンシの影響を受けやすいワークロードで必要となることが多い、高度なクエリの高速化、コンピューティング、ディスク、メモリの高速化を提供します。
プレミアム ティアの機能
次の表に、Managed Service for Apache Spark のプレミアム ティア専用の機能を示します。
| 機能 | 標準 | プレミアム |
|---|---|---|
| Lightning Engine（クエリの高速化） |  |
（デフォルト: 有効（インタラクティブ セッションを除く）） |
| インタラクティブ ワークロード（セッション） | |
（デフォルト: 有効） |
| シャッフル処理の多いジョブ（プレミアム ディスク） | |
（デフォルト: 無効） |
| メモリ使用量の多いジョブ（拡張メモリ） | |
（デフォルト: 無効） |
| GPU のサポート | |
（デフォルト: 無効） |
| バッチ ワークロード | ||
| 自動スケーリング | ||
| サーバーレス Spark UI | ||
| リネージ、セキュリティ、コンプライアンス（VPC-SC、CMEK） |
プレミアム ティアのバッチ ワークロードとセッション
次のワークロードとセッションにはプレミアム ティアが必要です。
- Lightning Engine: プレミアム ティアでのみ使用できる Lightning Engine は、クエリ実行を最適化して Spark のパフォーマンスを高速化する重要な機能です。
dataproc.tierプロパティをpremiumに設定してバッチ ワークロードにプレミアム ティアを選択すると、デフォルトで有効になります。 - インタラクティブ セッション: インタラクティブ セッションは、自動的に高価値のプレミアム機能として扱われます。Managed Service for Apache Spark セッション API を介して開始され、プレミアム DCU レートで課金されます。低レイテンシのインタラクティブ性や状態管理などの機能が提供されます。インタラクティブ セッションの場合は、
spark.dataproc.engineプロパティをlightningEngineに設定して Lightning Engine を有効にします。 - GPU のサポート: GPU のサポートはプレミアム ティアでのみ使用できます。デフォルトでは無効になっています。構成フラグを使用して有効にします。GPU サポートは専用のインフラストラクチャを使用し、追加のコンピューティング費用なしでプレミアム DCU レートの対象となります。
予測可能なプレミアム ティアの料金モデル
プレミアム ティアでは、コア機能にシンプルな包括的な料金モデルが使用されます。プレミアム DCU レートには、Lightning Engine、拡張メモリ、シャッフル処理の多いジョブに必要な専用インフラストラクチャなどの高価値機能へのアクセスが含まれます。構成フラグを使用してこれらの機能を有効にすると、基本のプレミアム DCU レートに含まれ、追加のコンピューティング費用は発生しません 。つまり、プレミアム ティアの高度な機能の完全なスイートにアクセスするための料金は、予測可能な単一のプレミアム レートのみとなります。