Managed Service for Apache Spark には、スタンダード ティアとプレミアム（ハイ パフォーマンス）ティアの 2 つのティアがあります。これらの階層により、パフォーマンス要件と機能アクセスを最適な費用に合わせることができます。
プレミアム ティアの特典
プレミアム ティアは、追加の機能によってスタンダード ティアと差別化されています。プレミアム ティアでは、高度なクエリ アクセラレーションと、複雑なワークロードやレイテンシに敏感なワークロードで必要とされることが多いコンピューティング、ディスク、メモリの高速化が提供されます。
プレミアム ティアの機能
次の表に、Managed Service for Apache Spark 専用のプレミアム ティアの機能を示します。
| 機能 | 標準 | プレミアム |
|---|---|---|
| Lightning Engine（クエリの高速化） |  |
（デフォルト: 有効。インタラクティブ セッションを除く） |
| インタラクティブ ワークロード（セッション） | |
（デフォルト: 有効） |
| シャッフルを多用するジョブ（プレミアム ディスク） | |
（デフォルト: 無効） |
| メモリを大量に消費するジョブ（拡張メモリ） | |
（デフォルト: 無効） |
| GPU のサポート | |
（デフォルト: 無効） |
| バッチ ワークロード | ||
| 自動スケーリング | ||
| サーバーレス Spark UI | ||
| リネージ、セキュリティ、コンプライアンス（VPC-SC、CMEK） |
プレミアム ティアのバッチ ワークロードとセッション
次のワークロードとセッションには、プレミアム ティアが必要です。
- Lightning Engine: プレミアム ティアでのみ利用可能な Lightning Engine は、最適化されたクエリ実行によって Spark のパフォーマンスを高速化する重要な機能です。
dataproc.tierプロパティをpremiumに設定してバッチ ワークロードのプレミアム ティアを選択すると、デフォルトで有効になります。 - インタラクティブ セッション: インタラクティブ セッションは、価値の高いプレミアム機能として自動的に扱われます。これらは Managed Service for Apache Spark セッション API を介して開始され、プレミアム DCU 料金で課金されます。低レイテンシのインタラクティブ性や状態管理などの機能を提供します。インタラクティブ セッションの場合、
spark.dataproc.engineプロパティをlightningEngineに設定して Lightning Engine を有効にします。 - GPU のサポート: GPU のサポートは、プレミアム ティアでのみ利用できます。デフォルトでは無効になっています。この機能は、構成フラグを使用して有効にします。GPU サポートは専用のインフラストラクチャを使用し、プレミアム DCU 料金が適用されます。追加のコンピューティング費用は発生しません。
予測可能なプレミアム ティアの料金モデル
プレミアム ティアでは、コア機能に簡素化されたオールインクルーシブの料金モデルが使用されます。プレミアム DCU 料金には、Lightning Engine、拡張メモリ、シャッフルを多用するジョブに必要な専用インフラストラクチャなどの高価値機能へのアクセスが含まれます。構成フラグを使用してこれらの機能を有効にすると、基本のプレミアム DCU 料金に含まれ、追加のコンピューティング費用は発生しません。つまり、予測可能な単一のプレミアム料金を支払うことで、プレミアム ティアの高度な機能一式にアクセスできます。