Managed Service for Apache Spark 现在包含之前的“Managed Service for Apache Spark on Compute Engine”（集群部署）和之前的“Managed Service for Apache Spark”（无服务器部署）产品选项。
虽然无服务器和集群部署都提供托管式、高度可伸缩、可用于生产用途且安全的 Spark 环境，该环境与 OSS 兼容，并完全支持各种数据格式，但它们在底层基础设施的管理和资源结算方式方面存在差异。请查看以下功能和用例，以便选择 Spark 解决方案。
比较 Managed Service for Apache Spark 部署
下表列出了 Managed Service for Apache Spark 集群部署和无服务器部署之间的主要区别。
| 部署 | 无服务器 | 集群 |
|---|---|---|
| 处理框架 | 批处理工作负载和交互式会话：Spark | Spark。其他开源框架，例如 Hive、Flink、Trino 和 Kafka |
| 无服务器 | 是 | 否 |
| 启动时间 | 50s | 120 秒 |
| 基础架构控制 | 否 | 是 |
| 资源管理 | 无服务器 | YARN |
| GPU 支持 | 是 | 是 |
| 交互式会话 | 是 | 否 |
| 自定义容器 | 是 | 否 |
| 虚拟机访问权限 (SSH) | 否 | 是 |
| Java 版本 | Java 17, 21 | Java 17 及更低版本 |
确定最适合的 Managed Service for Apache Spark 部署
本部分概述了 Managed Service for Apache Spark 的核心优势和主要应用场景，可帮助您为 Spark 工作负载选择最佳的 Managed Service for Apache Spark 部署（集群或无服务器）。
概览
Managed Service for Apache Spark 部署在控制程度、基础设施管理和结算模式方面各有不同。
- 无服务器部署：Managed Service for Apache Spark 提供 Spark 作业即服务，在全托管式 Google Cloud基础架构上运行 Spark。您需要为作业运行时长付费。
- 集群部署：提供 Spark 集群即服务，在 Compute Engine 基础设施上运行 Managed Spark。您需要按集群正常运行时间付费。
由于这些差异，每个 Managed Service for Apache Spark 部署最适合以下应用场景：
| 部署 | 使用场景 |
|---|---|
| 无服务器 | 不同的专用作业环境 计划的批处理工作负载 代码管理优先于基础设施管理 |
| 集群 | 长时间运行的共享环境 需要对基础设施进行精细控制的工作负载 迁移旧版 Hadoop 和 Spark 环境 |
主要区别
| 功能 | 无服务器部署 | 集群部署 |
|---|---|---|
| 管理模式 | 全托管式无服务器执行环境。 | 基于集群。您负责预配和管理集群。 |
| 可控性和自定义 | 对基础设施的控制较少，重点在于提交代码和指定 Spark 参数。 | 更好地控制集群配置、机器类型和软件。能够使用 Spot 虚拟机，并重复使用预留和 Compute Engine 资源容量。适用于依赖于特定虚拟机机型（例如 CPU 架构）的工作负载。 |
| 使用场景 | 临时查询、交互式分析、新的 Spark 流水线以及资源需求不可预测的工作负载。 | 长时间运行的共享集群、使用自定义配置迁移现有 Hadoop 和 Spark 工作负载、需要深度自定义的工作负载。 |
| 操作开销 | 开销更低。 Google Cloud 负责管理基础设施、伸缩和预配，从而实现 NoOps 模型。Gemini Cloud Assist 让问题排查变得更轻松，而无服务器自动调节功能则有助于提供最佳性能。 |
开销较高，需要进行集群管理、伸缩和维护。 |
| 效率模型 | 无空闲计算开销：仅在作业运行时分配计算资源。无启动和关停费用。支持共享交互式会话，以提高效率。 | 通过共享的多租户模型在作业和团队之间共享集群，从而提高效率。 |
| 位置信息控制 | Managed Service for Apache Spark 支持区域级工作负载，无需额外费用即可提供额外的可靠性和可用性。 | 集群是可用区级集群。在创建集群期间，系统会自动选择可用区。 |
| 费用 | 仅根据 Spark 作业执行期间（不包括启动和拆解）消耗的资源计费。按使用的数据计算单元 (DCU) 和其他基础架构费用计费。 | 根据节点数量，按集群运行时间（包括启动和拆解）计费。包括 Managed Service for Apache Spark 许可费和基础设施费用。 |
| 承诺使用折扣 (CUD) | BigQuery 基于支出的 CUD 适用于 Managed Service for Apache Spark 作业。 | Compute Engine CUD 适用于所有资源用量。 |
| 映像和运行时控制 | 用户可以固定到 Managed Service for Apache Spark 运行时次要版本；次次要版本由 Managed Service for Apache Spark 管理。 | 用户可以固定到 Managed Service for Apache Spark 次要和子次要映像版本。 |
| 资源管理 | 无服务器 | YARN |
| GPU 支持 | 是 | 是 |
| 交互式会话 | 是 | 否 |
| 自定义容器 | 是 | 否 |
| 虚拟机访问权限 (SSH) | 否 | 是 |
| Java 版本 | Java 17、21 |
支持过往版本 |
| 启动时间 | 50s | 120 秒 |
何时选择无服务器部署
Managed Service for Apache Spark 无服务器部署可将复杂的集群管理工作抽象化，让您能够专注于 Spark 代码。因此，它非常适合在以下数据处理场景中使用：
- 临时和交互式分析：对于使用 Spark 运行交互式查询和探索性分析的数据科学家和分析师，无服务器模型提供了一种快速入门的方法，无需关注基础设施。
- 基于 Spark 的应用和流水线：在 Spark 上构建新的数据流水线或应用时，Managed Service for Apache Spark 可以消除集群管理的运维开销，从而显著加快开发速度。
- 需求间歇性或不可预测的工作负载：对于间歇性 Spark 作业或资源需求波动的作业，无服务器自动扩缩和按用量付费（根据作业资源消耗量收费）可以显著降低费用。
- 专注于提高开发者工作效率：Managed Service for Apache Spark 无需预配和管理集群，可加快业务逻辑的创建速度，更快地提供数据洞见，并提高工作效率。
- 简化运维并降低开销：Managed Service for Apache Spark 基础设施管理可减轻运维负担并降低成本。
何时选择集群部署
您可以使用 Managed Service for Apache Spark 集群部署来运行 Apache Spark 和其他开源数据处理框架。它具有高度的控制力和灵活性，因此在以下场景中是首选：
- 迁移现有 Hadoop 和 Spark 工作负载：支持将本地 Hadoop 或 Spark 集群迁移到 Google Cloud。只需对代码进行极少更改，即可复制现有配置，尤其是在使用旧版 Spark 时。
- 深度自定义和控制：支持自定义集群机器类型、磁盘大小和网络配置。这种控制级别对于性能调优以及优化复杂、长时间运行的作业的资源利用率至关重要。
- 长时间运行的永久性集群：支持持续、长时间运行的 Spark 作业，以及适用于多个团队和项目的永久性集群。
- 多样化的开源生态系统：提供统一的环境，可运行数据处理流水线，这些流水线将 Hadoop 生态系统工具（例如 Hive、Pig 或 Presto）与 Spark 工作负载结合使用。
- 安全合规性：能够控制基础架构，以满足特定的安全或合规性标准，例如保护个人身份信息 (PII) 或受保护健康信息 (PHI)。
- 基础架构灵活性：提供 Spot 虚拟机，并支持重复使用预留和 Compute Engine 资源容量，以平衡资源使用并助力您的云基础架构策略。
总结
是使用 Managed Service for Apache Spark 集群还是无服务器部署，取决于您的工作负载要求、运维偏好和首选控制级别。
- 选择 Managed Service for Apache Spark 无服务器，因为它易于使用，对于间歇性工作负载具有成本效益，并且能够消除基础设施管理开销，从而加快新 Spark 应用的开发速度。
- 如果您需要最大程度的控制、需要迁移 Hadoop 或 Spark 工作负载，或者需要一个永久性、自定义、共享的集群环境，请选择 Managed Service for Apache Spark 集群。
评估本部分中列出的因素后，选择最高效且最具成本效益的 Managed Service for Apache Spark 部署来运行 Spark，以充分释放数据的潜力。