Managed Service for Apache Spark 文档
借助集群上的 Managed Service for Apache Spark,您可以充分利用开源数据工具来进行批处理、查询、流式传输和机器学习。Managed Service for Apache Spark 自动化功能可帮助您快速创建并轻松管理集群,以及在不需要集群时将其关闭以节省费用。这样一来,您就可以减少在管理方面花费的时间和金钱,专注于作业和数据。
使用 Managed Service for Apache Spark 无服务器运行 Spark 批处理工作负载,而无需预配和管理您自己的集群。指定工作负载参数,然后将工作负载提交到 Managed Service for Apache Spark 服务。该服务将在托管式计算基础架构上运行工作负载,并根据需要自动扩缩资源。Managed Service for Apache Spark 仅在执行工作负载时产生费用。
获享 $300 免费赠金开始概念验证
- 使用我们最新的生成式 AI 模型和工具进行开发。
- 免费使用 20 多款热门产品,包括 Compute Engine 和 AI API。
- 不会自动收费,无需承诺。
继续探索 20 多种提供“始终免费”用量的产品。
使用适用于常见应用场景(包括 AI API、虚拟机、数据仓库等)的 20 多种免费产品。
文档资源
相关资源
在 Google Kubernetes Engine 上运行 Spark 作业
从 Dataproc Jobs API 将 Spark 作业提交到正在运行的 Google Kubernetes Engine 集群。
Cloud Dataproc 简介:Google Cloud 上的 Hadoop 和 Spark
该课程包含讲座、演示和实操实验来创建 Dataproc 集群、提交 Spark 作业,然后关闭集群。
使用 Dataproc 上的 Spark 进行机器学习
本课程包含讲座、演示和实操实验,使用在 Dataproc 集群上运行的 Apache Spark 的机器学习库实现逻辑回归,从而针对多变量数据集中的数据开发模型。
管理 Apache Spark 的 Java 和 Scala 依赖项
向 Managed Service for Apache Spark 集群提交 Spark 作业时添加这些依赖项的建议方法。