集群上的 Managed Service for Apache Spark 概览

借助集群上的 Managed Service for Apache Spark,您可以充分利用开源数据工具来进行批处理、查询、流式传输和机器学习。集群上的 Managed Service for Apache Spark 自动化功能可帮助您快速创建并轻松管理集群,以及在不需要集群时将其关闭以节省费用。由于花在管理上的时间和费用减少,您可以将精力集中在实际的工作和数据上。

集群上的 Managed Service for Apache Spark 的优势

与传统的本地产品和竞争性云服务相比,Managed Service for Apache Spark 对于具有三个到数百个节点的集群提供许多独特优势:

  • 费用低廉 \- 集群上的 Managed Service for Apache Spark 的价格低廉(低于您使用的其他 Google Cloud 资源),您每小时只需为集群中的每个虚拟 CPU 支付 1 美分。除了价格低廉之外,Managed Service for Apache Spark 集群还可以包含抢占式实例,这些实例具有较低的计算价格,从而进一步降低您的费用。集群上的 Managed Service for Apache Spark 不会将您的使用量四舍五入为最接近的小时数,而是按照您的真实使用情况逐秒结算,结算周期低至一分钟。
  • 超高速 \- 在不使用集群上的 Managed Service for Apache Spark 的情况下,可能需要 5 到 30 分钟才能在本地或通过 IaaS 提供商创建 Spark 和 Hadoop 集群。相比之下,Managed Service for Apache Spark 集群可以快速启动、调节和关闭,平均每个操作需要 90 秒或更少的时间。这意味着您可以缩短等待集群响应的时间,将更多时间花在实际的数据处理上。
  • 集成 \- 集群上的 Managed Service for Apache Spark 还内置了与其他 Google Cloud 服务(例如 BigQueryCloud StorageBigtableCloud LoggingCloud Monitoring)的集成,因此,您拥有的不仅仅是一个 Spark 或 Hadoop 集群,而是一个完整的数据平台。例如,您可以使用集群上的 Managed Service for Apache Spark 轻松将数 TB 的原始日志数据直接 ETL 到 BigQuery 中,以便进行业务报告。
  • 托管 \- 无需借助管理员或特殊软件提供的帮助,即可使用 Spark 和 Hadoop 集群。您可以通过 Google Cloud 控制台、Cloud SDK 或集群上的 Managed Service for Apache Spark REST API,与集群及 Spark 或 Hadoop 作业进行交互。当您使用完一个集群时,只需将它关闭,这样您就不会为闲置的集群付费。您不必担心丢失数据,因为 Managed Service for Apache Spark 已与 Cloud StorageBigQueryBigtable 集成。
  • 简单而熟悉 \- 您无需学习新的工具或 API 即可使用集群上的 Managed Service for Apache Spark,因此可以轻松地将现有项目迁移到集群上的 Managed Service for Apache Spark(无需重新进行开发)。Spark、Hadoop、Pig 和 Hive 会频繁更新,因此您可以更快地提高工作效率。

集群上的 Managed Service for Apache Spark 中包含哪些内容?

如需查看集群上的 Managed Service for Apache Spark 支持的开源组件(Hadoop、Spark、Hive 和 Pig)和 Google Cloud 连接器版本的列表,请参阅 Managed Service for Apache Spark 集群映像版本列表

使用入门

如需开始使用,请参阅集群上的 Managed Service for Apache Spark 快速入门。您可以通过以下方式访问集群上的 Managed Service for Apache Spark: