监控和排查交互式会话问题

本文档介绍了如何使用 Spark 界面监控和排查 Managed Service for Apache Spark 互动式会话的问题。

Spark 界面

Spark 界面会从 Managed Service for Apache Spark 互动式会话中收集 Apache Spark 执行详情。Spark 界面功能默认处于启用状态，且免费提供。Spark 界面功能收集的数据会保留 90 天。

注意： Spark 界面还会收集并显示 Managed Service for Apache Spark 批量工作负载的执行详情。如需了解详情，请参阅监控和排查批量工作负载问题。

所需的 Identity and Access Management 权限和角色

如需在交互式会话中使用 Spark 界面功能，需要以下权限：

• 数据收集权限：dataproc.sessions.sparkApplicationWrite。必须向运行交互式会话的服务账号授予此权限。此权限包含在 Managed Service for Apache Spark Worker 角色中，该角色会自动授予 Managed Service for Apache Spark 默认使用的 Compute Engine 默认服务账号。不过，如果您为会话或会话运行时模板指定自定义服务账号，则必须向该服务账号添加此 dataproc.sessions.sparkApplicationWrite 权限（通常是通过向该服务账号授予 Managed Service for Apache Spark Worker 角色）。

• Spark 界面访问权限：dataproc.sessions.sparkApplicationRead。必须向用户授予此权限，才能在Google Cloud 控制台中访问 Spark 界面。此权限包含在 Dataproc Viewer、Dataproc Editor 和 Dataproc Administrator 角色中。如需在 Google Cloud 控制台中打开 Spark 界面，您必须拥有上述角色之一，或者拥有包含此权限的自定义角色。

打开 Spark 界面

您可以在 Google Cloud 控制台中打开 Spark 界面页面。

1. 前往 Managed Service for Apache Spark 互动式会话

2. 点击交互式会话 ID 以打开交互式会话详情页面。
3. 点击顶部菜单中的 View Spark UI。

“查看 Spark 界面”链接是否处于停用状态？如果您未获得必需的权限，或者在创建会话或创建会话运行时模板时，您在交互式会话详情页面上清除了启用 Spark 界面复选框，或者将 spark.dataproc.appContext.enabled 属性设置为 false（默认值：true），则查看 Spark 界面按钮将处于停用状态。