监控和排查交互式会话问题

本文档介绍了如何使用 Spark 界面监控 Serverless for Apache Spark 交互式会话 并排查其问题。

Spark 界面

Spark 界面会从 Serverless for Apache Spark 交互式会话中收集 Apache Spark 执行详情。Spark 界面功能是免费的， 并且默认处于启用状态。Spark 界面功能收集的数据会保留 90 天。

注意 ：Spark 界面还会收集和显示 Serverless for Apache Spark 批量工作负载的执行详情。如需了解详情，请参阅 监控批量工作负载并排查其问题 。

所需的 Identity and Access Management 权限和角色

如需将 Spark 界面功能与交互式 会话搭配使用，需要以下权限：

• 数据收集权限：dataproc.sessions.sparkApplicationWrite。必须向运行交互式会话的服务账号授予此 权限 。此权限包含在 Dataproc Worker 角色中，该角色会自动授予 Serverless for Apache Spark 默认使用的 Compute Engine 默认服务账号 。不过，如果您为会话或会话运行时模板指定了自定义服务账号，则必须将此 dataproc.sessions.sparkApplicationWrite 权限添加到该服务账号（通常是通过向该服务账号授予 Dataproc Worker 角色来实现）。

• Spark 界面访问权限：dataproc.sessions.sparkApplicationRead。必须向用户授予此 权限，才能在 Google Cloud 控制台中访问 Spark 界面。此权限包含在 Dataproc Viewer、Dataproc Editor 和 Dataproc Administrator 角色中。如需在 Google Cloud 控制台中打开 Spark 界面，您必须拥有 其中一个角色，或者拥有包含此权限的自定义角色。

打开 Spark 界面

Spark 界面页面位于 Google Cloud 控制台中。

1. 前往 Dataproc 交互式会话

2. 点击交互式会话 ID 以打开交互式会话详情 页面。
3. 点击顶部菜单中的查看 Spark 界面 。

“查看 Spark 界面”链接是否已停用？如果您未获得所需权限，或者在创建会话或创建会话运行时模板时，您在交互式会话详情页面上取消选中**启用 Spark 界面** 复选框，或将spark.dataproc.appContext.enabled 属性设置为 false（默认值：true），则**查看 Spark 界面** 按钮将处于停用状态。