대화형 세션 모니터링 및 문제 해결

이 문서에서는 Spark UI를 사용하여 Managed Service for Apache Spark 대화형 세션 을 모니터링하고 문제를 해결하는 방법을 설명합니다.

Spark UI

Spark UI는 Managed Service for Apache Spark 대화형 세션에서 Apache Spark 실행 세부정보를 수집합니다. Spark UI 기능은 기본적으로 사용 설정되어 있으며 무료로 사용 가능합니다. Spark UI 기능에서 수집한 데이터는 90일 동안 보관됩니다.

필요한 Identity and Access Management 권한 및 역할

대화형 세션에서 Spark UI 기능을 사용하려면 다음 권한이 필요합니다.

  • 데이터 수집 권한: dataproc.sessions.sparkApplicationWrite. 이 권한은 대화형 세션을 실행하는 서비스 계정에 부여되어야 합니다. 이 권한은 Managed Service for Apache Spark Worker 역할에 포함되어 있으며, Managed Service for Apache Spark에서 기본적으로 사용하는 Compute Engine 기본 서비스 계정 에 자동으로 부여됩니다. 그러나 세션 또는 세션 런타임 템플릿에 커스텀 서비스 계정 을 지정하는 경우에는 일반적으로 서비스 계정에 Managed Service for Apache Spark Worker 역할을 부여하여 이 dataproc.sessions.sparkApplicationWrite 권한을 해당 서비스 계정에 추가해야 합니다.

  • Spark UI 액세스 권한: dataproc.sessions.sparkApplicationRead. 콘솔에서 Spark UI에 액세스하려면 사용자에게 이 권한을 부여해야 합니다. Google Cloud 이 권한은 Dataproc Viewer, Dataproc Editor 및 Dataproc Administrator 역할에 포함되어 있습니다. 콘솔에서 Spark UI를 열려면 이러한 역할 중 하나가 있거나 이 권한이 포함된 맞춤 역할이 있어야 합니다. Google Cloud

Spark UI 열기

Spark UI 페이지는 Google Cloud 콘솔에서 사용할 수 있습니다.

  1. Managed Service for Apache Spark 대화형 세션으로 이동합니다.

  2. 대화형 세션 ID 를 클릭하여 대화형 세션 세부정보 페이지를 엽니다.
  3. 상단 메뉴에서 Spark UI 보기를 클릭합니다.

Spark UI 보기 링크가 중지되었나요? 필요한 권한이 부여되지 않거나 대화형 세션 세부정보 페이지에서 세션을 만들거나 세션 런타임 템플릿을 만들 때 Spark UI 사용 설정 체크박스를 선택 해제하거나 spark.dataproc.appContext.enabled 속성을 false (기본값: true)로 설정하면 Spark UI 보기 버튼이 중지됩니다.