Usar o Managed Service for Apache Spark com notebooks gerenciados

Usar o Managed Service for Apache Spark com notebooks gerenciados

Os notebooks gerenciados do Vertex AI Workbench foram descontinuados. Em 14 de abril de 2025, o suporte a notebooks gerenciados foi encerrado, e não será mais possível criar instâncias de notebooks gerenciados. As instâncias atuais vão continuar funcionando até 30 de março de 2026, mas os patches, atualizações e upgrades não estarão disponíveis. Para continuar usando o Vertex AI Workbench, recomendamos que você migre suas instâncias de notebooks gerenciados para instâncias do Vertex AI Workbench.

Visualizar

Este recurso está sujeito aos Termos das Soluções Pré-GA na seção Termos Gerais de Serviço dos Termos Específicos de Serviço. Os recursos pré-GA estão disponíveis "no estado em que se encontram" e podem ter suporte limitado. Para mais informações, consulte as descrições da fase de lançamento.

Nesta página, mostramos como executar um arquivo de notebook no Spark sem servidor em uma instância de notebooks gerenciados do Vertex AI Workbench usando Managed Service for Apache Spark.

Sua instância de notebooks gerenciados pode enviar um código de arquivo de notebook para ser executado no serviço Managed Service for Apache Spark. O serviço executa o código em uma infraestrutura de computação gerenciada que escalona automaticamente os recursos conforme necessário. Portanto, não é necessário provisionar e gerenciar seu próprio cluster.

As cobranças do Managed Service for Apache Spark se aplicam somente ao momento em que a carga de trabalho está em execução.

Requisitos

Para executar um arquivo de notebook no Managed Service for Apache Spark, consulte os requisitos a seguir.

• A sessão do Managed Service for Apache Spark precisa ser executada na mesma região da instância de notebooks gerenciados.

• A restrição "Requer login do SO" (constraints/compute.requireOsLogin) não pode estar ativada para seu projeto. Consulte Gerenciar o Login do SO em uma organização.

• Para executar um arquivo de notebook no Managed Service for Apache Spark, forneça uma conta de serviço com permissões específicas. É possível conceder essas permissões à conta de serviço padrão ou fornecer uma conta de serviço personalizada. Consulte a seção "Permissões desta página".

• A sessão do Managed Service for Apache Spark usa uma rede de nuvem privada virtual (VPC) para executar cargas de trabalho. A sub-rede VPC precisa atender a requisitos específicos. Consulte os requisitos em Managed Service for Apache Spark para configuração de rede do Spark.

Permissões

Para garantir que a conta de serviço tenha as permissões necessárias para executar um arquivo de notebook no Managed Service for Apache Spark, peça para o administrador conceder à conta de serviço o papel do IAM Dataproc Editor (roles/dataproc.editor) no seu projeto.

Importante: conceda esse papel à conta de serviço, não à sua conta de usuário. Se o papel não for concedido ao principal correto, poderão ocorrer erros de permissão.

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esse papel predefinido contém as permissões necessárias para executar um arquivo de notebook no Managed Service for Apache Spark. Para acessar as permissões exatas que são necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As permissões a seguir são necessárias para executar um arquivo de notebook no Managed Service for Apache Spark:

• dataproc.agents.create
• dataproc.agents.delete
• dataproc.agents.get
• dataproc.agents.update
• dataproc.session.create
• dataproc.sessions.get
• dataproc.sessions.list
• dataproc.sessions.terminate
• dataproc.sessions.delete
• dataproc.tasks.lease
• dataproc.tasks.listInvalidatedLeases
• dataproc.tasks.reportStatus

O administrador também pode conceder essas permissões à conta de serviço com papéis personalizados ou outros papéis predefinidos.

Antes de começar

Faça login na sua Google Cloud conta do. Se você começou a usar o Google Cloud, crie uma conta para avaliar o desempenho dos nossos produtos em situações reais. Clientes novos também recebem US $300 em créditos para executar, testar e implantar cargas de trabalho.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Notebooks, Vertex AI, and Managed Service for Apache Spark APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Notebooks, Vertex AI, and Managed Service for Apache Spark APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

1. Configure uma rede VPC se ainda não tiver feito isso, que atenda aos requisitos listados em Configuração de rede do Managed Service for Apache Spark.

Abrir JupyterLab

1. No Google Cloud console do, acesse a página Notebooks gerenciados.

   Acessar Notebooks gerenciados

2. Ao lado do nome da instância de notebooks gerenciados, clique em Abrir JupyterLab.

Iniciar uma sessão do Managed Service for Apache Spark

Para iniciar uma sessão do Managed Service for Apache Spark, siga estas etapas.

1. Na interface JupyterLab da instância de notebooks gerenciados, selecione a guia Acesso rápido e, em seguida, selecione Spark sem servidor. Se a guia Acesso rápido não estiver aberta, selecione Arquivo > Novo acesso rápido para abri-la.

   A caixa de diálogo Criar sessão do Spark sem servidor é exibida.

2. No campo Nome da sessão, insira um nome para sua sessão.

3. Na seção Configuração de execução, insira a conta de serviço que você quer usar. Se você não inserir uma conta de serviço, sua sessão usará a conta de serviço padrão do Compute Engine.

4. Na seção Configuração de rede, selecione Rede e Sub-rede que atenda aos requisitos listados em Configuração de rede do Managed Service for Apache Spark.

5. Clique em Criar.

   Um novo arquivo de notebook é aberto. A sessão do Managed Service for Apache Spark que você criou é o kernel que executa o código do arquivo de notebook.

Executar o código no Managed Service for Apache Spark e em outros kernels

1. Adicione o código ao novo arquivo do notebook e execute o código.

2. Para executar o código em um kernel diferente, altere o kernel.

3. Quando você quiser executar o código na sessão do Managed Service for Apache Spark novamente, altere o kernel de volta para o kernel do Managed Service for Apache Spark.

Encerrar a sessão do Managed Service for Apache Spark

É possível encerrar uma sessão do Managed Service for Apache Spark na interface do JupyterLab ou no Google Cloud console. O código no arquivo de notebook é preservado.

JupyterLab

1. No JupyterLab, feche o arquivo do notebook criado quando você criou a sessão do Managed Service for Apache Spark.

2. Na caixa de diálogo exibida, clique em Encerrar sessão.

Google Cloud Console do

1. No Google Cloud console do, acesse a página Sessões do Dataproc.

   Acessar as sessões do Dataproc

2. Selecione a sessão que você quer encerrar e clique em Encerrar.

Excluir a sessão do Managed Service for Apache Spark

É possível excluir uma sessão do Managed Service for Apache Spark usando o Google Cloud console. O código no arquivo de notebook é preservado.

1. No Google Cloud console do, acesse a página Sessões do Dataproc.

   Acessar as sessões do Dataproc

2. Selecione a sessão de dados que você quer excluir e clique em Excluir.

A seguir

• Saiba mais sobre o Managed Service for Apache Spark.