Usar o Serverless para Apache Spark com notebooks gerenciados

Usar o Serverless para Apache Spark com notebooks gerenciados

Os notebooks gerenciados do Vertex AI Workbench foram descontinuados. Em 14 de abril de 2025, o suporte a notebooks gerenciados foi encerrado, e não é mais possível criar instâncias de notebooks gerenciados. As instâncias atuais vão continuar funcionando até 30 de março de 2026, mas patches, atualizações e upgrades não estarão disponíveis. Para continuar usando o Vertex AI Workbench, recomendamos que você migre suas instâncias de notebooks gerenciados para instâncias do Vertex AI Workbench.

Pré-lançamento

Este recurso está sujeitos aos "Termos das Soluções Pré-GA" na seção Termos Gerais de Serviço dos Termos Específicos de Serviço. Os recursos pré-GA estão disponíveis no estado em que se encontram e podem ter suporte limitado. Para mais informações, consulte as descrições das fases de lançamento.

Nesta página, mostramos como executar um arquivo de notebook no Spark sem servidor em uma instância de notebooks gerenciados do Vertex AI Workbench usando o Google Cloud sem servidor para Apache Spark.

Sua instância de notebooks gerenciados pode enviar um código de arquivo de notebook para ser executado no serviço sem servidor para Apache Spark. O serviço executa o código em uma infraestrutura de computação gerenciada que escalona automaticamente os recursos conforme necessário. Portanto, não é necessário provisionar e gerenciar seu próprio cluster.

As cobranças do Serverless para Apache Spark se aplicam somente ao momento em que a carga de trabalho está em execução.

Requisitos

Para executar um arquivo de notebook no Serverless para Apache Spark, consulte os requisitos a seguir.

• A sessão sem servidor para Apache Spark precisa ser executada na mesma região da instância de notebooks gerenciados.

• A restrição "Requer login do SO" (constraints/compute.requireOsLogin) não pode estar ativada para seu projeto. Consulte Gerenciar o Login do SO em uma organização

• Para executar um arquivo de notebook no Serverless para Apache Spark, forneça uma conta de serviço com permissões específicas. É possível conceder essas permissões à conta de serviço padrão ou fornecer uma conta de serviço personalizada. Consulte a seção "Permissões desta página".

• A sessão do Serverless para Apache Spark usa uma rede de nuvem privada virtual (VPC) para executar cargas de trabalho. A sub-rede VPC precisa atender a requisitos específicos. Consulte os requisitos em Google Cloud Serverless para Apache Spark para configuração de rede do Spark.

Permissões

Para garantir que a conta de serviço tenha as permissões necessárias para executar um arquivo de notebook no Serverless para Apache Spark, peça ao administrador para conceder a ela o papel do IAM de Editor do Dataproc (roles/dataproc.editor) no projeto.

Importante:conceda esse papel à conta de serviço, não à sua conta de usuário. Se a função não for concedida ao principal correto, poderão ocorrer erros de permissão.

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esse papel predefinido contém as permissões necessárias para executar um arquivo de notebook no Serverless para Apache Spark. Para acessar as permissões exatas necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As permissões a seguir são necessárias para executar um arquivo de notebook no Serverless para Apache Spark:

• dataproc.agents.create
• dataproc.agents.delete
• dataproc.agents.get
• dataproc.agents.update
• dataproc.session.create
• dataproc.sessions.get
• dataproc.sessions.list
• dataproc.sessions.terminate
• dataproc.sessions.delete
• dataproc.tasks.lease
• dataproc.tasks.listInvalidatedLeases
• dataproc.tasks.reportStatus

O administrador também pode conceder essas permissões à conta de serviço com papéis personalizados ou outros papéis predefinidos.

Antes de começar

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Notebooks, Vertex AI, and Dataproc APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Notebooks, Vertex AI, and Dataproc APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

1. Configure uma rede VPC se ainda não tiver feito isso, que atenda aos requisitos listados em Configuração de rede doGoogle Cloud Serverless para Apache Spark.

Abrir JupyterLab

1. No console Google Cloud , acesse a página Notebooks gerenciados.

   Acessar Notebooks gerenciados

2. Ao lado do nome da instância de notebooks gerenciados, clique em Abrir JupyterLab.

Iniciar uma sessão do Serverless para Apache Spark

Para iniciar uma sessão do Serverless para Apache Spark, conclua as etapas a seguir.

1. Na interface JupyterLab da instância de notebooks gerenciados, selecione a guia Acesso rápido e, em seguida, selecione Spark sem servidor. Se a guia Acesso rápido não estiver aberta, selecione Arquivo > Novo acesso rápido para abri-la.

   A caixa de diálogo Criar sessão do Spark sem servidor é exibida.

2. No campo Nome da sessão, insira um nome para sua sessão.

3. Na seção Configuração de execução, insira a conta de serviço que você quer usar. Se você não inserir uma conta de serviço, sua sessão usará a conta de serviço padrão do Compute Engine.

4. Na seção Configuração de rede, selecione a Rede e a Sub-rede de uma rede que atenda aos requisitos listados em Configuração de rede doGoogle Cloud sem servidor para Apache Spark.

5. Clique em Criar.

   Um novo arquivo de notebook é aberto. A sessão sem servidor para Apache Spark que você criou é o kernel que executa o código do arquivo de notebook.

Executar o código no Serverless para Apache Spark e em outros kernels

1. Adicione o código ao novo arquivo do notebook e execute o código.

2. Para executar o código em um kernel diferente, altere o kernel.

3. Quando você quiser executar o código na sessão do Serverless para Apache Spark novamente, altere o kernel de volta para o kernel do Serverless para Apache Spark.

Encerrar sua sessão do Serverless para Apache Spark

É possível encerrar uma sessão do Serverless para Apache Spark na interface do JupyterLab ou no console Google Cloud . O código no arquivo de notebook é preservado.

JupyterLab

1. No JupyterLab, feche o arquivo do notebook criado quando você criou a sessão do Serverless para Apache Spark.

2. Na caixa de diálogo exibida, clique em Encerrar sessão.

Console do Google Cloud

1. No Google Cloud console, acesse a página Sessões do Dataproc.

   Acessar as sessões do Dataproc

2. Selecione a sessão que você quer encerrar e clique em Encerrar.

Excluir sua sessão do Serverless para Apache Spark

É possível excluir uma sessão do Serverless para Apache Spark usando o console Google Cloud . O código no arquivo de notebook é preservado.

1. No Google Cloud console, acesse a página Sessões do Dataproc.

   Acessar as sessões do Dataproc

2. Selecione a sessão de dados que você quer excluir e clique em Excluir.

A seguir

• Saiba mais sobre o Serverless para Apache Spark.