Criar sessões interativas e modelos de sessão

Nesta página, mostramos como criar sessões interativas e modelos de sessão do Serviço Gerenciado para Apache Spark. Um modelo de sessão pode ser usado para criar várias sessões interativas com base na configuração do modelo.

Observação: as sessões interativas do Serviço Gerenciado para Apache Spark estão associadas a notebooks interativos. Para conferir um exemplo de uso de sessão com notebooks do Jupyter, consulte Usar o plug-in do Serviço Gerenciado para Apache Spark JupyterLab para sessões de notebook interativas e em lote sem servidor. Para conferir exemplos de uso de sessão em notebooks do BigQuery Studio, consulte Executar código PySpark em notebooks do BigQuery Studio.

Criar uma sessão interativa

Você pode usar a Google Cloud CLI ou a API Managed Service for Apache Spark para criar uma sessão interativa do Serviço Gerenciado para Apache Spark.

gcloud

Você pode usar o gcloud beta dataproc sessions create command SESSION_NAME para criar uma sessão interativa do Serviço Gerenciado para Apache Spark.

gcloud beta dataproc sessions create spark SESSION_ID \
    --location=REGION \
    optional flags ...

Substitua ou adicione o seguinte:

• SESSION_ID: obrigatório. Um ID para a sessão.

• REGION: obrigatório. Uma região disponível para localizar sua sessão.

• --version: opcional. Uma versão compatível do ambiente de execução do Spark. Se você não usar essa flag para especificar uma versão, a versão padrão atual do ambiente de execução do Spark será usada.

• --container-image: opcional. Uma imagem do contêiner personalizada para usar na sessão.

• --property: opcional. Uma ou mais propriedades do Spark separadas por vírgulas para sua sessão.

• --service-account: opcional. A conta de serviço a ser usada na sessão. Se não for especificada, a conta de serviço padrão do Compute Engine será usada.

• --subnet: opcional. O nome de uma sub-rede na região da sessão. Se não for especificada, o Serviço Gerenciado para Apache Spark usará a sub-rede default na região da sessão. O Serviço Gerenciado para Apache Spark ativa o Acesso Privado do Google (PGA) na sub-rede. Para requisitos de conectividade de rede, consulte Configuração de rede do Serviço Gerenciado para Apache Spark.

REST

Você pode usar a API sessions.create do Serviço Gerenciado para Apache Spark para criar uma sessão interativa do Serviço Gerenciado para Apache Spark.

Observações:

• name: obrigatório. Nome da sessão.

• version: opcional. Qualquer uma das versões compatíveis do ambiente de execução do Spark para sua sessão. Se você não especificar uma versão, a versão padrão atual será usada.

• containerImage: opcional. Uma imagem do contêiner personalizada para usar na sessão.

• properties: opcional. Um mapeamento de nomes de propriedades de sessão para valores. Consulte Propriedades do Spark.

• serviceAccount: opcional. A conta de serviço a ser usada para executar a sessão. Se não for especificada, a conta de serviço padrão do Compute Engine será usada.

• subnetworkUri: opcional. O nome de uma sub-rede na região da sessão. Se não for especificada, o Serviço Gerenciado para Apache Spark usará a sub-rede default na região da sessão. O Serviço Gerenciado para Apache Spark ativa o Acesso Privado do Google (PGA) na sub-rede. Para requisitos de conectividade de rede, consulte Configuração de rede do Serviço Gerenciado para Apache Spark.

Criar um modelo de sessão

Um modelo de sessão do Serviço Gerenciado para Apache Spark define as configurações para criar uma ou mais sessões interativas do Serviço Gerenciado para Apache Spark. Você pode usar o Google Cloud console do Google Cloud, a CLI gcloud ou a API Managed Service for Apache Spark para criar um modelo de sessão do Serviço Gerenciado para Apache Spark para uma sessão do Jupyter ou Spark Connect.

Observação: é possível criar uma sessão em um notebook do BigQuery Studio a partir de um modelo de sessão do Serviço Gerenciado para Apache Spark. Esta seção explica como configurar o modelo para usá-lo em um notebook do BigQuery Studio.

Console

Para criar um modelo de sessão do Serviço Gerenciado para Apache Spark usando o Google Cloud console, siga estas etapas:

1. No Google Cloud console do Google Cloud, acesse a página Modelos de sessão.

   Acessar modelos de sessão

   1. Clique em Criar.

2. Na página Criar modelo de sessão, insira ou confirme as configurações do modelo. Observe o seguinte:

   • ID do ambiente de execução do modelo:obrigatório. Aceite o ID padrão (nome) ou especifique um nome de ambiente de execução do modelo.
   • Região: obrigatório. Aceite a região padrão ou especifique uma região disponível para sessões de modelo.
   • Versão do ambiente de execução:opcional. Os ambientes de execução de sessão selecionáveis correspondem a versões do ambiente de execução do Serviço Gerenciado para Apache Spark.
     • Requisito de sessão de notebook do BigQuery Studio:se você estiver criando um modelo para usar em sessões do Spark Connect de notebook do BigQuery Studio, ele precisará usar a versão 2.3 ou mais recente do ambiente de execução do Spark.
   • Tipo de configuração do modelo:obrigatório. Selecione um tipo. Se você selecionar Jupyter, especifique o Nome de exibição e selecione o Tipo de kernel do Jupyter. Consulte também Iniciar um notebook do Jupyter no Serviço Gerenciado para Apache Spark.
     • Requisito de sessão de notebook do BigQuery Studio As sessões de notebook do BigQuery Studio precisam especificar Spark Connect como o tipo de configuração do modelo.
   • Conta de serviço:opcional. A conta de serviço a ser usada para executar sessões com modelo. Se não for especificada, a conta de serviço padrão do Compute Engine será usada.
   • Imagem do contêiner personalizada:opcional. Uma imagem do contêiner personalizada para usar nas sessões com modelo.
   • Propriedades:opcional. Clique em Adicionar item para cada propriedade a ser definida para as sessões com modelo. Para mais informações, consulte Propriedades do Spark.
   • Configuração de rede : * obrigatório. Selecione uma sub-rede na região da sessão. O Serviço Gerenciado para Apache Spark ativa o Acesso Privado do Google (PGA) na sub-rede especificada. Para requisitos de conectividade de rede, consulte Configuração de rede do Serviço Gerenciado para Apache Spark.

3. Clique em Enviar para criar o modelo de sessão.

gcloud

Não é possível criar um modelo de sessão do Serviço Gerenciado para Apache Spark diretamente usando a CLI gcloud, mas você pode usar o comando gcloud beta dataproc session-templates import para importar um modelo de sessão atual. É possível editar o modelo importado e exportá-lo usando o comando gcloud beta dataproc session-templates export.

REST

Você pode usar a API sessionTemplates.create do Serviço Gerenciado para Apache Spark para criar um modelo de sessão do Serviço Gerenciado para Apache Spark.

Observações:

• name: obrigatório. Nome do modelo de sessão.

• version: opcional. Qualquer uma das versões compatíveis do ambiente de execução do Spark para suas sessões com modelo. Se você não especificar uma versão, a versão padrão será usada.

  • Requisito de sessão de notebook do BigQuery Studio:se você estiver criando um modelo para usar em sessões do Spark Connect de notebook do BigQuery Studio, ele precisará usar a versão 2.3 ou mais recente do ambiente de execução do Spark.

• sessionConfig: especifique jupyter_session ou spark_connect_session. Se você especificar jupyter_session, também especifique o JupyterConfig.display_name e JupyterConfig.kernel. Consulte também Iniciar um notebook do Jupyter no Serviço Gerenciado para Apache Spark.

  • Requisito de sessão de notebook do BigQuery Studio as sessões de notebook do BigQuery Studio precisam especificar Spark Connect como o tipo de configuração do modelo.

• containerImage: opcional. Uma imagem do contêiner personalizada para usar nas sessões com modelo.

• properties: opcional. Um mapeamento de nomes de propriedades de sessão para valores. Consulte Propriedades do Spark.

• serviceAccount: opcional. Uma conta de serviço a ser usada para executar as sessões com modelo. Se não for especificada, a conta de serviço padrão do Compute Engine será usada.

• subnetworkUri: opcional. O nome de uma sub-rede na região da sessão. Se não for especificada, o Serviço Gerenciado para Apache Spark usará a sub-rede default na região da sessão. O Serviço Gerenciado para Apache Spark ativa o Acesso Privado do Google (PGA) na sub-rede. Para requisitos de conectividade de rede, consulte Configuração de rede do Serviço Gerenciado para Apache Spark.