Criar sessões interativas e modelos de sessão

Nesta página, mostramos como criar sessões interativas e modelos de sessão do Serviço Gerenciado para Apache Spark. Um modelo de sessão pode ser usado para criar várias sessões interativas com base na configuração do modelo.

Observação: as sessões interativas do Serviço Gerenciado para Apache Spark estão associadas a notebooks interativos. Para ver um exemplo de uso de sessão com notebooks do Jupyter, consulte Usar o plug-in do Serviço Gerenciado para Apache Spark JupyterLab em sessões de notebook interativas e em lote sem servidor. Para exemplos de uso de sessões em notebooks do BigQuery Studio, consulte Executar código PySpark em notebooks do BigQuery Studio.

Criar uma sessão interativa

Use a Google Cloud CLI ou a API do Serviço Gerenciado para Apache Spark para criar uma sessão interativa do Serviço Gerenciado para Apache Spark.

gcloud

Você pode usar o gcloud beta dataproc sessions create command SESSION_NAME para criar uma sessão interativa do Serviço Gerenciado para Apache Spark.

gcloud beta dataproc sessions create spark SESSION_ID \
    --location=REGION \
    optional flags ...

Substitua ou adicione o seguinte:

• SESSION_ID: obrigatório. Um ID para a sessão.

• REGION: obrigatório. Uma região disponível para localizar sua sessão.

• --version: Opcional. Uma versão do ambiente de execução do Spark compatível. Se você não usar essa flag para especificar uma versão, a versão padrão atual do ambiente de execução do Spark será usada.

• --container-image: Opcional. Uma imagem do contêiner personalizada para usar na sua sessão.

• --property: Opcional. Uma ou mais propriedades do Spark separadas por vírgulas para sua sessão.

• --service-account: Opcional. A conta de serviço a ser usada na sua sessão. Se não for especificada, a conta de serviço padrão do Compute Engine será usada.

• --subnet: Opcional. O nome de uma sub-rede na região da sessão. Se não for especificada, o Serviço Gerenciado para Apache Spark usará a sub-rede default na região da sessão. O Serviço Gerenciado para Apache Spark ativa o Acesso privado do Google (PGA) na sub-rede. Para requisitos de conectividade de rede, consulte Configuração de rede do Serviço Gerenciado para Apache Spark.

REST

É possível usar a API sessions.create do Serviço Gerenciado para Apache Spark para criar uma sessão interativa do Serviço Gerenciado para Apache Spark.

Observações:

• name: Obrigatório. Nome da sessão.

• version: Opcional. Qualquer uma das versões do ambiente de execução do Spark compatíveis com sua sessão. Se você não especificar uma versão, a padrão atual será usada.

• containerImage: Opcional. Uma imagem do contêiner personalizada para usar na sua sessão.

• properties: Opcional. Um mapeamento de nomes de propriedades da sessão para valores. Consulte Propriedades do Spark.

• serviceAccount: Opcional. A conta de serviço a ser usada para executar sua sessão. Se não for especificada, a conta de serviço padrão do Compute Engine será usada.

• subnetworkUri: Opcional. O nome de uma sub-rede na região da sessão. Se não for especificada, o Serviço Gerenciado para Apache Spark usará a sub-rede default na região da sessão. O Serviço Gerenciado para Apache Spark ativa o Acesso privado do Google (PGA) na sub-rede. Para requisitos de conectividade de rede, consulte Configuração de rede do Serviço Gerenciado para Apache Spark.

Criar um modelo de sessão

Um modelo de sessão do Serviço Gerenciado para Apache Spark define as configurações para criar uma ou mais sessões interativas do Serviço Gerenciado para Apache Spark. É possível usar o console Google Cloud , a CLI gcloud ou a API Managed Service for Apache Spark para criar um modelo de sessão do Serviço Gerenciado para Apache Spark para uma sessão do Jupyter ou do Spark Connect.

Observação: é possível criar uma sessão em um notebook do BigQuery Studio usando um modelo de sessão do Serviço Gerenciado para Apache Spark. Esta seção explica como configurar o modelo para usá-lo em um notebook do BigQuery Studio.

Console

Para criar um modelo de sessão do Serviço Gerenciado para Apache Spark usando o console Google Cloud , siga estas etapas:

1. No console do Google Cloud , acesse a página Modelos de sessão.

   Acesse "Modelos de sessão"

   1. Clique em Criar.

2. Na página Criar modelo de sessão, insira ou confirme as configurações do modelo. Observe o seguinte:

   • ID do ambiente de execução do modelo:obrigatório. Aceite o ID (nome) padrão ou especifique um nome de ambiente de execução do modelo.
   • Região: obrigatório. Aceite a região padrão ou especifique uma região disponível para sessões de modelo.
   • Versão do ambiente de execução:opcional. Os ambientes de execução de sessão selecionáveis correspondem às versões do ambiente de execução do Serviço Gerenciado para Apache Spark.
     • Requisito da sessão de notebook do BigQuery Studio:se você estiver criando um modelo para usar em sessões do Spark Connect do notebook do BigQuery Studio, ele precisará usar a versão 2.3 ou mais recente do ambiente de execução do Spark.
   • Tipo de configuração do modelo:obrigatório. Selecione um tipo. Se você selecionar Jupyter, especifique o Nome de exibição e selecione o Tipo de kernel do Jupyter. Consulte também Iniciar um notebook do Jupyter no Serviço Gerenciado para Apache Spark.
     • Requisito da sessão de notebook do BigQuery Studio:as sessões de notebook do BigQuery Studio precisam especificar o Spark Connect como o tipo de configuração de modelo.
   • Conta de serviço:opcional. A conta de serviço a ser usada para executar sessões com modelos. Se não for especificada, a conta de serviço padrão do Compute Engine será usada.
   • Imagem do contêiner personalizada:opcional. Uma imagem de contêiner personalizada para usar nas sessões com modelo.
   • Propriedades:opcional. Clique em Adicionar item para cada propriedade a ser definida para suas sessões com modelo. Para mais informações, consulte Propriedades do Spark.
   • Configuração de rede: * obrigatório. Selecione uma sub-rede na região da sessão. O Serviço Gerenciado para Apache Spark ativa o Acesso privado do Google (PGA) na sub-rede especificada. Para requisitos de conectividade de rede, consulte Configuração de rede do Serviço Gerenciado para Apache Spark.

3. Clique em Enviar para criar o modelo de sessão.

gcloud

Não é possível criar um modelo de sessão do Serviço Gerenciado para Apache Spark diretamente usando a CLI gcloud, mas é possível usar o comando gcloud beta dataproc session-templates import para importar um modelo de sessão atual. É possível editar o modelo importado e exportá-lo usando o comando gcloud beta dataproc session-templates export.

REST

Use a API Managed Service for Apache Spark sessionTemplates.create para criar um modelo de sessão do Serviço Gerenciado para Apache Spark.

Observações:

• name: Obrigatório. Nome do modelo de sessão.

• version: Opcional. Qualquer uma das versões do ambiente de execução do Spark compatíveis para suas sessões com modelo. Se você não especificar uma versão, a padrão será usada.

  • Requisito da sessão de notebook do BigQuery Studio:se você estiver criando um modelo para usar em sessões do Spark Connect do notebook do BigQuery Studio, ele precisará usar a versão 2.3 ou mais recente do ambiente de execução do Spark.

• sessionConfig: especifique jupyter_session ou spark_connect_session. Se você especificar jupyter_session, também especifique JupyterConfig.display_name e JupyterConfig.kernel. Consulte também Iniciar um notebook do Jupyter no Serviço Gerenciado para Apache Spark.

  • Requisito da sessão de notebook do BigQuery Studio:as sessões de notebook do BigQuery Studio precisam especificar o Spark Connect como o tipo de configuração de modelo.

• containerImage: Opcional. Uma imagem do contêiner personalizada para usar nas sessões com modelo.

• properties: Opcional. Um mapeamento de nomes de propriedades da sessão para valores. Consulte Propriedades do Spark.

• serviceAccount: Opcional. Uma conta de serviço para usar na execução das sessões com modelo. Se não for especificada, a conta de serviço padrão do Compute Engine será usada.

• subnetworkUri: Opcional. O nome de uma sub-rede na região da sessão. Se não for especificada, o Serviço Gerenciado para Apache Spark usará a sub-rede default na região da sessão. O Serviço Gerenciado para Apache Spark ativa o Acesso privado do Google (PGA) na sub-rede. Para requisitos de conectividade de rede, consulte Configuração de rede do Serviço Gerenciado para Apache Spark.