Executar uma análise genômica em um notebook JupyterLab

Neste tutorial, mostramos como executar uma análise genômica de célula única usando Dask, NVIDIA RAPIDS e GPUs, que podem ser configuradas no Serviço Gerenciado para Apache Spark. É possível configurar o Serviço Gerenciado para Apache Spark para executar o Dask com o programador autônomo ou com o YARN para gerenciamento de recursos.

Neste tutorial, o Serviço Gerenciado para Apache Spark é configurado com uma instância hospedada do JupyterLab para executar um notebook com análise genômica de célula única. O uso de um notebook do Jupyter no Serviço Gerenciado para Apache Spark permite combinar os recursos interativos do Jupyter com o escalonamento de carga de trabalho permitido pelo Serviço Gerenciado para Apache Spark. Com o Serviço Gerenciado para Apache Spark, é possível escalonar horizontalmente suas cargas de trabalho de uma para várias máquinas, que você pode configurar com quantas GPUs precisar.

Este tutorial é destinado a cientistas e pesquisadores de dados. Ele pressupõe que você tenha experiência com Python e tenha conhecimento básico dos seguintes tópicos:

Objetivos

  • Criar uma instância do Serviço Gerenciado para Apache Spark configurada com GPUs, JupyterLab e componentes de código aberto.
  • Executar um notebook no Serviço Gerenciado para Apache Spark.

Custos

Neste documento, você usará os seguintes componentes faturáveis do Google Cloud:

  • Managed Service for Apache Spark
  • Cloud Storage
  • GPUs

    • Para gerar uma estimativa de custo baseada na projeção de uso, use a calculadora de preços.

    Novos Google Cloud usuários podem estar qualificados para um teste sem custo financeiro.

    Ao concluir as tarefas descritas neste documento, é possível evitar o faturamento contínuo excluindo os recursos criados. Para mais informações, consulte Limpeza.

    Antes de começar

    1. No Google Cloud console do, na página do seletor de projetos, escolha ou crie um Google Cloud projeto do.

      Funções necessárias para selecionar ou criar um projeto

      • Selecionar um projeto: a seleção de um projeto não exige um papel específico do IAM. É possível selecionar qualquer projeto em que você tenha recebido um papel.
      • Criar um projeto: para criar um projeto, é necessário ter o papel de criador de projetos (roles/resourcemanager.projectCreator), que contém a resourcemanager.projects.create permissão. Saiba como conceder papéis.

      Acessar o seletor de projetos

    2. Verifique se o faturamento está ativado para o Google Cloud projeto.

    3. Ativar a API Dataproc.

      Funções necessárias para ativar APIs

      Para ativar as APIs, é necessário ter o papel do IAM de administrador de uso do serviço (roles/serviceusage.serviceUsageAdmin), que contém a permissão serviceusage.services.enable. Saiba como conceder papéis.

      Ativar a API

    Preparar o ambiente

    1. Selecione um local para seus recursos. 

      REGION=REGION

    2. Criar um bucket do Cloud Storage. 

      gcloud storage buckets create gs://BUCKET --location=REGION

    3. Copie as seguintes ações de inicialização para o bucket. 

      SCRIPT_BUCKET=gs://goog-dataproc-initialization-actions-REGION
gcloud storage cp ${SCRIPT_BUCKET}/gpu/install_gpu_driver.sh BUCKET/gpu/install_gpu_driver.sh
gcloud storage cp ${SCRIPT_BUCKET}/dask/dask.sh BUCKET/dask/dask.sh
gcloud storage cp ${SCRIPT_BUCKET}/rapids/rapids.sh BUCKET/rapids/rapids.sh
gcloud storage cp ${SCRIPT_BUCKET}/python/pip-install.sh BUCKET/python/pip-install.sh

    Criar um cluster do Serviço Gerenciado para Apache Spark com o JupyterLab e componentes de código aberto

    1. Criar um cluster do Serviço Gerenciado para Apache Spark.
    gcloud dataproc clusters create CLUSTER_NAME \
    --region REGION \
    --image-version 2.0-ubuntu18 \
    --master-machine-type n1-standard-32 \
    --master-accelerator type=nvidia-tesla-t4,count=4 \
    --initialization-actions
BUCKET/gpu/install_gpu_driver.sh,BUCKET/dask/dask.sh,BUCKET/rapids/rapids.sh,BUCKET/python/pip-install.sh
\
    --initialization-action-timeout=60m \
    --metadata
gpu-driver-provider=NVIDIA,dask-runtime=yarn,rapids-runtime=DASK,rapids-version=21.06,PIP_PACKAGES="scanpy==1.8.1,wget" \
    --optional-components JUPYTER \
    --enable-component-gateway \
    --single-node

    O cluster tem as seguintes propriedades:

    • --region: a região em que o cluster está localizado.
    • --image-version: 2.0-ubuntu18, a versão de imagem do cluster.
    • --master-machine-type: n1-standard-32, o tipo de máquina principal.
    • --master-accelerator: o tipo e a contagem de GPUs no nó principal, quatro GPUs nvidia-tesla-t4.
    • --initialization-actions: os caminhos do Cloud Storage para os scripts de instalação que instalam drivers de GPU, Dask, RAPIDS e dependências extras.
    • --initialization-action-timeout: o tempo limite das ações de inicialização.
    • --metadata: transmitido para as ações de inicialização para configurar o cluster com drivers de GPU NVIDIA, o programador autônomo do Dask e a versão RAPIDS 21.06.
    • --optional-components: configura o cluster com o componente opcional Jupyter.
    • --enable-component-gateway: permite o acesso a IUs da Web no cluster.
    • --single-node: configura o cluster como um único nó (sem workers).

    Acessar o Jupyter Notebook

    1. Abra a página Clusters no console do Serviço Gerenciado para Apache Spark Google Cloud .
      Abrir a página "Clusters"
    2. Clique no cluster e na guia Interfaces da Web.
    3. Clique em JupyterLab.
    4. Abra um novo terminal no JupyterLab.

    5. Clone o clara-parabricks/rapids-single-cell-examples repositório e confira a ramificação managed-spark/multi-gpu. 

      git clone https://github.com/clara-parabricks/rapids-single-cell-examples.git
git checkout managed-spark/multi-gpu

    6. No JupyterLab, acesse o rapids-single-cell-examples/notebooks e abra o 1M_brain_gpu_analysis_uvm.ipynb.

    7. Para limpar todas as saídas no notebook, selecione Editar > Limpar todas as saídas.

    8. Leia as instruções nas células do notebook. O notebook usa oDask e RAPIDS no Serviço Gerenciado para Apache Spark para orientar você em um fluxo de trabalho de RNA-seq de célula única em 1 milhão de células, incluindo o processamento e a visualização de dados. Para saber mais, consulte Aceleração da análise genômica de célula única usando RAPIDS.

    Limpar

    Para evitar cobranças na sua conta do Google Cloud pelos recursos usados no tutorial, exclua o projeto que os contém ou mantenha o projeto e exclua os recursos individuais.

    Excluir o projeto

    1. No Google Cloud console, acesse a página Gerenciar recursos.

      Acessar "Gerenciar recursos"

    2. Na lista de projetos, selecione o projeto que você quer excluir e clique em Excluir.
    3. Na caixa de diálogo, digite o ID do projeto e clique em Desligar para excluir o projeto.

    Excluir recursos individuais

    1. Exclua o cluster do Serviço Gerenciado para Apache Spark. 
      gcloud dataproc clusters delete cluster-name \
    --region=region
    2. Excluir o bucket: 
      gcloud storage buckets delete BUCKET_NAME

    A seguir