Genomanalyse in einem JupyterLab-Notebook in Dataproc ausführen

In dieser Anleitung erfahren Sie, wie Sie Genomanalysen an Einzelzellen mithilfe von Dask, NVIDIA RAPIDS und GPUs ausführen, die Sie mit Dataproc konfigurieren können. Dataproc lässt sich so konfigurieren, dass Dask entweder mit seinem eigenständigen Planer oder mit YARN für die Ressourcenverwaltung ausgeführt wird.

In dieser Anleitung wird Dataproc mit einer gehosteten JupyterLab-Instanz konfiguriert, um ein Notebook mit einer Genomanalyse an Einzelzellen auszuführen. Mit einem Jupyter-Notebook in Dataproc können Sie die interaktiven Funktionen von Jupyter mit der Arbeitslastskalierung von Dataproc kombinieren. Mit Dataproc haben Sie die Möglichkeit, Ihre Arbeitslasten von einer auf viele Maschinen zu skalieren. Diese lassen sich mit beliebig vielen GPUs konfigurieren.

Diese Anleitung richtet sich an Data Scientists und Forscher. Dabei wird davon ausgegangen, dass Sie mit Python vertraut sind und Grundkenntnisse zu folgenden Themen haben:

Umgebung vorbereiten

  1. Wählen Sie einen Standort für Ihre Ressourcen aus. 

    REGION=REGION

  2. Cloud Storage-Bucket erstellen 

    gcloud storage buckets create gs://BUCKET --location=REGION

  3. Kopieren Sie die folgenden Initialisierungsaktionen in Ihren Bucket. 

    SCRIPT_BUCKET=gs://goog-dataproc-initialization-actions-REGION
gcloud storage cp ${SCRIPT_BUCKET}/gpu/install_gpu_driver.sh BUCKET/gpu/install_gpu_driver.sh
gcloud storage cp ${SCRIPT_BUCKET}/dask/dask.sh BUCKET/dask/dask.sh
gcloud storage cp ${SCRIPT_BUCKET}/rapids/rapids.sh BUCKET/rapids/rapids.sh
gcloud storage cp ${SCRIPT_BUCKET}/python/pip-install.sh BUCKET/python/pip-install.sh

Dataproc-Cluster mit JupyterLab und Open-Source-Komponenten erstellen

  1. Erstellen Sie einen Dataproc-Cluster.
gcloud dataproc clusters create CLUSTER_NAME \
    --region REGION \
    --image-version 2.0-ubuntu18 \
    --master-machine-type n1-standard-32 \
    --master-accelerator type=nvidia-tesla-t4,count=4 \
    --initialization-actions
BUCKET/gpu/install_gpu_driver.sh,BUCKET/dask/dask.sh,BUCKET/rapids/rapids.sh,BUCKET/python/pip-install.sh
\
    --initialization-action-timeout=60m \
    --metadata
gpu-driver-provider=NVIDIA,dask-runtime=yarn,rapids-runtime=DASK,rapids-version=21.06,PIP_PACKAGES="scanpy==1.8.1,wget" \
    --optional-components JUPYTER \
    --enable-component-gateway \
    --single-node

Der Cluster hat die folgenden Attribute:

  • --region: Die Region, in der sich der Cluster befindet.
  • --image-version: 2.0-ubuntu18, die Cluster-Image-Version.
  • --master-machine-type: n1-standard-32, der Hauptmaschinentyp.
  • --master-accelerator: Der Typ und die Anzahl der GPUs auf dem Hauptknoten, vier nvidia-tesla-t4-GPUs.
  • --initialization-actions: Die Cloud Storage-Pfade zu den Installationsskripts, die GPU-Treiber, Dask, RAPIDS und zusätzliche Abhängigkeiten installieren.
  • --initialization-action-timeout: Das Zeitlimit für die Initialisierungsaktionen.
  • --metadata: Wird an die Initialisierungsaktionen übergeben, um den Cluster mit NVIDIA GPU-Treibern, mit dem eigenständigen Planer für Dask und mit der RAPIDS-Version 21.06 zu konfigurieren.
  • --optional-components: Konfiguriert den Cluster mit der optionalen Jupyter-Komponente.
  • --enable-component-gateway: Ermöglicht den Zugriff auf Web-UIs im Cluster.
  • --single-node: Konfiguriert den Cluster als einzelnen Knoten (keine Worker).

Auf Jupyter-Notebook zugreifen

  1. Öffnen Sie in der Dataproc Google Cloud Console die Seite Cluster.
    Zur Seite „Cluster“
  2. Klicken Sie auf den Cluster und dann auf den Tab Weboberflächen.
  3. Klicken Sie auf JupyterLab.
  4. Öffnen Sie in JupyterLab ein neues Terminal.

  5. Klonen Sie das Repository clara-parabricks/rapids-single-cell-examples und prüfen Sie den Zweig dataproc/multi-gpu. 

    git clone https://github.com/clara-parabricks/rapids-single-cell-examples.git
git checkout dataproc/multi-gpu

  6. Wechseln Sie in JupyterLab zum Repository rapids-single-cell-examples/notebooks und öffnen Sie das Jupyter-Notebook 1M_brain_gpu_analysis_uvm.ipynb.

  7. Wählen Sie Bearbeiten > Alle Ausgaben löschen aus, um alle Ausgaben im Notebook zu löschen.

  8. Lesen Sie die Anleitung in den Zellen des Notebooks. Das Notebook verwendet Dask und RAPIDS in Dataproc, um Sie durch einen Workflow für eine einzellige RNA-Sequenzierung für 1 Million Zellen zu führen, einschließlich Verarbeitung und Visualisierung der Daten. Weitere Informationen finden Sie unter Genomanalysen an Einzelzellen mit RAPIDS beschleunigen.