"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).

Google uses AI technology to translate content into your preferred language. AI translations can contain errors.

Menjalankan analisis genomik di notebook JupyterLab

Tutorial ini menunjukkan cara menjalankan analisis genomik sel tunggal menggunakan Dask, NVIDIA RAPIDS, dan GPU, yang dapat Anda konfigurasi di Managed Service untuk Apache Spark. Anda dapat mengonfigurasi Managed Service untuk Apache Spark agar menjalankan Dask dengan penjadwal mandiri atau dengan YARN untuk pengelolaan resource.

Tutorial ini mengonfigurasi Managed Service untuk Apache Spark dengan instance JupyterLab yang dihosting untuk menjalankan notebook yang menampilkan analisis genomik sel tunggal. Dengan menggunakan Jupyter Notebook di Managed Service untuk Apache Spark, Anda dapat menggabungkan kemampuan interaktif Jupyter dengan penskalaan workload yang diaktifkan oleh Managed Service untuk Apache Spark. Dengan Managed Service untuk Apache Spark, Anda dapat menskalakan workload dari satu ke banyak mesin, yang dapat Anda konfigurasi dengan GPU sebanyak yang Anda butuhkan.

Tutorial ini ditujukan untuk data scientist dan peneliti. Tutorial ini mengasumsikan bahwa Anda berpengalaman menggunakan Python dan memiliki pengetahuan dasar tentang hal berikut:

Tujuan

Membuat instance Managed Service untuk Apache Spark yang dikonfigurasi dengan GPU, JupyterLab, dan komponen open source.
Menjalankan notebook di Managed Service untuk Apache Spark.

Biaya

Dalam dokumen ini, Anda akan menggunakan komponen yang dapat ditagih sebagai berikut Google Cloud:

Managed Service for Apache Spark

Cloud Storage

GPUs

Untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan Anda, gunakan kalkulator harga.

Pengguna baru mungkin memenuhi syarat untuk mendapatkan uji coba gratis. Google Cloud

Setelah menyelesaikan tugas yang dijelaskan dalam dokumen ini, Anda dapat menghindari penagihan berkelanjutan dengan menghapus resource yang Anda buat. Untuk mengetahui informasi selengkapnya, baca bagian Pembersihan.

Sebelum memulai

Di Google Cloud konsol, pada halaman pemilih project, pilih atau buat Google Cloud project.
Peran yang diperlukan untuk memilih atau membuat project
- Memilih project: Memilih project tidak memerlukan peran IAM tertentu Anda dapat memilih project mana pun yang telah diberi peran.
- Membuat project: Untuk membuat project, Anda memerlukan peran Project Creator (roles/resourcemanager.projectCreator), yang berisi izin resourcemanager.projects.create. Pelajari cara memberikan peran.
Catatan: Jika tidak berencana untuk menyimpan resource yang Anda buat dalam prosedur ini, buatlah project, bukan memilih project yang ada. Setelah menyelesaikan langkah ini, Anda dapat menghapus project, yang menghapus semua resource yang terkait dengan project ini.

Buka pemilih project
Pastikan penagihan diaktifkan untuk Google Cloud project Anda.
Mengaktifkan Dataproc API.
Peran yang diperlukan untuk mengaktifkan API
Untuk mengaktifkan API, Anda memerlukan izin serviceusage.services.enable. Jika Anda membuat project, kemungkinan Anda sudah memiliki izin ini melalui peran Pemilik (roles/owner). Jika tidak, Anda bisa mendapatkan izin ini melalui peran Admin Penggunaan Layanan (roles/serviceusage.serviceUsageAdmin). Pelajari cara memberikan peran.
Mengaktifkan API

Menyiapkan lingkungan Anda

Pilih a lokasi untuk resource Anda.
```
REGION=REGION
```

Buat bucket Cloud Storage.

gcloud storage buckets create gs://BUCKET --location=REGION

Salin tindakan inisialisasi berikut ke bucket Anda.

SCRIPT_BUCKET=gs://goog-dataproc-initialization-actions-REGION
gcloud storage cp ${SCRIPT_BUCKET}/gpu/install_gpu_driver.sh BUCKET/gpu/install_gpu_driver.sh
gcloud storage cp ${SCRIPT_BUCKET}/dask/dask.sh BUCKET/dask/dask.sh
gcloud storage cp ${SCRIPT_BUCKET}/rapids/rapids.sh BUCKET/rapids/rapids.sh
gcloud storage cp ${SCRIPT_BUCKET}/python/pip-install.sh BUCKET/python/pip-install.sh

Membuat cluster Managed Service untuk Apache Spark dengan JupyterLab dan komponen open source

Buat cluster Managed Service untuk Apache Spark.

gcloud dataproc clusters create CLUSTER_NAME \
    --region REGION \
    --image-version 2.0-ubuntu18 \
    --master-machine-type n1-standard-32 \
    --master-accelerator type=nvidia-tesla-t4,count=4 \
    --initialization-actions
BUCKET/gpu/install_gpu_driver.sh,BUCKET/dask/dask.sh,BUCKET/rapids/rapids.sh,BUCKET/python/pip-install.sh
\
    --initialization-action-timeout=60m \
    --metadata
gpu-driver-provider=NVIDIA,dask-runtime=yarn,rapids-runtime=DASK,rapids-version=21.06,PIP_PACKAGES="scanpy==1.8.1,wget" \
    --optional-components JUPYTER \
    --enable-component-gateway \
    --single-node

Cluster memiliki properti berikut:

--region: the region region tempat cluster Anda berada.
--image-version: 2.0-ubuntu18, versi image cluster
--master-machine-type: n1-standard-32, jenis mesin utama .
--master-accelerator: jenis dan jumlah GPU di node utama, empat nvidia-tesla-t4 GPU.
--initialization-actions: jalur Cloud Storage ke skrip penginstalan yang menginstal driver GPU, Dask, RAPIDS, dan dependensi tambahan.
--initialization-action-timeout: waktu tunggu untuk tindakan inisialisasi.
--metadata: diteruskan ke tindakan inisialisasi untuk mengonfigurasi cluster dengan driver GPU NVIDIA, penjadwal mandiri untuk Dask, dan RAPIDS versi 21.06.
--optional-components: mengonfigurasi cluster dengan komponen opsional Jupyter.
--enable-component-gateway: memungkinkan akses ke UI web di cluster.
--single-node: mengonfigurasi cluster sebagai satu node (tanpa pekerja).

Mengakses Notebook Jupyter

Buka halaman Clusters di konsol Managed Service untuk Apache Spark Google Cloud .
Buka halaman Clusters
Klik cluster Anda, lalu klik tab Web Interfaces.
Klik JupyterLab.
Buka terminal baru di JupyterLab.

Clone clara-parabricks/rapids-single-cell-examples repositori dan periksa cabang managed-spark/multi-gpu.

git clone https://github.com/clara-parabricks/rapids-single-cell-examples.git
git checkout managed-spark/multi-gpu

Di JupyterLab, buka repositori rapids-single-cell-examples/notebooks dan buka Notebook Jupyter 1M_brain_gpu_analysis_uvm.ipynb.
Untuk menghapus semua output di notebook, pilih Edit > Clear All Outputs
Baca petunjuk di sel notebook. Notebook ini menggunakan Dask dan RAPIDS di Managed Service untuk Apache Spark untuk memandu Anda melalui alur kerja RNA-seq sel tunggal pada 1 juta sel, termasuk memproses dan memvisualisasikan data. Untuk mempelajari lebih lanjut, lihat Mempercepat Analisis Genomik Sel Tunggal menggunakan RAPIDS.

Pembersihan

Agar tidak perlu membayar biaya pada akun Google Cloud Anda untuk resource yang digunakan dalam tutorial ini, hapus project yang berisi resource tersebut, atau simpan project dan hapus setiap resource.

Menghapus project

Perhatian: Menghapus project memiliki efek berikut:

Semua hal dalam project akan dihapus. Jika menggunakan project yang sudah ada untuk tugas dalam dokumen ini, saat Anda menghapusnya, pekerjaan lain yang telah Anda lakukan dalam project tersebut juga akan terhapus.
Project ID kustom hilang. Saat membuat project ini, Anda mungkin telah membuat project ID kustom yang ingin digunakan di masa mendatang. Untuk mempertahankan URL yang menggunakan project ID, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.

Jika Anda berencana mempelajari beberapa arsitektur, tutorial atau panduan memulai, dengan menggunakan kembali project dapat membantu Anda agar tidak melampaui batas kuota project.

Di Google Cloud konsol, buka halaman Manage resources.
Buka Kelola resource
Pada daftar project, pilih project yang Anda ingin Anda hapus, lalu klik Delete.
Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.

Menghapus resource satu per satu

Hapus cluster Managed Service untuk Apache Spark.

gcloud dataproc clusters delete cluster-name \
    --region=region

Hapus bucket:
```
gcloud storage buckets delete BUCKET_NAME
```
Penting: Bucket harus kosong agar dapat dihapus.

Langkah berikutnya

Temukan informasi selengkapnya tentang Managed Service untuk Apache Spark.
Pelajari arsitektur referensi, diagram, tutorial, dan praktik terbaik. Lihat Cloud Architecture Center kami.