Ringkasan Dataproc Hub

Dataproc Hub dan notebook yang dikelola pengguna Vertex AI Workbench tidak digunakan lagi. Pada 30 Januari 2025, dukungan untuk notebook yang dikelola pengguna akan berakhir dan kemampuan untuk membuat instance notebook yang dikelola pengguna akan dihapus. Untuk solusi notebook alternatif di Google Cloud, lihat:

• Menginstal komponen Jupyter di cluster Managed Service untuk Apache Spark.
• Membuat instance Vertex AI Workbench yang mendukung Managed Service untuk Apache Spark.

Dataproc Hub memungkinkan Anda memanfaatkan Vertex AI Workbench dan Managed Service untuk Apache Spark guna menjalankan tugas pemrosesan data dan ML interaktif dalam skala besar menggunakan notebook Jupyter dan ekosistem Hadoop dan Spark.

Notebook Dataproc Hub adalah notebook satu pengguna yang dikurasi administrator dan berjalan di cluster JupyterLab Managed Service untuk Apache Spark yang dibuat dan berjalan di project pengguna.

• Dataproc Hub memanfaatkan JupyterHub untuk:

  • Menciptakan konsistensi di seluruh organisasi dengan memungkinkan administrator membuat daftar template notebook yang dikurasi untuk berbagai grup pengguna data dan ML.
  • Mempercepat pembuatan notebook dengan menyediakan lingkungan yang telah dikonfigurasi sebelumnya kepada pengguna data dan ML yang sesuai dengan persyaratan software dan hardware mereka.

• Dataproc Hub menyediakan antarmuka terpisah untuk administrator dan pengguna:

  • Administrator menggunakan halaman Dataproc→Workbench→Notebook yang Dikelola Pengguna di Google Cloud konsol untuk membuat instance Dataproc Hub. Setiap instance hub berisi kumpulan lingkungan notebook yang telah ditentukan yang ditentukan oleh file konfigurasi cluster YAML.
  • Pengguna data dan ML menggunakan Notebook→UI Instance di Google Cloud konsol untuk memilih lingkungan notebook yang telah ditentukan untuk membuat server notebook di cluster Managed Service untuk Apache Spark.
    • Pengguna tanpa akses konsol dapat mengakses instance Dataproc Hub untuk membuat cluster Managed Service untuk Apache Spark dari browser web mereka menggunakan URL instance Dataproc Hub yang disediakan oleh administrator.
      Jika organisasi tidak menentukan dan menerapkan peran administratif dan pengguna notebook yang terpisah, pengguna dapat menginstal komponen Jupyter di cluster mereka, bukan menggunakan Dataproc Hub untuk mengonfigurasi dan membuat cluster notebook Jupyter.

• Kasus penggunaan Dataproc Hub:

  • Pengguna data dan ML diatur dalam grup dengan persyaratan software dan hardware yang sama (pengguna dapat ditempatkan dalam beberapa grup)
  • Akses konsol Managed Service untuk Apache Spark yang dibatasi: Pengguna tidak memiliki akses ke Managed Service untuk Apache Spark di Google Cloud konsol

• Fitur Dataproc Hub:

  • Lingkungan pengguna yang telah ditentukan
  • Isolasi cluster dan notebook: anggota grup tidak diberikan akses mudah ke cluster dan notebook anggota di grup lain

Untuk informasi selengkapnya

• Admin: Mengonfigurasi Dataproc Hub
• Pengguna: Menggunakan Dataproc Hub