Ringkasan Dataproc Hub

Dataproc Hub dan notebook yang dikelola pengguna Vertex AI Workbench tidak digunakan lagi. Pada 30 Januari 2025, dukungan untuk notebook yang dikelola pengguna akan berakhir dan kemampuan untuk membuat instance notebook yang dikelola pengguna akan dihapus. Untuk solusi notebook alternatif di Google Cloud, lihat:

• Instal komponen Jupyter di cluster Managed Service untuk Apache Spark.
• Buat instance Vertex AI Workbench yang kompatibel dengan Managed Service for Apache Spark.

Dataproc Hub memungkinkan Anda memanfaatkan Vertex AI Workbench dan Managed Service untuk Apache Spark untuk menjalankan tugas ML dan pemrosesan data interaktif dalam skala besar menggunakan notebook Jupyter serta ekosistem Hadoop dan Spark.

Notebook Dataproc Hub adalah notebook satu pengguna yang dikurasi administrator dan berjalan di cluster JupyterLab Managed Service untuk Apache Spark yang dibuat dan berjalan di project pengguna.

• Dataproc Hub memanfaatkan JupyterHub untuk:

  • Tingkatkan konsistensi di seluruh organisasi dengan memungkinkan administrator membuat daftar template notebook yang dikurasi untuk berbagai grup pengguna data dan ML.
  • Percepat pembuatan notebook dengan menyediakan lingkungan yang telah dikonfigurasi sebelumnya kepada pengguna data dan ML yang sesuai dengan persyaratan software dan hardware mereka.

• Dataproc Hub menyediakan antarmuka terpisah untuk administrator dan pengguna:

  • Administrator menggunakan halaman Dataproc→Workbench→User-Managed Notebooks di konsol Google Cloud untuk membuat instance Dataproc Hub. Setiap instance hub berisi serangkaian lingkungan notebook yang telah ditentukan sebelumnya yang ditentukan oleh file konfigurasi cluster YAML.
  • Pengguna Data dan ML menggunakan UI Notebooks→Instances di konsolGoogle Cloud untuk memilih lingkungan notebook yang telah ditentukan sebelumnya untuk membuat server notebook di cluster Managed Service untuk Apache Spark mereka.
    • Pengguna tanpa akses konsol dapat mengakses instance Dataproc Hub untuk memunculkan cluster Managed Service for Apache Spark dari browser web mereka menggunakan URL instance Dataproc Hub yang diberikan oleh administrator.
      Jika organisasi tidak menentukan dan menerapkan peran administratif dan pengguna notebook yang terpisah, alih-alih menggunakan Dataproc Hub untuk mengonfigurasi dan memunculkan cluster notebook Jupyter, pengguna dapat menginstal komponen Jupyter di cluster mereka.

• Kasus penggunaan Dataproc Hub:

  • Pengguna data dan ML diatur dalam grup dengan persyaratan software dan hardware yang sama (pengguna dapat ditempatkan dalam beberapa grup)
  • Akses konsol Managed Service untuk Apache Spark yang dibatasi: Pengguna tidak memiliki akses ke Managed Service untuk Apache Spark di konsol Google Cloud

• Fitur Dataproc Hub:

  • Lingkungan pengguna standar
  • Isolasi cluster dan notebook: anggota grup tidak diberikan akses yang mudah ke cluster dan notebook anggota di grup lain

Untuk informasi selengkapnya

• Admin: Mengonfigurasi Dataproc Hub
• Pengguna: Menggunakan Dataproc Hub