Antarmuka web cluster

Menghindari Kerentanan Keamanan.

Port yang terbuka dan aturan firewall yang tidak dikonfigurasi dengan benar di jaringan publik dapat memungkinkan pengguna yang tidak sah untuk mengeksekusi kode arbitrer.^*

Meninjau Menentukan rentang IP sumber untuk aturan firewall subnet

Buat tunnel SSH untuk membuat koneksi yang aman ke instance master cluster Anda.

Apache Hadoop YARN menyediakan REST API yang memiliki port yang sama dengan antarmuka web YARN (port default 8088). Secara default, pengguna yang dapat mengakses antarmuka web YARN dapat membuat aplikasi, mengirim tugas, dan mungkin dapat melakukan operasi Cloud Storage.Lihat REST API Pengelola Resource YARN yang Diizinkan untuk mengetahui informasi tentang cara menetapkan metode REST API Pengelola Resource YARN yang diizinkan.

Beberapa komponen open source inti yang disertakan dengan cluster Dataproc, seperti Apache Hadoop dan Apache Spark, menyediakan antarmuka web. Antarmuka ini dapat digunakan untuk mengelola dan memantau resource dan fasilitas cluster, seperti pengelola resource YARN, Hadoop Distributed File System (HDFS), MapReduce, dan Spark. Komponen atau aplikasi lain yang Anda instal di cluster juga dapat menyediakan antarmuka web (misalnya, lihat Menginstal dan menjalankan notebook Jupyter di cluster Dataproc).

Tujuan: Langkah-langkah dan contoh yang ditampilkan di bawah menunjukkan cara terhubung dengan aman ke antarmuka web yang berjalan di cluster Dataproc menggunakan tunnel SSH dari jaringan lokal atau Google Cloud Cloud Shell ke jaringan Compute Engine cluster Anda.

Gunakan Gateway Komponen untuk terhubung ke antarmuka web komponen inti dan opsional. Cluster yang dibuat dengan image Dataproc versi 1.3.29 dan yang lebih baru dapat menginstal dan mengaktifkan akses ke antarmuka web komponen, termasuk UI YARN, HDFS, Jupyter, dan Zeppelin, tanpa mengandalkan tunnel SSH atau mengubah aturan firewall untuk mengizinkan traffic masuk. Lihat Gateway Komponen Dataproc untuk mengetahui informasi selengkapnya.

Lihat Melakukan SSH ke cluster Dataproc untuk membuka sesi SSH di node master cluster Dataproc.

Antarmuka yang tersedia

Antarmuka berikut tersedia di node master cluster Dataproc (ganti master-host-name dengan nama node master Anda).

Cluster master-host-name adalah nama cluster Dataproc Anda yang diikuti dengan akhiran -m—misalnya, jika cluster Anda diberi nama "my-cluster", master-host-name akan menjadi "my-cluster-m".

UI Web	Port	URL
YARN ResourceManager	8088^1	http://master-host-name:8088
HDFS NameNode	9870^2,3	http://master-host-name:9870

¹ Di cluster yang mengaktifkan Kerberos, port UI web YARN ResourceManager adalah 8090, dan berjalan di HTTPS.

² Di cluster yang mengaktifkan Kerberos, port UI web HDFS Namenode adalah 9871, dan berjalan di HTTPS.

³ Pada rilis Dataproc sebelumnya (sebelum 1.2), port UI web HDFS Namenode adalah 50070.

YARN ResourceManager memiliki link untuk semua antarmuka web Aplikasi MapReduce dan Spark yang sedang berjalan dan selesai di kolom "Tracking UI".

REST API YARN ResourceManager yang diizinkan

Saat Anda membuat cluster, Dataproc menetapkan properti yarn.resourcemanager.webapp.methods-allowed yarn-site.xml ke "GET,HEAD". yang membatasi metode HTTP yang dapat dipanggil di UI web YARN Resource Manager dan REST API ke metode GET dan HEAD. Setelan default ini juga menonaktifkan pengiriman dan modifikasi tugas melalui YARN REST API.

Anda dapat mengganti nilai default untuk mengaktifkan metode HTTP tertentu di port 8088 dengan menetapkan properti ini ke satu atau beberapa nama metode HTTP yang dipisahkan koma. Nilai ALL akan mengizinkan semua metode HTTP di port.

Contoh:

gcloud dataproc clusters create cluster-name \
    --properties=^#^yarn:yarn.resourcemanager.webapp.methods-allowed=GET,POST,DELETE \
    --region=region \

Rekomendasi: Jika Anda menetapkan properti ini untuk mengizinkan metode HTTP non-default, pastikan untuk mengonfigurasi aturan firewall dan setelan keamanan lainnya untuk membatasi akses ke port 8088.

Menghubungkan ke antarmuka web

Anda dapat terhubung ke antarmuka web yang berjalan di cluster Dataproc menggunakan Gateway Komponen Dataproc, Cloud Shell project Anda, atau alat command line gcloud Google Cloud CLI:

• Gateway Komponen: Terhubung dengan satu klik ke Hadoop, Spark, dan antarmuka UI Web komponen lainnya dari konsol. Google Cloud Anda mengaktifkan Gateway Komponen saat membuat cluster.

• Cloud Shell: Cloud Shell di Google Cloud konsol telah menginstal perintah dan utilitas gcloud CLI, dan menyediakan fitur Pratinjau Web yang memungkinkan Anda terhubung dengan cepat melalui tunnel SSH ke port antarmuka web di cluster. Namun, koneksi ke cluster dari Cloud Shell menggunakan penerusan port lokal, yang membuka koneksi hanya ke satu port di antarmuka web cluster—beberapa perintah diperlukan untuk terhubung ke beberapa port. Selain itu, sesi Cloud Shell akan otomatis keluar setelah periode tidak aktif (30 menit).

• Google Cloud CLI: Perintah gcloud compute ssh dengan penerusan port dinamis memungkinkan Anda membuat tunnel SSH dan menjalankan server proxy SOCKS di atas tunnel. Setelah mengeluarkan perintah ini, Anda harus mengonfigurasi browser lokal untuk menggunakan proxy SOCKS. Metode koneksi ini memungkinkan Anda terhubung ke beberapa port di antarmuka web cluster. Lihat Dapatkah saya menggunakan penerusan port lokal, bukan proxy SOCKS? untuk mengetahui informasi selengkapnya.

Menetapkan variabel perintah yang umum digunakan

Untuk memudahkan penyalinan dan menjalankan contoh command line di mesin lokal atau di Cloud Shell lebih mudah, tetapkan gcloud dataproc variabel perintah. Variabel tambahan mungkin perlu ditetapkan untuk beberapa contoh perintah yang ditampilkan di halaman ini.

Linux/mac/Shell

export PROJECT=project;export HOSTNAME=hostname;export ZONE=zone

Windows

set PROJECT=project && set HOSTNAME=hostname && set ZONE=zone

• Tetapkan PROJECT keID Google Cloud project
• Tetapkan HOSTNAME ke nama node master di cluster Dataproc Anda (nama master diakhiri dengan akhiran -m)
• Tetapkan ZONE ke zona VM di cluster Dataproc Anda (misalnya, "us-central1-b")

Membuat tunnel SSH

Perintah gcloud

Jalankan gcloud perintah berikut di mesin lokal Anda untuk menyiapkan tunnel SSH dari port terbuka di mesin lokal Anda ke instance master cluster Anda, dan menjalankan server proxy SOCKS lokal yang memproses permintaan di port.

Sebelum menjalankan perintah, di mesin lokal Anda:

1. Tetapkan variabel perintah yang umum digunakan
2. Tetapkan variabel PORT ke port terbuka di mesin lokal Anda. Port 1080 adalah pilihan arbitrer tetapi umum karena kemungkinan akan terbuka.

   PORT=number
   

Linux/macOS

gcloud compute ssh ${HOSTNAME} \
    --project=${PROJECT} --zone=${ZONE}  -- \
    -D ${PORT} -N

Windows

gcloud compute ssh %HOSTNAME% ^
    --project=%PROJECT% --zone=%ZONE%  -- ^
    -D %PORT% -N

Pemisah -- memungkinkan Anda menambahkan SSH argumen ke perintah gcloud compute ssh, sebagai berikut:

• -Dmenentukan penerusan port tingkat aplikasi dinamis.
• -N menginstruksikan gcloud untuk tidak membuka shell jarak jauh.

Perintah gcloud ini membuat tunnel SSH yang beroperasi secara independen dari sesi shell SSH lainnya, menjaga error terkait tunnel agar tidak keluar dari output shell, dan membantu mencegah penutupan tunnel yang tidak disengaja.

Jika perintah ssh gagal dengan pesan error bind: Cannot assign requested address, kemungkinan penyebabnya adalah port yang diminta sedang digunakan. Coba jalankan perintah dengan nilai variabel PORT yang berbeda.

Perintah di atas berjalan di latar depan, dan harus terus berjalan agar tunnel tetap aktif. Perintah akan otomatis keluar jika dan saat Anda menghapus cluster.

Pilih untuk menjalankan perintah di latar belakang. Anda dapat menjalankan perintah sebagai proses latar belakang dengan menambahkan flag `-n` (-- -D ${PORT} -N -n), yang mengalihkan stdin dari /dev/null. Perhatikan bahwa flag -n mungkin tidak didukung di semua sistem operasi.

Cloud Shell

1. Buka Google Cloud Cloud Shell.

   

   Batas Waktu Sesi Cloud Shell: Sesi Cloud Shell akan otomatis keluar setelah periode tidak aktif (30 menit).

2. Jalankan perintah gcloud di bawah, di Cloud Shell untuk menyiapkan tunnel SSH dari port pratinjau Cloud Shell ke port antarmuka web di node master di cluster Anda. Sebelum menjalankan perintah, di Cloud Shell :

   1. Tetapkan variabel perintah yang umum digunakan
   2. Tetapkan variabel PORT1 ke port Cloud Shell dalam rentang port 8080 - 8084, dan tetapkan variabel PORT2 ke port antarmuka web di node master di cluster Dataproc Anda.

      PORT1=number
      PORT2=number
      

   gcloud compute ssh ${HOSTNAME} \
       --project=${PROJECT} --zone=${ZONE}  -- \
       -4 -N -L ${PORT1}:${HOSTNAME}:${PORT2}
   

   Pemisah -- memungkinkan Anda menambahkan SSH argumen ke perintah gcloud compute ssh, sebagai berikut:

   • -4 menginstruksikan ssh untuk hanya menggunakan IPv4.
   • -N menginstruksikan gcloud untuk tidak membuka shell jarak jauh.
   • -L ${PORT1}:${HOSTNAME}:${PORT2} menentukan penerusan port lokal dari Cloud Shell yang ditentukan PORT1 ke cluster HOSTNAME:PORT2.

   Perintah gcloud ini membuat tunnel SSH yang beroperasi secara independen dari sesi shell SSH lainnya, menjaga error terkait tunnel agar tidak keluar dari output shell, dan membantu mencegah penutupan tunnel yang tidak disengaja.

Mengonfigurasi browser

Perintah gcloud

Tunnel SSH Anda mendukung proxy traffic menggunakan protokol SOCKS. Untuk mengonfigurasi browser agar menggunakan proxy, mulai sesi browser baru dengan parameter server proxy. Berikut adalah contoh yang menggunakan browser Google Chrome. HOSTNAME adalah nama node master cluster (lihat Menetapkan variabel perintah yang umum digunakan).

Linux

/usr/bin/google-chrome \
    --proxy-server="socks5://localhost:${PORT}" \
    --user-data-dir=/tmp/${HOSTNAME}

macOS

"/Applications/Google Chrome.app/Contents/MacOS/Google Chrome" \
    --proxy-server="socks5://localhost:${PORT}" \
    --user-data-dir=/tmp/${HOSTNAME}

Windows

"%ProgramFiles(x86)%\Google\Chrome\Application\chrome.exe" ^
    --proxy-server="socks5://localhost:%PORT%" ^
    --user-data-dir="%Temp%\%HOSTNAME%"

Pengguna Windows 32 bit: Ubah %ProgramFiles(x86)% menjadi %ProgramFiles% dalam perintah di atas.

Perintah ini menggunakan flag browser Chrome berikut:

• -proxy-server="socks5://localhost:1080" memberi tahu Chrome untuk mengirim semua http:// dan https:// permintaan URL melalui server proxy SOCKS localhost:${PORT}, menggunakan protokol SOCKS versi 5. ${PORT} adalah variabel port yang Anda tetapkan di Membuat tunnel SSH. Nama host untuk URL di-resolve oleh server proxy, bukan secara lokal oleh Chrome.
• --user-data-dir=/tmp/${HOSTNAME} memaksa Chrome untuk membuka jendela baru yang tidak terikat ke sesi Chrome yang ada. Tanpa flag ini, Chrome dapat membuka jendela baru yang terlampir ke sesi Chrome yang ada, dan mengabaikan setelan --proxy-server Anda. Nilai yang ditetapkan untuk --user-data-dir dapat berupa jalur yang tidak ada.

Ekstensi proxy: Ekstensi pengelolaan proxy yang menyederhanakan pengelolaan dan penggunaan proxy di browser Anda tersedia untuk Chrome, Firefox, dan browser web lainnya.

Cloud Shell

Anda tidak perlu mengonfigurasi browser lokal saat menggunakan Cloud Shell. Setelah membuat tunnel SSH, gunakan Cloud Shell pratinjau web untuk terhubung ke antarmuka cluster.

Menghubungkan ke antarmuka cluster

Perintah gcloud

Setelah browser lokal dikonfigurasi untuk menggunakan proxy, Anda dapat membuka URL antarmuka web di cluster Dataproc (lihat Antarmuka yang tersedia). URL browser memiliki format dan konten berikut: http://cluster-name-m:port (port antarmuka cluster)

Cloud Shell

Klik tombol Pratinjau Web Cloud Shell , lalu pilih salah satu:

• "Pratinjau di port 8080", atau
• "Ubah port" dan masukkan nomor port dalam dialog

sesuai dengan nomor PORT1 Cloud Shell (port 8080 - 8084) yang Anda teruskan ke perintah gcloud compute ssh di Membuat tunnel SSH.

Jendela browser akan terbuka dan terhubung ke port antarmuka web di cluster master node.

Pesan Browser Chrome: Saat menggunakan browser Chrome, Anda mungkin melihat pesan jenis berikut di jendela terminal atau Cloud Shell yang Anda gunakan untuk membuat tunnel SSH.

channel 15: open failed: administratively prohibited: open failed
channel 16: open failed: administratively prohibited: open failed
channel 17: open failed: administratively prohibited: open failed

Ini bukan pesan error fatal. Browser Chrome menampilkan pesan ini saat tidak dapat memuat halaman, dan Anda mungkin melihat pesan ini meskipun berhasil terhubung ke antarmuka aplikasi di cluster.

FAQ dan tips proses debug

Bagaimana jika saya tidak melihat UI di browser?

Jika Anda tidak melihat UI di browser, dua alasan paling umum adalah:

1. Anda mengalami masalah konektivitas jaringan, mungkin karena firewall. Jalankan perintah berikut (setelah menetapkan variabel lokal) untuk melihat apakah Anda dapat melakukan SSH ke instance master. Jika tidak dapat, hal ini menandakan masalah konektivitas.

   Linux/macOS

   gcloud compute ssh ${HOSTNAME}-m \
       --project=${PROJECT}
   

   Windows

   gcloud compute ssh %HOSTNAME%-m ^
       --project=%PROJECT%
   

2. Proxy lain mengganggu proxy SOCKS. Untuk memeriksa proxy, jalankan perintah curl berikut (tersedia di Linux dan macOS):

   Linux/macOS

   curl -Is --socks5-hostname localhost:1080 http://cluster-name-m:8088
   

   Windows

   curl.exe -Is --socks5-hostname localhost:1080 http://cluster-name-m:8088
   

   Jika Anda melihat respons HTTP, proxy berfungsi, sehingga kemungkinan proxy SOCKS terganggu oleh ekstensi proxy atau browser lain.

Dapatkah saya menggunakan penerusan port lokal, bukan proxy SOCKS?

Selain proxy SOCKS, Anda dapat mengakses UI aplikasi web yang berjalan di instance master dengan penerusan port lokal SSH, yang meneruskan port master ke port lokal. Misalnya, perintah berikut memungkinkan Anda mengakses localhost:1080 untuk menjangkau cluster-name-m:8088 tanpa SOCKS (lihat Menetapkan variabel perintah yang umum digunakan):

Linux/macOS

gcloud compute ssh ${HOSTNAME}-m \
    --project=${PROJECT} -- \
    -L 1080:${HOSTNAME}-m:8088 -N -n

Windows

gcloud compute ssh %HOSTNAME%-m ^
    --project=%PROJECT% -- ^
    -L 1080:%HOSTNAME%-m:8088 -N -n

Dengan proxy SOCKS, Anda mengakses antarmuka UI jarak jauh yang berjalan di instance master dengan http://cluster-name-m:port, tetapi dengan penerusan port lokal, Anda mengakses UI aplikasi web instance master di http://localhost:port.

Penggunaan proxy SOCKS mungkin lebih baik daripada menggunakan penerusan port lokal karena proxy:

• memungkinkan Anda mengakses semua port aplikasi web tanpa harus menyiapkan tunnel penerusan port untuk setiap port UI
• memungkinkan UI web Spark dan Hadoop me-resolve host DNS dengan benar