Buat alat otomatisasi atau jalankan sistem operasi (OS) desktop lengkap di container Cloud Run Anda untuk memungkinkan agen AI menjelajahi dan mengekstrak informasi dari web, serta mengotomatiskan tindakan melalui klik mouse dan input keyboard.
Membangun alat browser di Cloud Run
Untuk membuat alat browser di Cloud Run, gunakan salah satu pendekatan berikut:
- Browser tanpa antarmuka untuk tugas yang efisien dan berskala besar
- OS desktop lengkap untuk skenario kompleks yang memerlukan interaksi manusia-komputer
Agar agen AI Anda dapat menjelajahi web, instal Chromium di penampung Cloud Run Anda, dan berikan izin yang diperlukan agar agen dapat mengakses Chromium. Cloud Run menyediakan dukungan streaming bawaan untuk melakukan streaming data browser kembali ke agen atau pengguna akhir.
Chrome Headless
Otomatiskan tugas browser umum secara terprogram dengan Chrome tanpa antarmuka. Anda dapat menggunakan Chrome headless untuk kasus penggunaan berikut:
- Ekstraksi data dan scraping web skala besar
- Pengiriman formulir
- Pengujian UI
- Membuat PDF atau screenshot halaman web
Terapkan Chrome headless menggunakan library berikut:
Library API tingkat tinggi seperti Puppeteer atau Playwright: gunakan library ini untuk mengontrol browser, memberikan petunjuk kepada browser untuk membuka situs, mengekstrak konten, dan meneruskannya ke model AI untuk meringkas atau mengekstrak data terstruktur.
Protokol Chrome DevTools: menyediakan API stabil yang digunakan oleh Chrome DevTools. API ini mengekspos semua fitur browser secara terprogram. Agen mengontrol tindakan seperti klik mouse dan mengambil hasilnya sebagai teks atau data piksel dalam bentuk screenshot.
OS Desktop dengan streaming virtual network computing (VNC)
Terapkan OS desktop lengkap di container Cloud Run Anda untuk proses yang kompleks, seperti berikut:
- Mengotomatiskan upload atau download file
- Berinteraksi dengan ekstensi browser atau aplikasi desktop lainnya
- Menguji perjalanan pengguna yang kompleks yang melibatkan operasi tarik lalu lepas dan gerakan mouse rumit lainnya
Pendekatan ini memungkinkan Anda menjalankan OS desktop lengkap di Cloud Run dan melakukan streaming hasilnya kembali melalui Websocket.
Saat Anda menginstal browser Chromium standar di desktop ini, agen akan berinteraksi dengan OS seperti yang dilakukan manusia, lalu mengambil konfigurasi piksel desktop.