Penggunaan Komputer

Sandbox Penggunaan Komputer Agent Platform menyediakan lingkungan browser yang aman dan terisolasi yang dapat digunakan agen Anda untuk berinteraksi. Sandbox ini memungkinkan agen mengotomatiskan tugas yang meniru interaksi manusia (seperti mengklik, menavigasi situs, dan mengambil screenshot).

Cara kerjanya

Saat Anda membuat sandbox Penggunaan Komputer, Gemini Enterprise Agent Platform akan menyediakan lingkungan dalam container yang menjalankan agen browser web. Anda dapat mengontrol browser dengan dua cara:

  • Permintaan API: Kirim perintah ke sandbox untuk melakukan tindakan seperti membuka URL, mengklik elemen, atau mengetik teks.
  • Kontrol browser: Hubungkan ke browser menggunakan koneksi Chrome DevTools Protocol (CDP) standar, sehingga Anda dapat menggunakan alat otomatisasi browser (seperti Playwright) untuk mengotomatiskan browser.

Pertimbangan

Selama Pratinjau, latensi Sandbox Penggunaan Komputer Agent Platform dioptimalkan untuk volume traffic rendah. Volume traffic yang lebih tinggi mungkin akan mengalami latensi yang lebih tinggi untuk sementara.

Mengontrol browser menggunakan API

Anda dapat mengirim permintaan API ke sandbox untuk melakukan tindakan browser umum. Sandbox menangani eksekusi tindakan ini dalam lingkungan yang terisolasi.

Tindakan yang didukung meliputi:

  • Membuka URL.
  • Mengklik pada koordinat tertentu.
  • Mengetik teks ke dalam kolom.
  • Mengambil screenshot.

Untuk mengetahui contoh cara mengirim perintah, lihat panduan memulai Penggunaan Komputer.

Mengontrol browser menggunakan koneksi CDP

Untuk otomatisasi yang lebih canggih, Anda dapat menghubungkan ke browser sandbox melalui koneksi Chrome DevTools Protocol (CDP). Metode ini memungkinkan Anda menggunakan alat otomatisasi browser standar, seperti Playwright, untuk berinteraksi dengan halaman web.

Untuk menghubungkan Playwright ke sandbox:

  1. Buat URL WebSocket dan header yang diperlukan untuk sandbox Anda menggunakan metode generate_browser_ws_headers Python SDK.
service_account_email = "SERVICE_ACCOUNT_EMAIL"
ws_url, ws_headers = client.agent_engines.sandboxes.generate_browser_ws_headers(
    sandbox_environment=sandbox,
    service_account_email=service_account_email,
)
  1. Gunakan metode connect_over_cdp Playwright untuk membuat koneksi.

Gunakan URL dan header WebSocket yang dibuat untuk terhubung melalui CDP menggunakan Playwright:

import asyncio
from playwright.async_api import async_playwright
import nest_asyncio
nest_asyncio.apply()

async def connect_over_cdp(ws_url, ws_headers):
    async with async_playwright() as p:
        try:
            browser = await p.chromium.connect_over_cdp(
                endpoint_url=ws_url,
                headers=ws_headers
            )
            print("Successfully connected to browser over CDP.")

            # You can now interact with the browser
            page = browser.contexts[0].pages[0]
            await page.goto("https://www.example.com")
            print(f"Page title: {await page.title()}")

            await browser.close()
            print("Browser connection closed.")
        except Exception as e:
            print(f"An error occurred: {e}")

# Run CDP connection
asyncio.run(connect_over_cdp(ws_url, ws_headers))

Tampilan live streaming

Sandbox Penggunaan Komputer mendukung tampilan live streaming (VNC), sehingga Anda dapat memantau tindakan agen secara visual dalam waktu nyata. Anda dapat men-debug dan mengamati perilaku agen.

Langkah berikutnya