Computernutzung

Agent Platform-Sandboxes für die Computernutzung bieten eine sichere, isolierte Browserumgebung, mit der Ihre Agenten interagieren können. Mit diesen Sandboxes können Agenten Aufgaben automatisieren, die menschliche Interaktionen nachahmen (z. B. Klicken, Navigieren auf Websites und Erstellen von Screenshots).

Funktionsweise

Wenn Sie eine Sandbox für die Computernutzung erstellen, stellt die Gemini Enterprise Agent Platform eine containerisierte Umgebung bereit, in der ein Webbrowser-Agent ausgeführt wird. Sie können den Browser auf zwei Arten steuern:

  • API-Anfragen: Senden Sie Befehle an die Sandbox, um Aktionen wie das Aufrufen einer URL, das Klicken auf Elemente oder das Eingeben von Text auszuführen.
  • Browsersteuerung: Stellen Sie eine Verbindung zum Browser über eine Standardverbindung mit dem Chrome DevTools Protocol (CDP) her. So können Sie Browserautomatisierungstools wie Playwright verwenden, um den Browser zu automatisieren.

Browser über die API steuern

Sie können API-Anfragen an die Sandbox senden, um gängige Browseraktionen auszuführen. Die Sandbox führt diese Aktionen in ihrer isolierten Umgebung aus.

Unterstützte Aktionen:

  • Zu einer URL navigieren
  • An bestimmten Koordinaten klicken
  • Text in Felder eingeben
  • Screenshots erstellen

Ein Beispiel zum Senden von Befehlen finden Sie in der Kurzanleitung zur Computernutzung.

Browser über eine CDP-Verbindung steuern

Für eine erweiterte Automatisierung können Sie über eine Chrome DevTools Protocol-Verbindung (CDP) eine Verbindung zum Sandbox-Browser herstellen. Mit dieser Methode können Sie Standardtools zur Browserautomatisierung wie Playwright verwenden, um mit der Webseite zu interagieren.

So verbinden Sie Playwright mit der Sandbox:

  1. Generieren Sie die WebSocket-URL und die erforderlichen Header für Ihre Sandbox mit der Python SDK generate_browser_ws_headers Methode.

      service_account_email = "SERVICE_ACCOUNT_EMAIL"
  ws_url, ws_headers = client.agent_engines.sandboxes.generate_browser_ws_headers(
      sandbox_environment=sandbox,
      service_account_email=service_account_email,
  )

  2. Stellen Sie mit der Methode connect_over_cdp von Playwright eine Verbindung her.

    Verwenden Sie die generierte WebSocket-URL und die Header, um über CDP eine Verbindung mit Playwright herzustellen:

      import asyncio
  from playwright.async_api import async_playwright
  import nest_asyncio
  nest_asyncio.apply()

  async def connect_over_cdp(ws_url, ws_headers):
      async with async_playwright() as p:
          try:
              browser = await p.chromium.connect_over_cdp(
                  endpoint_url=ws_url,
                  headers=ws_headers
              )
              print("Successfully connected to browser over CDP.")

              # You can now interact with the browser
              page = browser.contexts[0].pages[0]
              await page.goto("https://www.example.com")
              print(f"Page title: {await page.title()}")

              await browser.close()
              print("Browser connection closed.")
          except Exception as e:
              print(f"An error occurred: {e}")

  # Run CDP connection
  asyncio.run(connect_over_cdp(ws_url, ws_headers))

Livestream-Ansicht

Sandboxes für die Computernutzung unterstützen eine Livestream-Ansicht (VNC), mit der Sie die Aktionen des Agenten in Echtzeit visuell beobachten können. Sie können das Verhalten des Agenten debuggen und beobachten.

Sie können beispielsweise noVNC verwenden, um über WebSocket eine Verbindung zur Sandbox herzustellen.

Nächste Schritte