Utilisation d'un ordinateur

Les bacs à sable d'utilisation de l'ordinateur Agent Platform fournissent un environnement de navigateur sécurisé et isolé avec lequel vos agents peuvent interagir. Ces bacs à sable permettent aux agents d'automatiser des tâches qui imitent les interactions humaines (par exemple, cliquer, naviguer sur des sites et effectuer des captures d'écran).

Fonctionnement

Lorsque vous créez un bac à sable d'utilisation de l'ordinateur, Gemini Enterprise Agent Platform provisionne un environnement conteneurisé qui exécute un agent de navigateur Web. Vous pouvez contrôler le navigateur de deux manières :

  • Requêtes API : envoyez des commandes au bac à sable pour effectuer des actions telles que la navigation vers une URL, le clic sur des éléments ou la saisie de texte.
  • Contrôle du navigateur : connectez-vous au navigateur à l'aide d'une connexion standard Chrome DevTools Protocol (CDP), ce qui vous permet d'utiliser des outils d'automatisation du navigateur (tels que Playwright) pour automatiser le navigateur.

Remarques

Pendant la version bêta, la latence du bac à sable d'utilisation de l'ordinateur de l'Agent Platform est optimisée pour les faibles volumes de trafic. Les volumes de trafic plus élevés peuvent temporairement entraîner une latence plus élevée.

Contrôler le navigateur à l'aide de l'API

Vous pouvez envoyer des requêtes API au bac à sable pour effectuer des actions courantes dans le navigateur. Le bac à sable gère l'exécution de ces actions dans son environnement isolé.

Les actions suivantes sont acceptées :

  • Accéder à une URL
  • Cliquer sur des coordonnées spécifiques
  • Saisir du texte dans des champs
  • Effectuer des captures d'écran

Pour obtenir un exemple d'envoi de commandes, consultez le guide de démarrage rapide sur l'utilisation de l'ordinateur.

Contrôler le navigateur à l'aide d'une connexion CDP

Pour une automatisation plus avancée, vous pouvez vous connecter au navigateur du bac à sable via une connexion Chrome DevTools Protocol (CDP). Cette méthode vous permet d'utiliser des outils d'automatisation de navigateur standards, tels que Playwright, pour interagir avec la page Web.

Pour connecter Playwright au bac à sable :

  1. Générez l'URL WebSocket et les en-têtes requis pour votre bac à sable à l'aide de la méthode generate_browser_ws_headers du SDK Python.

      service_account_email = "SERVICE_ACCOUNT_EMAIL"
  ws_url, ws_headers = client.agent_engines.sandboxes.generate_browser_ws_headers(
      sandbox_environment=sandbox,
      service_account_email=service_account_email,
  )

  2. Utilisez la méthode connect_over_cdp de Playwright pour établir une connexion.

    Utilisez l'URL WebSocket et les en-têtes générés pour vous connecter via CDP à l'aide de Playwright :

      import asyncio
  from playwright.async_api import async_playwright
  import nest_asyncio
  nest_asyncio.apply()

  async def connect_over_cdp(ws_url, ws_headers):
      async with async_playwright() as p:
          try:
              browser = await p.chromium.connect_over_cdp(
                  endpoint_url=ws_url,
                  headers=ws_headers
              )
              print("Successfully connected to browser over CDP.")

              # You can now interact with the browser
              page = browser.contexts[0].pages[0]
              await page.goto("https://www.example.com")
              print(f"Page title: {await page.title()}")

              await browser.close()
              print("Browser connection closed.")
          except Exception as e:
              print(f"An error occurred: {e}")

  # Run CDP connection
  asyncio.run(connect_over_cdp(ws_url, ws_headers))

Vue de la diffusion en direct

Les bacs à sable d'utilisation de l'ordinateur sont compatibles avec une vue de diffusion en direct (VNC), ce qui vous permet de surveiller visuellement les actions de l'agent en temps réel. Vous pouvez déboguer et observer le comportement de l'agent.

Par exemple, vous pouvez utiliser noVNC pour vous connecter au bac à sable via WebSocket.

Étape suivante