שימוש במחשב

ארגזי חול לשימוש במחשב ב-Agent Platform מספקים סביבת דפדפן מאובטחת ומבודדת שהסוכנים יכולים ליצור איתה אינטראקציה. ארגזי החול האלה מאפשרים לסוכנים לבצע אוטומציה של משימות שמדמות אינטראקציות אנושיות (כמו לחיצה, ניווט באתרים וצילום מסך).

איך זה עובד

כשיוצרים ארגז חול לשימוש במחשב, Gemini Enterprise Agent Platform מספקת סביבה מבוססת-קונטיינר שמריצה סוכן דפדפן אינטרנט. יש שתי דרכים לשלוט בדפדפן:

  • בקשות API: שליחת פקודות לארגז החול כדי לבצע פעולות כמו מעבר לכתובת URL, לחיצה על רכיבים או הקלדת טקסט.
  • שליטה בדפדפן: התחברות לדפדפן באמצעות חיבור סטנדרטי של Chrome DevTools Protocol ‏ (CDP), שמאפשרת להשתמש בכלים לאוטומציה של הדפדפן (כמו Playwright) כדי להפוך את הדפדפן לאוטומטי.

שליטה בדפדפן באמצעות API

אתם יכולים לשלוח בקשות API לסביבת הארגז כדי לבצע פעולות נפוצות בדפדפן. ארגז החול מטפל בהרצת הפעולות האלה בסביבה המבודדת שלו.

דוגמאות לפעולות נתמכות:

  • ניווט לכתובת URL.
  • קליק על קואורדינטות ספציפיות.
  • הקלדת טקסט בשדות.
  • מצלמים את המסך.

דוגמה לאופן שליחת פקודות מופיעה במאמר מדריך למתחילים בנושא שימוש במחשב.

שליטה בדפדפן באמצעות חיבור CDP

כדי ליצור אוטומציה מתקדמת יותר, אפשר להתחבר לדפדפן של ארגז החול באמצעות חיבור של Chrome DevTools Protocol ‏ (CDP). השיטה הזו מאפשרת לכם להשתמש בכלי אוטומציה סטנדרטיים של דפדפנים, כמו Playwright, כדי ליצור אינטראקציה עם דף האינטרנט.

כדי לחבר את Playwright לארגז החול:

  1. כדי ליצור את כתובת ה-URL של WebSocket וכותרות החובה של ארגז החול, משתמשים בשיטה generate_browser_ws_headers של Python SDK.

      service_account_email = "SERVICE_ACCOUNT_EMAIL"
  ws_url, ws_headers = client.agent_engines.sandboxes.generate_browser_ws_headers(
      sandbox_environment=sandbox,
      service_account_email=service_account_email,
  )

  2. משתמשים בשיטה connect_over_cdp של Playwright כדי ליצור חיבור.

    משתמשים בכתובת ה-URL ובכותרות של WebSocket שנוצרו כדי להתחבר דרך CDP באמצעות Playwright:

      import asyncio
  from playwright.async_api import async_playwright
  import nest_asyncio
  nest_asyncio.apply()

  async def connect_over_cdp(ws_url, ws_headers):
      async with async_playwright() as p:
          try:
              browser = await p.chromium.connect_over_cdp(
                  endpoint_url=ws_url,
                  headers=ws_headers
              )
              print("Successfully connected to browser over CDP.")

              # You can now interact with the browser
              page = browser.contexts[0].pages[0]
              await page.goto("https://www.example.com")
              print(f"Page title: {await page.title()}")

              await browser.close()
              print("Browser connection closed.")
          except Exception as e:
              print(f"An error occurred: {e}")

  # Run CDP connection
  asyncio.run(connect_over_cdp(ws_url, ws_headers))

צפייה בשידור חי

ארגזי חול לשימוש במחשב תומכים בתצוגה של שידור חי (VNC), ומאפשרים לכם לעקוב אחרי פעולות הסוכן בזמן אמת. אתם יכולים לנפות באגים ולעקוב אחרי ההתנהגות של הסוכן.

לדוגמה, אפשר להשתמש ב-noVNC כדי להתחבר לארגז החול באמצעות WebSocket.

המאמרים הבאים