שימוש במחשב

ארגזי חול לשימוש במחשב בפלטפורמת Agent Platform מספקים סביבת דפדפן מאובטחת ומבודדת שהסוכנים יכולים לקיים איתה אינטראקציה. ארגז החול מאפשר לסוכנים לבצע אוטומציה של משימות שמחקות אינטראקציות אנושיות (כמו לחיצה, ניווט באתרים וצילום מסך).

איך זה עובד

כשיוצרים ארגז חול לשימוש במחשב, Gemini Enterprise Agent Platform מספקת סביבה מבוססת-קונטיינר שמריצה סוכן דפדפן אינטרנט. יש שתי דרכים לשלוט בדפדפן:

  • בקשות API: שליחת פקודות לארגז החול כדי לבצע פעולות כמו מעבר לכתובת URL, לחיצה על רכיבים או הקלדת טקסט.
  • שליטה בדפדפן: התחברות לדפדפן באמצעות חיבור סטנדרטי של Chrome DevTools Protocol ‏ (CDP), שמאפשרת להשתמש בכלים לאוטומציה של הדפדפן (כמו Playwright) כדי להפוך את הדפדפן לאוטומטי.

לתשומת ליבכם

במהלך תקופת התצוגה המקדימה, זמן האחזור של ארגז החול לשימוש במחשב ב-Agent Platform מותאם לנפחי תעבורת נתונים נמוכים. יכול להיות שיהיו עיכובים זמניים בנפחי תנועה גבוהים יותר.

שליטה בדפדפן באמצעות API

אתם יכולים לשלוח בקשות API לסביבת הארגז כדי לבצע פעולות נפוצות בדפדפן. ארגז החול מטפל בהרצת הפעולות האלה בסביבה המבודדת שלו.

הפעולות הנתמכות כוללות:

  • ניווט לכתובת URL.
  • קליק על קואורדינטות ספציפיות.
  • הקלדת טקסט בשדות.
  • מצלמים את המסך.

דוגמה לאופן שליחת פקודות מופיעה במאמר מדריך למתחילים בנושא שימוש במחשב.

שליטה בדפדפן באמצעות חיבור CDP

כדי לבצע אוטומציה מתקדמת יותר, אפשר להתחבר לדפדפן של ארגז החול באמצעות חיבור של Chrome DevTools Protocol ‏ (CDP). בשיטה הזו אפשר להשתמש בכלים סטנדרטיים לאוטומציה של דפדפנים, כמו Playwright, כדי ליצור אינטראקציה עם דף האינטרנט.

כדי לחבר את Playwright לארגז החול:

  1. כדי ליצור את כתובת ה-URL של WebSocket וכותרות החובה של ארגז החול, משתמשים בשיטה generate_browser_ws_headers של Python SDK.

      service_account_email = "SERVICE_ACCOUNT_EMAIL"
  ws_url, ws_headers = client.agent_engines.sandboxes.generate_browser_ws_headers(
      sandbox_environment=sandbox,
      service_account_email=service_account_email,
  )

  2. משתמשים בשיטה connect_over_cdp של Playwright כדי ליצור חיבור.

    משתמשים בכתובת ה-URL ובכותרות של WebSocket שנוצרו כדי להתחבר דרך CDP באמצעות Playwright:

      import asyncio
  from playwright.async_api import async_playwright
  import nest_asyncio
  nest_asyncio.apply()

  async def connect_over_cdp(ws_url, ws_headers):
      async with async_playwright() as p:
          try:
              browser = await p.chromium.connect_over_cdp(
                  endpoint_url=ws_url,
                  headers=ws_headers
              )
              print("Successfully connected to browser over CDP.")

              # You can now interact with the browser
              page = browser.contexts[0].pages[0]
              await page.goto("https://www.example.com")
              print(f"Page title: {await page.title()}")

              await browser.close()
              print("Browser connection closed.")
          except Exception as e:
              print(f"An error occurred: {e}")

  # Run CDP connection
  asyncio.run(connect_over_cdp(ws_url, ws_headers))

צפייה בשידור חי

ארגזי חול לשימוש במחשב תומכים בתצוגה של שידור חי (VNC), ומאפשרים לכם לעקוב אחרי פעולות הסוכן בזמן אמת. אתם יכולים לנפות באגים ולבחון את ההתנהגות של הסוכן.

לדוגמה, אפשר להשתמש ב-noVNC כדי להתחבר לסביבת הארגז באמצעות WebSocket.

המאמרים הבאים