‫VPC Service Controls עם Gemini Enterprise Agent Platform

בעזרת VPC Service Controls תוכלו לצמצם את הסיכון לזליגת נתונים מ-Gemini Enterprise Agent Platform. בעזרת VPC Service Controls תוכלו ליצור גבולות גזרה לשירות שיגנו על המשאבים והנתונים שאתם מציינים. לדוגמה, כשמשתמשים ב-VPC Service Controls כדי להגן על Agent Platform, אי אפשר להוציא את הפריטים הבאים מגבולות הגזרה לשירות:

  • נתוני אימון למודל AutoML או למודל בהתאמה אישית
  • מודלים שיצרתם
  • מודלים שחיפשתם באמצעות Neural Architecture Search ב-Agent Platform
  • בקשות להסקת מסקנות אונליין
  • תוצאות מבקשת הסקה באצווה
  • המודלים של Gemini

שליטה בגישה ל-Google APIs

ממשקי ה-API של Agent Platform, כפי שמתואר במאמר גישה ל-Gemini Enterprise Agent Platform ממיקום מקומי ומסביבות מרובות עננים, כוללים מגוון אפשרויות גישה, כולל אינטרנט ציבורי, Private Service Connect לממשקי Google APIs וגישה פרטית ל-Google.

גישה ציבורית

כברירת מחדל, אפשר להגיע לממשקי ה-API הציבוריים האלה מהאינטרנט, אבל נדרשות הרשאות IAM כדי להשתמש בהם. תכונות כמו Private Service Connect ל-Google APIs וגישה פרטית ל-Google מאפשרות תקשורת פרטית בארכיטקטורות של רשתות היברידיות, אבל הן לא מבטלות את הגישה הציבורית לאינטרנט לממשקי Agent Platform APIs.

כדי להגדיר בקרה מפורטת על גישה ל-API ולהגביל באופן מפורש את החשיפה לאינטרנט הציבורי, חשוב להטמיע את VPC Service Controls. כשמקימים היקף של VPC Service Controls‏ (VPC-SC) וכוללים את Gemini Enterprise בשירותים המוגנים שלו, כל הגישה לאינטרנט הציבורי למופע של Agent Platform נחסמת באופן אוטומטי. כתוצאה מכך, למשתמשים שמנסים לגשת לשירותי Agent Platform באופן פרוגרמטי או באמצעות מסוף Google Google Cloud , הגישה נדחית אלא אם הם נכללים ברשימת ההיתרים.

כדי לשחזר את הגישה למקורות מורשים מחוץ לגבולות הגזרה (לדוגמה, משתמשים במשרדים של החברה), אפשר לעיין בהוראות הפריסה במאמר איך מאפשרים גישה לנקודות קצה ציבוריות למשאבים מוגנים מחוץ לגבולות הגזרה של VPC Service Controls.

גישה פרטית

ארגונים שצריכים להגביל את הגישה הציבורית לממשקי Google APIs לגישה פרטית יכולים להשתמש ב-VPC Service Controls בשילוב עם Private Service Connect לממשקי Google APIs (חבילת VPC Service Controls) או עם גישה פרטית ל-Google. כשפורסים את האפשרויות האלה ברשת היברידית ובתוך Google Cloud, שתיהן מאפשרות גישה פרטית לממשקי Google APIs מתוך רשת מקומית. עם זאת, Private Service Connect ל-Google APIs מאפשר גם גמישות בהגדרת כתובת IP מותאמת אישית ושם נקודת קצה (endpoint) של DNS.

מומלץ להשתמש בכתובת IP וירטואלית (VIP) מוגבלת עם Private Service Connect לממשקי Google APIs או עם גישה פרטית ל-Google, כדי לספק נתיב רשת פרטי לבקשות לשירותים בלי לחשוף את הבקשות לאינטרנט. Google Cloud כתובת ה-VIP המוגבלת תומכת בכל ממשקי ה-API ש-VPC Service Controls יכול להגן עליהם, ושנדרשים בהם שיקולים לגבי רשתות מקומיות ורשתות VPC. הנה כמה דוגמאות:

שליטה בגישה ל-API באמצעות גישה לשירותים פרטיים

ממשקי ה-API הבאים של Agent Platform שנפרסו עם גישה לשירותים פרטיים דורשים הגדרת רשת נוספת כשמטמיעים אותם בסביבה שמוגנת באמצעות VPC Service Controls:

  • חיפוש וקטורי (שאילתת אינדקס)
  • אימון בהתאמה אישית (מישור הנתונים)
  • Agent Platform Pipelines
  • נקודות קצה פרטיות של חיזוי אונליין

לדוגמה, Agent Platform Pipelines הוא שירות מנוהל (יצרן) של Google, שנפרס בפרויקט של דייר יחיד וברשת VPC עם יכולת להרחיב שירותים נתמכים על סמך דרישות הצרכן. התקשורת בין רשתות היצרן והצרכן מתבצעת באמצעות קישור בין רשתות VPC, למעט תעבורת נתונים יוצאת (egress) לאינטרנט, שמנותבת דרך רשת היצרן.

ברשת של הספק קיימת נתיב ברירת מחדל שמאפשר יציאה מהאינטרנט, בנוסף לגישה בלתי מוגבלת לממשקי API של Google. כדי לעדכן את רשת הבעלים כך שתתמוך ב-VIP מוגבל, צריך להפעיל את VPC Service Controls לקישורים לרשתות שכנות. הפעולה הזו מבצעת את הפעולות הבאות בכל השירותים הנתמכים שנפרסו ברשת הבעלים של Service Networking:

  • הסרת מסלול ברירת המחדל של IPv4 (יעד 0.0.0.0/0, שער ברירת המחדל של הצעד הבא באינטרנט).
  • יצירה של תחומים פרטיים מנוהלים ב-Cloud DNS ומתן הרשאה לתחומים האלה ברשת ה-VPC של בעלים של שירות מנוהל. האזורים כוללים את googleapis.com,‏ pkg.dev,‏ gcr.io ודומיינים או שמות מארחים נדרשים אחרים לממשקי Google API ולשירותים שתואמים ל-VPC Service Controls.
  • נתוני הרשומה באזורים פותרים את כל שמות המארחים ל-199.36.153.4,‏ 199.36.153.5,‏ 199.36.153.6 ו-199.36.153.7.

שיטה חלופית להסרת נתיב ברירת המחדל מרשת היצרן בלי להשפיע על שירותים קיימים שמנוהלים על ידי Google היא שימוש ב-HA VPN over Cloud Interconnect. השיטה הזו כוללת את השלבים הבאים:

  1. פריסת רשת VPC של שירותים בנוסף ל-HA VPN ברשת ה-VPC של הצרכן.
  2. פריסת שירותים בניהול Google ברשת ה-VPC של השירותים.
  3. מפעילים את VPC Service Controls לקישורים לרשתות שכנות.
  4. אם השירותים המנוהלים דורשים נגישות מקומית, צריך לפרסם את רשת המשנה של הגישה לשירותים פרטיים כפרסום של מסלול בהתאמה אישית מ-Cloud Router.
  5. מעדכנים את הקישור בין רשתות VPC שכנות (peering) ב-Service Networking באמצעות האפשרות ייצוא מסלולים מותאמים אישית.

תמיכה ב-VPC Service Controls בצינורות (pipelines) לכוונון של AI גנרטיבי

תמיכה ב-VPC Service Controls ניתנת בצינור ההתאמה של הדגמים הבאים:

  • text-bison for PaLM 2
  • BERT
  • T5
  • משפחת המודלים textembedding-gecko.

שימוש ב-VPC Service Controls עם צינורות של Gemini Enterprise Agent Platform

גבולות גזרה לשירות חוסמים את הגישה מ-Agent Platform לממשקי API ולשירותים של צד שלישי באינטרנט. אם אתם משתמשים ברכיבי צינור שלGoogle Cloud או יוצרים רכיבי צינור מותאמים אישית משלכם לשימוש בצינורות של Agent Platform, לא תוכלו להתקין תלות ב-PyPI ממאגר הרישום הציבורי של Python Package Index‏ (PyPI). במקום זאת, צריך לבצע אחת מהפעולות הבאות:

שימוש במאגרי תגים בהתאמה אישית

כדי להבטיח שהתוכנה תפעל בצורה חלקה, מומלץ לכותבי רכיבים להשתמש ברכיבי Python מבוססי-קונטיינר ולבנות את התלות בתמונת הקונטיינר, כך שלא נדרשת התקנה בזמן אמת במהלך הפעלת צינור. אפשר לעשות את זה כך:

  1. יצירת קובץ אימג' של קונטיינר משלכם באמצעות Kubeflow Pipelines SDK וחבילות אחרות שהותקנו מראש. לדוגמה, אפשר להשתמש ב-us-docker.pkg.dev/vertex-ai/training/tf-cpu.2-17:latest כשכבת הבסיס של התמונה ולהוסיף שכבה נוספת כדי להתקין את החבילות בזמן משך זמן של תהליך build של הקונטיינר.

  2. מעדכנים את קוד הגדרת הרכיב כדי להגדיר את הנתיב base_image ואת הדגל install_kfp_package לערך False. הדגל הזה מורה לקומפיילר של KFP לא להוסיף פקודה של pip install kfp לשורת הפקודה של הקונטיינר, כי חבילת ה-SDK של Kubeflow Pipelines כבר מותקנת בתמונה. לדוגמה:

    @component(
    base_image='gcr.io/deeplearning-platform-release/tf-cpu.2-17',
    install_kfp_package=False,
)
def my_component(...):
    ...

התקנת חבילות ממאגר Artifact Registry

אפשרות אחרת היא ליצור מאגר Artifact Registry בפרויקט, לאחסן בו חבילות Python ולהגדיר את סביבת Agent Platform להתקנה ממנו, כמו שמתואר בקטע הזה. מידע נוסף מופיע במאמר בנושא ניהול חבילות Python.

הגדרת תפקידים והרשאות

  1. לחשבון השירות של סביבת Agent Platform צריך להיות מוקצה התפקיד iam.serviceAccountUser.
  2. אם מתקינים חבילות PyPI בהתאמה אישית ממאגר ברשת של הפרויקט, ולמאגר הזה אין כתובת IP ציבורית:
    1. מקצים הרשאות גישה למאגר הזה לחשבון השירות של הסביבה.
    2. מוודאים שהקישור למאגר הזה מוגדר בפרויקט.

יצירת המאגר

  1. יוצרים מאגר Artifact Registry במצב VPC בפרויקט.
  2. מאחסנים במאגר את חבילות Python הנדרשות.

הגדרת סביבת Agent Platform להתקנה מהמאגר

כדי להתקין חבילות PyPI בהתאמה אישית ממאגר אחד או יותר של Artifact Registry, מבצעים קריאה דומה לזו שבהמשך אל @dsl.component:

@dsl.component(packages_to_install=["tensorflow"],
pip_index_urls=['https://us-central1-python.pkg.dev/mygcpproject1/pypi-repo1/simple', 'https://us-central1-python.pkg.dev/mygcpproject2/pypi-repo2/simple'],)
def hello_world(text: str) -> str:
    import my_package
    import tensorflow

    return my_package.hello_world(text)

שימוש ב-VPC Service Controls עם ממשק PSC

ממשקי ה-API הבאים של Agent Platform שנפרסו עם ממשק חיבור של שירותים פרטיים דורשים הגדרת רשת נוספת כשמטמיעים אותם בסביבה שמוגנת באמצעות VPC Service Controls:

  • אימון בהתאמה אישית (מישור הנתונים)
  • Agent Platform Pipelines
  • נקודות קצה פרטיות של הסקת מסקנות אונליין
  • Agent Runtime

היכולת של ספקי Agent Platform לגשת לאינטרנט הציבורי תלויה בהגדרת האבטחה של הפרויקט, ובמיוחד בשאלה אם אתם משתמשים ב-VPC Service Controls:

  • ללא VPC Service Controls: לדייר שמנוהל על ידי Google ומארח את Agent Platform יש גישה לאינטרנט כברירת מחדל. התנועה היוצאת הזו יוצאת ישירות מהסביבה המאובטחת שמנוהלת על ידי Google, שבה פועל שירות היצרן. החריג להתנהגות הזו הוא Agent Runtime, שלא מספק תעבורת נתונים יוצאת (egress) לאינטרנט. במקום זאת, אתם נדרשים לפרוס מכונה וירטואלית של שרת proxy עם כתובת RFC 1918 לתעבורת נתונים יוצאת (egress) באינטרנט.

  • עם VPC Service Controls: כשהפרויקט שלכם נמצא בתוך גבולות גזרה של VPC Service Controls‏ (VPC-SC), הגישה לאינטרנט שמוגדרת כברירת מחדל בסביבה שמנוהלת על ידי Google ומארחת את Agent Platform נחסמת. המגבלה הזו היא אמצעי אבטחה שנועד למנוע זליגת נתונים. כדי לאפשר ל-Agent Platform לגשת לאינטרנט הציבורי בתרחיש הזה, צריך להגדיר במפורש נתיב יציאה מאובטח שמנתב את התנועה דרך רשת ה-VPC.

השיטה המומלצת כוללת:

  1. פריסת שרת proxy בתוך היקף ה-VPC שלכם ברשת משנה מסוג RFC 1918.
  2. יצירת שער Cloud NAT כדי לאפשר למכונת ה-proxy להגיע לאינטרנט.
  3. הגדרת שרת ה-proxy (כתובת IP או FQDN) בסביבת זמן הריצה.

אין פרוקסי מומלץ או מועדף לרשת עבור המשימה הזו. אפשר להשתמש בכל פתרון מתאים. דוגמאות: ‫Squid proxy,‏ HAProxy,‏ Envoy ו-TinyProxy.

יצירה של גבולות גזרה לשירות

סקירה כללית על יצירת גבולות גזרה לשירות זמינה במאמר יצירת גבולות גזרה לשירות במסמכי העזרה של VPC Service Controls.

הוספת שירותים מוגבלים לגבולות הגזרה שלך

כשמגדירים גבולות גזרה לשירות, מומלץ לכלול את כל השירותים המוגבלים כשיטה מומלצת לאבטחה. הגישה המקיפה הזו עוזרת לצמצם את הפגיעות הפוטנציאליות ואת הגישה הלא מורשית. עם זאת, יכול להיות שיהיו תרחישים שבהם לארגון שלכם יש דרישות ספציפיות שמתמקדות בהגנה על Gemini Enterprise Agent Platform וממשקי ה-API המקושרים שלה. במקרים כאלה, יש לכם אפשרות לבחור ולכלול רק את ממשקי ה-API הספציפיים של Agent Platform שחיוניים לפעילות שלכם.

אלה ממשקי ה-API של Agent Platform שאפשר לשלב בגבולות גזרה לשירות:

  • ‫Gemini Enterprise Agent Platform תומכת בשירותים ובתכונות הבאים:
    • היסק באצווה
    • מערכי נתונים
    • מאגר התכונות של Agent Platform (שירות אונליין של Bigtable)
    • חנות התכונות של Agent Platform (הצגה אונליין אופטימלית) (הוצא משימוש)
    • ‫AI גנרטיבי ב-Gemini Enterprise Agent Platform‏ (Gemini)
    • מרשם המודלים
    • הסקת מסקנות אונליין
    • כוונון מודלים פתוחים
    • חיפוש וקטור (יצירת אינדקס)
    • חיפוש וקטורי (שאילתת אינדקס)
    • אימון בהתאמה אישית (מישור הבקרה)
    • אימון בהתאמה אישית (מישור הנתונים)
    • Agent Platform Pipelines
    • נקודות קצה פרטיות של הסקת מסקנות אונליין
    • Colab Enterprise
    • Agent Runtime
    • אשכולות אימון מנוהלים
  • ‫Notebooks API תומך בשירות הבא:
    • סביבת העבודה של Gemini Enterprise Agent Platform

מגבלות

ההגבלות הבאות חלות כשמשתמשים ב-VPC Service Controls:

  • השליפה בזמן אמת של הקשר של כתובת ה-URL מושבתת בפרויקטים של VPC-SC כדי לחסום את זליגת הנתונים.
  • כדי לתייג נתונים, צריך להוסיף את כתובות ה-IP של המתייגים לרמת גישה.
  • ב- Google Cloud Pipeline Components, הרכיבים מפעילים קונטיינרים שבודקים את קובץ האימג' הבסיסי שלהם כדי לוודא שהוא עומד בכל הדרישות. החבילה KFP, וכל חבילה שמופיעה בארגומנט packages_to_install, הן הדרישות לקונטיינר. אם דרישות שצוינו לא קיימות כבר בתמונת הבסיס (בין אם הן סופקו או מותאמות אישית), הרכיב מנסה להוריד אותן מאינדקס חבילות Python‏ (PyPI). ההורדה נכשלת עם השגיאה Connection to pypi.org timed out כי גבולות גזרה לשירות חוסמים גישה מ-Gemini Enterprise Agent Platform לממשקי API ולשירותים של צד שלישי באינטרנט. במאמר שימוש ב-VPC Service Controls עם צינורות של Agent Platform מוסבר איך להימנע מהשגיאה הזו.
  • כשמשתמשים ב-VPC Service Controls עם ליבות מותאמות אישית ב-Agent Platform Workbench, צריך להגדיר במקום זאת DNS peering כדי לשלוח בקשות ל-*.notebooks.googleusercontent.com לרשת המשנה 199.36.153.8/30 (private.googleapis.com) במקום ל-199.36.153.4/30 (restricted.googleapis.com).
  • כשמשתמשים ב-VPC Service Controls עם Gemini Enterprise Agent Platform Inference, צריך ליצור את נקודות הקצה אחרי שמוסיפים את הפרויקט לגבולות גזרה לשירות. אם נקודת קצה נוצרת בפרויקט שלא נכלל בגבולות גזרה לשירות, ואחר כך הפרויקט הזה נוסף לגבולות גזרה לשירות, ניסיון לפרוס מודל לנקודת הקצה הזו ייכשל. אם נקודת הקצה היא נקודת קצה ציבורית משותפת, שליחת בקשה לנקודת הקצה תיכשל גם כן. באופן דומה, ניסיון לפרוס מודל לנקודת קצה ייכשל אם נקודת הקצה נוצרה בפרויקט שהיה חלק מגבולות גזרה לשירות, ולאחר מכן הפרויקט הוסר.
  • כשמשתמשים ב-VPC Service Controls עם Agent Runtime, הפרויקט צריך להיות חלק מגבולות גזרה לשירות לפני שמפעילים את הסוכן. אם סוכן נפרס לפני שהפרויקט נוסף לגבולות גזרה, הסוכן לא יהיה מאובטח על ידי VPC Service Controls ותהיה לו גישה לאינטרנט הציבורי.
  • פריסות ציבוריות בלחיצה אחת (נקודת קצה ייעודית) של Model Garden לא נתמכות בסביבת VPC-SC. במקום זאת, אפשר להשתמש בנקודת קצה פרטית שתומכת ב-VPC Service Controls. מידע נוסף זמין במאמר בנושא פריסת מודל לנקודת קצה פרטית.
  • רישום ביומן של בקשות ותגובות לא זמין ב-VPC Service Controls.

המאמרים הבאים