סקירה כללית על תהליך הכנת הנתונים

יש כמה אפשרויות לפיתוח נתוני האימון.

הבחירה שלכם תלויה במספר רב של גורמים.

‫Cloud Storage כמערכת קבצים שנטענת (Cloud Storage FUSE)

כדאי להשתמש ב-Cloud Storage כמערכת קבצים שנטענת (Cloud Storage FUSE) מהסיבות הבאות:

  • כשנתוני האימון לא מובְנים, כמו תמונות, טקסט או סרטונים: Cloud Storage הוא פתרון טבעי לאחסון של סוגי הקבצים הגדולים האלה, שלרוב הם קבצים בודדים.
  • כשנתוני האימון מובְנים בפורמטים כמו TFRecord: בדרך כלל משתמשים ב-Cloud Storage בפורמטים האלה שספציפיים ל-ML.
  • כשעובדים עם קבצים גדולים מאוד: Cloud Storage FUSE מעביר את הנתונים בסטרימינג למשימת האימון, במקום לדרוש הורדה של הקובץ כולו לרפליקות. הדבר יכול להוביל לטעינת נתונים מהירה יותר ולקיצור זמני ההפעלה של משימות במערכי נתונים גדולים.
  • כשמבצעים אימון מבוזר: Cloud Storage FUSE מספק תפוקה גבוהה לקריאות סדרתיות של קבצים גדולים, וזה יתרון בתרחישי אימון מבוזר שבהם כמה עובדים צריכים לגשת לנתונים במקביל.
  • כשאתם מעדיפים את הנוחות של גישה לנתונים ב-Cloud Storage כאילו הם היו מערכת קבצים מקומית, בלי שתצטרכו לבצע קריאות API מפורשות בקוד האימון.
  • אם הצורך העיקרי שלכם הוא אחסון שניתן להרחבה, ואתם פחות מודאגים לגבי זמן האחזור הנמוך ביותר לגישה אקראית למספר רב של קבצים קטנים.

ספציפי ל-Ray ב-Agent Platform

  • אתם יכולים לאחסן את הנתונים שלכם בקטגוריות של Cloud Storage, ש-Ray on Agent Platform יכול לגשת אליהן.
  • ‫Ray יכול לקרוא נתונים ישירות מ-Cloud Storage. לדוגמה, כשמריצים Spark on Ray, אפשר לקרוא קבצים מ-Cloud Storage.
  • Agent Platform משתמשת ב-Cloud Storage FUSE כדי לטעון קטגוריות של Cloud Storage כמערכות קבצים מקומיות בתוך משימות האימון שפועלות ב-Ray. כך אפליקציות Ray יכולות לגשת לנתונים כאילו הם נמצאים בדיסק מקומי, באמצעות פעולות קלט/פלט סטנדרטיות של קבצים.
  • כדי להשיג ביצועים אופטימליים, מומלץ להשתמש בקטגוריות של Cloud Storage באותו אזור שבו פועל אשכול Ray.

מידע נוסף

שיתוף Network File System ‏ (NFS)

  • כשנדרשת גישה לקבצים מרוחקים עם תפוקה גבוהה מאוד וזמן אחזור נמוך, כאילו הם מאוחסנים באופן מקומי. זה יכול להיות חשוב לסוגים מסוימים של נתונים או לאינטראקציות מורכבות עם קבצים במהלך האימון.
  • כשצריך להפוך קבצים מרוחקים לזמינים לכל הצמתים באשכול מחשוב, כמו אשכול Ray בפלטפורמת הסוכן.
  • כשהאפליקציה שלכם נהנית מממשק מערכת קבצים סטנדרטי יותר עם תאימות חזקה יותר ל-POSIX בהשוואה ל-Cloud Storage FUSE.
  • יש לכם תשתית NFS קיימת בענן הווירטואלי הפרטי (VPC) שאתם רוצים להשתמש בה.
  • אתם צריכים לשתף קבצים או ספריות בין כמה משימות או אשכולות עם גישה עקבית וזמן אחזור נמוך, ועדיף לכם לנהל את ההרשאות ברמת מערכת הקבצים.

ספציפי ל-Ray ב-Agent Platform

  • אתם יכולים לטעון שיתופי NFS באשכול Ray בפלטפורמת Agent, וכך לקבל גישה לקבצים מרוחקים כאילו הם מקומיים.
  • היתרון הזה חשוב לגישה למערכות קבצים משותפות עם תפוקה גבוהה וזמן אחזור נמוך.
  • אפשר להגדיר נקודות טעינה של NFS כשיוצרים את אשכול Ray באמצעות Agent Platform SDK for Python, ולציין את השרת, הנתיב ונקודת הטעינה. אחרי הטעינה, קוד Ray יכול לקרוא ולכתוב בכרכים האלה של NFS באמצעות פעולות קובץ רגילות.

מידע נוסף

מערך נתונים מנוהל

  • ניהול ושליטה מרכזיים בנתונים: מערכי נתונים מנוהלים מספקים מיקום מרכזי לארגון ולניהול של מערכי הנתונים בפלטפורמת הסוכנים. כך אפשר לעקוב אחרי נכסי הנתונים ולנהל אותם בפרויקטים ובניסויים שונים.
  • תיוג נתונים: אתם יכולים ליצור משימות תיוג ולנהל קבוצות של הערות ישירות במערך הנתונים המנוהל.
  • מעקב אחרי מקור הנתונים: מערכי נתונים מנוהלים עוקבים באופן אוטומטי אחרי המקור של הנתונים במודלים שאומנו על סמך הנתונים האלה. המידע הזה חיוני כדי להבין את מקורות הנתונים שמשמשים למודלים ספציפיים, וכדי להבטיח שניתן יהיה לשחזר את התוצאות ולנהל את המודלים.
  • השוואה בין מודלים בהתאמה אישית לבין מודלים של AutoML: קבוצות נתונים מנוהלות מאפשרות לאמן מודלים בהתאמה אישית ומודלים של AutoML באמצעות אותם נתונים. כך תוכלו להשוות ישירות את הביצועים שלהם באותו מערך נתונים, ולבחור את הגישה הטובה ביותר לפתרון הבעיה.
  • יצירת נתונים סטטיסטיים והמחשות של נתונים: Agent Platform יכול ליצור באופן אוטומטי נתונים סטטיסטיים והמחשות של הנתונים במערך נתונים מנוהל. התכונה הזו יכולה לעזור לכם בניתוח נתונים ראשוני ולהבין את המאפיינים של הנתונים.
  • פיצול נתונים אוטומטי: כשמשתמשים במערכי נתונים מנוהלים בצינורות אימון, Agent Platform יכול לפצל את הנתונים באופן אוטומטי למערכי אימון, אימות ובדיקה על סמך שברים שצוינו, מסננים, פיצולים מוגדרים מראש או חותמות זמן. כך אפשר לפשט את תהליך הכנת הנתונים.
  • שימוש בגרסאות של מערכי נתונים: מערכי נתונים מנוהלים מאפשרים ניהול גרסאות, כך שאפשר לעקוב אחרי שינויים בנתונים לאורך זמן ולחזור לגרסאות קודמות אם צריך.

ספציפי ל-Ray ב-Gemini Enterprise Agent Platform

  • אם אתם משתמשים במערך נתונים מנוהל בצינור אימון של Agent Platform שמשתמש ב-Ray לאימון מבוזר, הנתונים ממערך הנתונים המנוהל זמינים למאגרי האימון, ואז אפליקציית Ray יכולה לגשת אליהם (דרך Cloud Storage או BigQuery שנטענו, אם מערך הנתונים מקושר למקורות האלה). משתני הסביבה AIP_TRAINING_DATA_URI,‏ AIP_VALIDATION_DATA_URI ו-AIP_TEST_DATA_URI יפנו לנתונים.

מידע נוסף

BigQuery

  • כשמתחברים לנתונים ברכיבים של Agent Platform: הרבה כלים ושירותים של Agent Platform משתלבים ישירות עם BigQuery. אפשר להריץ שאילתות על נתונים ב-BigQuery מתוך JupyterLab. כך תוכלו ליצור אינטראקציה ישירה עם הנתונים שלכם ב-BigQuery כדי לחקור אותם, להציג אותם באופן חזותי ולפתח מודלים, בלי שתצטרכו להעביר אותם למערכת אחסון אחרת.
  • כשיוצרים צינורות אימון: כשיוצרים צינורות אימון בפלטפורמת הסוכנים, אפשר להשתמש בנתונים ישירות מ-BigQuery. לדוגמה, צינור יכול לשלוף נתונים מ-BigQuery, לעבד אותם מראש ואז לאמן מודל.
  • פייפליינים לאימון רציף של מודלים: כדי להגדיר אימון רציף של מודלים, אפשר להפעיל הרצות של פייפליינים על סמך נתונים חדשים שמגיעים לטבלה ב-BigQuery. כך אפשר להפעיל אוטומציה של אימון מחדש של המודל. אתם יכולים להגדיר טריגר של Eventarc כדי להפעיל צינור כשמכניסים משימה חדשה לטבלה ספציפית ב-BigQuery.
  • מעקב אחרי מודלים: אפשר להשתמש ב-BigQuery כמקור למעקב אחרי הטיה של תכונות וסחיפה של המודלים שפרסתם. כדי לזהות הטיה, אפשר לציין את ה-URI של מערך הנתונים לאימון ב-BigQuery. בנוסף, אפשר לאחסן ב-BigQuery את היומנים מנקודות הקצה של הסקת מסקנות אונליין, ואז להשתמש בהם כמקור נתונים לניטור רציף. לשם כך, מומלץ שלטבלת BigQuery תהיה עמודה של חותמת זמן.
  • שילוב עם BigQuery ML: אתם יכולים להשתמש במערכי נתונים של BigQuery כשאתם משתמשים ב-BigQuery ML כדי ליצור מודלים של למידת מכונה באמצעות SQL. ‫Agent Platform Workbench מאפשר ניתוח אינטראקטיבי של נתוני BigQuery ושימוש ב-BigQuery ML בסביבת Notebook.
  • הכנה וניתוח של הנתונים: לפני האימון, אפשר להשתמש ב-BigQuery כדי לנתח את הנתונים ולהציג אותם באופן חזותי. אפשר גם לבצע טרנספורמציות של נתונים באמצעות שאילתות SQL ישירות ב-BigQuery לפני שמשתמשים בנתונים לאימון.
  • גישה למערכי נתונים ציבוריים: ב-BigQuery יש הרבה מערכי נתונים ציבוריים, כמו מערך הנתונים של נסיעות במוניות בשיקגו, שאפשר להשתמש בהם בקלות לניסויים ולאימון ב-Agent Platform Workbench.

ספציפי ל-Ray ב-Gemini Enterprise Agent Platform

  • ל-Ray ב-Gemini Enterprise Agent Platform יש יכולות לקרוא נתונים ישירות מ-BigQuery. אתם יכולים להשתמש ב-SDK של Agent Platform ל-Python במשימת Ray כדי להריץ שאילתות BigQuery ולממש את התוצאות לשימוש באפליקציות Ray.
  • כשקוראים מ-BigQuery, חשוב לשים לב לגודל המקסימלי של תגובת השאילתה, שהוא 10GB.
  • אפשר גם לכתוב נתונים מהאפליקציות של Ray בחזרה ל-BigQuery באמצעות Agent Platform SDK for Python.

מידע נוסף