מרחב שמות היררכי

מרחב שמות היררכי הוא יכולת שמוצעת על ידי Cloud Storage, שמאפשרת לארגן אובייקטים בתיקיות ולאחסן את הנתונים במבנה לוגי של מערכת קבצים. כך קל יותר לייעל את משימות ניהול הנתונים. מרחב שמות היררכי מספק את הסמנטיקה של ספריות בעלות ביצועים גבוהים ואת הפעולות האטומית על תיקיות שנדרשות להאצת עומסי עבודה של AI/ML וניתוח נתונים עתירי נתונים.

בדף הזה מופיעה סקירה כללית על מרחב שמות היררכי, כולל התכונות העיקריות שלו, תרחישי שימוש נפוצים, היתרונות והמגבלות.

איך זה עובד

כדי להשתמש בתיקיות בקטגוריה, צריך להפעיל מרחב שמות היררכי כשיוצרים את הקטגוריה. אי אפשר לשנות את ההגדרה של מרחב שמות היררכי של קטגוריה אחרי שיוצרים את הקטגוריה. מידע על הפעלת מרחב שמות היררכי בקטגוריה זמין במאמר יצירה וניהול של קטגוריות עם מרחב שמות היררכי מופעל.

בתרשים הבא מוצגת דוגמה לקטגוריה שמופעל בה מרחב שמות היררכי, שבו האובייקטים מאורגנים במבנה היררכי של תיקיות. תיקייה בקטגוריה שמופעל בה מרחב שמות היררכי יכולה להכיל גם אובייקטים וגם תיקיות צאצא.

Figure 1. היררכיית קטגוריות עם תיקיות ואובייקטים.
איור 1. היררכיית קטגוריות עם תיקיות ואובייקטים.

תכונות עיקריות

מרחב שמות היררכי מספק את התכונות הבאות:

  • מכסת שאילתות ראשונית גבוהה יותר לשנייה (QPS): בקטגוריות שמופעל בהן מרחב שמות היררכי, מכסת השאילתות הראשונית לשנייה (QPS) לקריאה ולכתיבה של אובייקטים גבוהה עד פי 8 בהשוואה לקטגוריות שלא מופעל בהן מרחב שמות היררכי. ה-QPS הראשוני הגבוה יותר מאפשר להרחיב בקלות עומסי עבודה שדורשים הרבה נתונים, ומספק תפוקה משופרת. כאן אפשר לקרוא מידע על שיטות לאופטימיזציה של הביצועים כשמשתמשים בתיקיות בדליים עם מרחב שמות היררכי מופעל.

  • תיקיות: תיקיות משמשות כמאגר לאובייקטים ולתיקיות אחרות, עם תמיכה בפעולות כמו יצירה, מחיקה ואחזור של תיקיות. אחסון הנתונים במבנה תיקיות משפר את הביצועים, מבטיח עקביות ומפשט את הניהול של עומסי עבודה שדורשים הרבה נתונים ושל עומסי עבודה שמבוססים על קבצים.

  • פעולות בתיקיות: פעולות בתיקיות מספקות יכולות ניהול ואמינות, כולל יצירה, מחיקה, רישום ושינוי שם של תיקיות.

    • שינוי שם של תיקיות: פעולת שינוי השם של תיקיות עוזרת לשנות באופן אטומי את הנתיב של תיקייה ותיקיות המשנה שלה בלי למחוק אובייקטים. השיטה הזו יעילה וחוסכת זמן, במיוחד כשמדובר בתיקיות גדולות עם הרבה אובייקטים.

    • רשימת תיקיות: הפעולה list folders מציגה את כל התיקיות בדלי או מתחת לתיקייה ספציפית, ועוזרת לכם לנהל את מבנה הנתונים המאוחסנים ולהבין אותו.

מתי כדאי להשתמש במרחב שמות היררכי?

כדאי להפעיל מרחב שמות היררכי כשעובדים עם אפליקציות שמצפות להיררכיה ולסמנטיקה של מערכת קבצים. מרחב שמות היררכי מועיל למשימות עתירות נתונים כמו ניתוח נתונים ועומסי עבודה של AI/ML. הנה כמה תרחישים נפוצים שבהם כדאי לשקול שימוש במרחב שמות היררכי:

  • עיבוד מבוסס Hadoop: עומסי עבודה של Hadoop ו-Spark מצפים בדרך כלל למבנה אחסון של מערכת קבצים ולשמות של קבצים ותיקיות שמבוססים על זמן. מרחב שמות היררכי משתלב עם מחבר Cloud Storage כדי לספק תפוקה משופרת ושינוי שמות של תיקיות באופן אטומי, וכך לשפר את שלמות הנתונים ואת העקביות שלהם עבור צינורות רבים לעיבוד נתונים.

  • עיבוד של עומסי עבודה שמתמקדים בקבצים: עומסי עבודה כמו עיבוד של ניתוח אצווה, שירותים פיננסיים או מחשוב עתיר ביצועים מובנים במחיצות על סמך היררכיה של תיקיות וקבצים. מרחב שמות היררכי עוזר לנהל את הסביבות האלה באמצעות API ייעודי לניהול תיקיות. בנוסף, מרחב שמות היררכי מפשט את ניהול התיקיות שמכילות תיקיות ואובייקטים אחרים. בעזרת פקודת API אחת, אפשר לשנות במהירות את השם של תיקייה ושל כל התוכן שבה, וכך לחסוך זמן ומשאבים יקרים.

  • עיבוד AI/ML: כלים של AI/ML כמו TensorFlow,‏ Pandas ו-PyTorch מצפים לבקרת גישה ולסמנטיקה של מערכת קבצים. מרחב שמות היררכי, במיוחד בשילוב עם Cloud Storage FUSE, מאפשר תפוקה גבוהה יותר וגישה יעילה לנתונים. כתוצאה מכך, מרחב שמות היררכי משפר את הביצועים והמהימנות של איטרציית מודל ה-ML.

לפני שמפעילים מרחב שמות היררכי בקטגוריה, כדאי לקרוא על המגבלות של מרחב שמות היררכי. מידע על מגבלות של מרחב שמות היררכי זמין במאמר בנושא מגבלות.

היתרונות של מרחב שמות היררכי

כשמפעילים מרחב שמות היררכי לקטגוריות, אפשר לבצע את הפעולות הבאות:

  • אופטימיזציה של הארגון: אתם יכולים לארגן את הנתונים במבנה היררכי של תיקיות, שיעזור לכם לנהל ולאתר קבצים או מערכי נתונים.

  • יצירת סביבה עסקית של מערכת קבצים: מרחב שמות היררכי מציג תכונות של מערכת קבצים כמו תיקיות, שינוי שם של תיקיות ורשימת תיקיות, שימושיות לאפליקציות מבוססות-קבצים, כולל סביבת Hadoop העסקית ועומסי עבודה של AI/ML.

  • שיפור הביצועים: על ידי שינוי קנה המידה של עומסי עבודה עתירי נתונים כדי לטפל בנפח נתונים גבוה יותר, אפשר לשפר את הביצועים הכוללים של האפליקציה.

פלטפורמות נוספות

קטגוריות עם תמיכה במרחב שמות היררכי תומכות ביכולות הפלטפורמה הבאות של Cloud Storage:

  • כל ממשקי ה-API של אובייקטים ב-Cloud Storage ותכונות נפוצות של Cloud Storage. פרטים על תכונות לא נתמכות מופיעים במאמר בנושא מגבלות.

  • העברת נתונים מקטגוריה רגילה לקטגוריה עם מרחב שמות היררכי באמצעות Storage Transfer Service.

  • שילוב עם המוצרים הבאים:

תאימות לפעולות ולתכונות של Cloud Storage

לקטגוריות שמופעל בהן מרחב שמות היררכי יש את האינטראקציות הבאות עם פעולות אחרות ב-Cloud Storage:

איך מתבצע טיפול בפעולות על אובייקטים

בקטגוריות שמופעל בהן מרחב שמות היררכי, פעולות אובייקט מתבצעות בדרכים הבאות:

  • פעולות כמו Upload,‏ Rewrite ו-Compose יוצרות באופן אוטומטי תיקיות ברמה העליונה שחסרות, בתנאי שיש לכם את ההרשאות הנדרשות. לכן, אין צורך ליצור מראש תיקיות לפני העלאת אובייקטים.
  • אפשר ליצור תיקיות באופן אוטומטי במהלך פעולות על אובייקטים, אבל צריך למחוק אותן באופן מפורש באמצעות הפעולה DeleteFolder.
  • כשמשתמשים בפעולה ListObjects עם הפרמטר delimiter, דליים מחזירים כל תיקיית צאצא כ-prefix.. עם זאת, תיקיות ריקות מוחרגות כברירת מחדל. כדי לכלול תיקיות ריקות, כמו ברשימה של מערכת קבצים רגילה, צריך להגדיר את הפרמטר includeFoldersAsPrefixes. למידע על שיטות לאופטימיזציה של הביצועים כשמציגים רשימה של אובייקטים בדליים עם מרחב שמות היררכי מופעל, אפשר לעיין במאמר הצגת רשימת אובייקטים.

איך מתבצע הטיפול בתיקיות מנוהלות

קטגוריות שמופעל בהן מרחב שמות היררכי מציעות בקרת גישה מפורטת כשמשתמשים בהן עם תיקיות מנוהלות. בדליים שמופעל בהם מרחב שמות היררכי, התיקייה היא הספרייה בפועל שמכילה את הנתונים, ואילו התיקייה המנוהלת היא משאב ייעודי שמשמש להחלת הרשאות IAM גרנולריות על הספרייה הזו. כדי לנהל את הגישה לתיקיות, צריך ליצור תיקייה מנוהלת עם אותו שם של התיקייה ואז להחיל עליה מדיניות IAM.

תיקיות מנוהלות מטופלות בדרכים הבאות בדליים שמופעל בהם מרחב שמות היררכי.

  • כשיוצרים תיקייה מנוהלת, המערכת יוצרת באופן אוטומטי את כל תיקיות ההורה שחסרות, כולל התיקייה עם אותו שם. לדוגמה, נניח שיש לכם קטגוריה ריקה עם מרחב שמות היררכי בשם example-ai-datasets. אם יוצרים תיקייה מנוהלת בתוך example-ai-datasets בשם 2025/training-data/, ‏ Cloud Storage יוצר באופן אוטומטי את תיקיית האב 2025/ ואת תיקיית היעד training-data/.
  • תיקייה מנוהלת לא יכולה להתקיים בלי התיקייה המשויכת.
  • כשמוחקים תיקייה, התיקייה המנוהלת שמשויכת אליה נמחקת אוטומטית.
  • שינוי השם של תיקייה משנה אוטומטית את השם של התיקייה המנוהלת המשויכת.
  • קטגוריות עם מרחב שמות היררכי חייבות לעמוד בכללים למתן שמות לתיקיות מנוהלות ובכללים למתן שמות לתיקיות. אפשר להוסיף עד 50 רמות היררכיה של שמות תיקיות, אבל אפשר להוסיף עד 15 רמות היררכיה של שמות תיקיות מנוהלות. הגודל המקסימלי של שם תיקייה מנוהלת מוגבל על ידי הגודל המקסימלי של שם התיקייה, שהוא 512 בייטים בקידוד UTF-8.

איך מתבצעות פעולות ב-bucket

בקטעים הבאים מוסבר איך מתבצעות פעולות בקטגוריות כשהתכונה 'מרחב שמות היררכי' מופעלת.

  • אתם יכולים לראות את כל הקטגוריות שבהן מופעל מרחב שמות היררכי, בלי קשר לפריסת האחסון שלהן. פריסת האחסון של קטגוריה מתארת איך האובייקטים מסודרים בתוך הקטגוריה, במרחב שמות שטוח או במרחב שמות היררכי. הוראות לצפייה בפריסת האחסון של קטגוריה מופיעות במאמר קבלת פריסת האחסון של קטגוריה. כדי לראות רשימה של כל הקטגוריות, פועלים לפי ההוראות שמפורטות במאמר בנושא רשימת קטגוריות.

  • אפשר למחוק קטגוריות עם מרחב שמות היררכי מופעל, כל עוד הקטגוריה ריקה. קטגוריות ריקות לא מכילות אובייקטים או תיקיות מנוהלות. קטגוריות ריקות יכולות להכיל תיקיות ריקות (ללא אובייקטים בתוכן).

איך מתבצע הטיפול בכללים של ניהול מחזור החיים של אובייקטים

ניהול מחזור חיים של אובייקטים מאפשר לכם להגדיר פעולות אוטומטיות על אובייקטים על סמך תנאים, כמו גיל או קידומת. עם זאת, כללים של ניהול מחזור חיים של אובייקטים יכולים להתנהג בצורה שונה בקטגוריות עם מרחב שמות היררכי ובקטגוריות עם מרחב שמות שטוח, בגלל הפעולה RenameFolder:

  • כללי ניהול מחזור חיים של אובייקטים בקטגוריות עם מרחב שמות שטוח: כדי לשנות שם של אובייקט, צריך להעתיק אותו למיקום היעד ולמחוק את האובייקט המקורי ממיקום המקור. כתוצאה מכך, אובייקטים חדשים נוצרים עם זמני יצירה חדשים במיקום היעד. אם כללי ניהול מחזור חיים של אובייקטים שמבוססים על גיל מוחלים על מיקום היעד, הם לא יחולו על האובייקטים החדשים באופן מיידי כי זמני היצירה שלהם מאופסים.

  • כללים לניהול מחזור חיים של אובייקטים בקטגוריות שבהן מופעל מרחב שמות היררכי: שינוי שם של תיקייה מתבצע ברמת התיקייה, בלי לשנות את השם של כל אובייקט בנפרד. כתוצאה מכך, זמן היצירה של האובייקטים נשמר, כלומר כללים לניהול מחזור חיים של אובייקטים שמבוססים על גיל חלים על אובייקטים ששמם שונה באופן מיידי אם הם עומדים בקריטריונים של הגיל.

תמחור

למידע על מחירים, אפשר לעיין במחירון של Cloud Storage.

מגבלות

אלה המגבלות של מרחב שמות היררכי:

  • כשיוצרים את הקטגוריה, צריך לבחור אם להשתמש במרחב שמות היררכי. אי אפשר לשנות את ההגדרה של מרחב השמות ההיררכי של הקטגוריה אחרי שהיא נוצרת.

  • כדי להפעיל מרחב שמות היררכי, צריך להפעיל בקטגוריה גם גישה אחידה ברמת הקטגוריה.

  • היכולות הבאות של Cloud Storage לא נתמכות בקטגוריות שמשתמשות במרחב שמות היררכי:

    • נעילת קטגוריית יומן
    • העברה של קטגוריות
    • שכפול בין דליים
    • החזקות אובייקטים
    • נעילת שמירת אובייקטים
    • ניהול גרסאות של אובייקטים

המאמרים הבאים

נסו בעצמכם

אנחנו ממליצים למשתמשים חדשים ב-Google Cloud ליצור חשבון כדי שיוכלו להעריך את הביצועים של Cloud Storage בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300 $להרצה, לבדיקה ולפריסה של עומסי העבודה.

להתנסות ב-Cloud Storage בחינם