סקירה כללית של Hyperdisk Exapools

במאמר הזה נתאר את התכונות והמגבלות של Exapools. מאגרי Hyperdisk Exapools הם מאגרי Hyperdisk שמיועדים לעומסי עבודה שבהם מאגרי Hyperdisk Storage Pools לא מספקים מספיק נפח אחסון ב-Hyperdisk באזור אחד. ב-Exapools, אתם רוכשים אחסון וביצועים בכמות גדולה, ואז יוצרים דיסקים במאגר כדי לצרוך את האחסון.

מתי כדאי להשתמש ב-Hyperdisk Exapools

מאגרי Exapool מיועדים לעומסי עבודה בקנה מידה גדול עם עשרות אלפי דיסקים באזור אחד, שדורשים בין 500 TiB ל-2.5 EiB של אחסון בלוקים עמיד. אם עומס העבודה דורש קיבולת או ביצועים בקנה מידה קטן יותר, השתמשו ב-Hyperdisk Storage Pool או צרו דיסקים מחוץ למאגר.

ב-Exapools אתם יכולים לאחסן נתונים ולהריץ משימות בקנה המידה הכי גדול שזמין ב-Compute Engine, וגם לחסוך בעלויות – אתם יכולים להקצות יותר ביצועים וקיבולת ממה שאתם צריכים, אבל אתם משלמים רק על מה שאתם משתמשים בו.

‫Hyperdisk Exapools מתאים במיוחד לעומסי עבודה גדולים של AI, למידת מכונה (ML) ומערכות קבצים מקבילות מבוזרות. דוגמאות לעומסי עבודה:

דוגמאות לעומסי עבודה ב-Hyperdisk Exapools:

  • עומסי עבודה של AI/ML שכוללים 4,000 מכונות וירטואליות של TPU ומשתמשים ב-‎2 PiB של Hyperdisk Balanced עם ביצועים שהוקצו של 20,000,000 IOPS וקצב העברה של ‎3 TiB לשנייה, שמניעים קצב העברה מצטבר בו-זמני של ‎500 GiB לשנייה.
  • עומסי עבודה של אימון AI/ML עם 15,000 מכונות GPU שמשתמשות ב-Hyperdisk Balanced לדיסקים של הפעלה ודיסקים זמניים בקיבולת כוללת של 8 PiB, שמניעים שיא מצטבר בו-זמני של תפוקה של 1 TiB/s.
  • מערכת קבצים מקבילה עם קיבולת של 6 PiB או יותר ושיאי צבירה בו-זמניים של תפוקת קריאה כבדה של 800 GiB/s.

איך Exapools פועלים

אתם יוצרים Exapool עם הקיבולת והביצועים המצטברים שכל הדיסקים של עומס העבודה שלכם באזור מסוים יצטרכו, ואז יוצרים דיסקים במאגר לפי הצורך. אתם יכולים להשתמש בדיסקים ב-Exapool כדיסקי אתחול או כדיסקי נתונים למכונות ולמאגרים של Compute Engine.

כשיוצרים דיסק ב-Exapool, מקצים לדיסק חלק מהמשאבים של המאגר (גודל וביצועים). כשמוחקים דיסק במאגר, המשאבים שהוקצו לדיסק מוחזרים למאגר לשימוש של דיסקים אחרים.

לדוגמה, נניח שאתם יוצרים מאגר Hyperdisk Balanced Exapool בנפח של 50 PiB. אם תיצרו במאגר 100 דיסקים בנפח של 10 TiB, הקיבולת הזמינה שנותרה במאגר תקטן ב-1,000 TiB.

סוגי Exapool

כשיוצרים Exapool, צריך לבחור סוג Hyperdisk לדיסקים שיהיו במאגר. אלה סוגי המזהים הזמינים:

מידע נוסף על בחירת סוג Hyperdisk זמין במאמר בחירת סוג Hyperdisk לעומס העבודה.

תמיכה בסדרת מכונות

מאגרי Hyperdisk Throughput Exapools ו-Hyperdisk Balanced Exapools נתמכים באותן סדרות של מכונות שתומכות ב-Hyperdisk Throughput וב-Hyperdisk Balanced, בהתאמה. רשימה של סדרות המכונות הנתמכות מופיעה במאמרים תמיכה של סדרות מכונות ב-Hyperdisk Throughput ותמיכה של סדרות מכונות ב-Hyperdisk Balanced.

הקצאת ביצועים וקיבולת ל-Exapools

סוג ההקצאה של מאגר קובע איך הדיסקים במאגר צורכים משאבים.

ב-Exapools נעשה שימוש בהקצאה מתקדמת גם לקיבולת וגם לביצועים, וכך אפשר לחסוך הכי הרבה זמן וכסף.

הקצאת קיבולת מתקדמת

כל מאגרי Exapool משתמשים בהקצאת קיבולת מתקדמת, שמציעה את היתרונות הבאים:

  • הקצאת אחסון לפי צורך (Thin Provisioning): המערכת של Compute Engine מקצה נתונים לדיסקים במאגר לפי הצורך, ולא בזמן הקצאת הדיסק.
  • הקצאת יתר: אתם יכולים להקצות את הדיסקים במאגר עם קיבולת גדולה עד פי 50 מהקיבולת שרכשתם ל-Exapool. כך קל יותר לתכנן את הקיבולת ולמנוע השבתה לצורך שינוי ידני של גודל הדיסק.

הקצאת קיבולת מתקדמת

הקצאת ביצועים מתקדמת

ב-Exapools נעשה שימוש בהקצאת ביצועים מתקדמת, שמציעה את היתרונות הבאים:

  • הקצאת אחסון לפי צורך (Thin Provisioning): המערכת של Compute Engine מקצה משאבי ביצועים לדיסקים במאגר לפי הצורך. רק כמות ה-IOPS וקצב הנתונים שבהם משתמש דיסק ב-Exapool צורכים ביצועים.
  • הקצאת יתר: הביצועים הכוללים של כל הדיסקים במאגר יכולים להיות עד פי 50 מביצועי הכתיבה שהוקצו למאגר.
  • ביצועים משותפים: הדיסקים ב-Exapool חולקים את הביצועים שהוקצו למאגר עד למגבלה של כל דיסק, וכך חוסכים בעלויות של דיסקים עם זמני שיא שונים.

הסבר מפורט על הקצאת ביצועים מתקדמת מופיע במאמר הקצאת ביצועים מתקדמת.

רכישת קיבולת וביצועים

הביצועים שהוקצו ל-Exapool, או כמות ה-IOPS וקצב הנתונים שאפשר להקצות לדיסקים במאגר, תלויים בגורמים הבאים:

  • מספר יחידות הקיבולת במאגר
  • סוג הדיסק של ה-Exapool

איך פועלות יחידות הקיבולת

יחידת קיבולת כוללת קיבולת של 1GiB וכמות קבועה של ביצועים (IOPS וקצב העברת נתונים) לכל GiB. לדוגמה, כדי להוסיף קיבולת של ‎1 PiB למאגר, צריך לרכוש 1,048,576 יחידות קיבולת (‎1,048,576 GiB = 1 PiB). ב-Exapools יש שלושה סוגים של יחידות קיבולת שאפשר לבחור מביניהם. כמות הביצועים שנוספת למאגר תלויה בסוג יחידות הקיבולת:

  • יחידות עם אופטימיזציה של קיבולת: מציעות קצב מאוזן של IOPS וקצב העברת נתונים גם לקריאה וגם לכתיבה.
  • יחידות שעברו אופטימיזציה לקריאה: מציעות את השיעור הגבוה ביותר של פעולות קריאה וקצב העברת נתונים לכל GiB.
  • יחידות שמותאמות לכתיבה: מציעות את הקצב הגבוה ביותר של פעולות כתיבה וקצב העברת נתונים לכל GiB.

אם עומס העבודה כולל יותר פעולות קריאה מאשר כתיבה, או אם נדרש קצב העברת נתונים גבוה יותר לקריאה מאשר לכתיבה, כדאי לרכוש יחידות שעברו אופטימיזציה לקריאה.

כשמקצים או מרחיבים Exapool, אפשר לשלב סוגים שונים של יחידות קיבולת. הסוג והמספר של יחידות הקיבולת שאתם רוכשים למאגר נקראים שילוב של יחידות קיבולת.

השילוב של היחידות ב-Exapool לא משפיע על הביצועים של הדיסקים ב-Exapool. שילוב היחידות משפיע רק על הגורמים הבאים:

  • איך מתבצע החיוב על Exapool.
  • הביצועים המקסימליים שהוקצו ל-Exapool.

בחירת שילוב של יחידות קיבולת ל-Exapool

כדי לענות על הצרכים של עומס העבודה בצורה הכי משתלמת, כדאי לעבוד עם צוות ניהול החשבון כדי לבחור שילוב של יחידות קיבולת שמתאים לעומס העבודה. לדוגמה, אתם יכולים ליצור Exapool עם מספר גבוה של יחידות שמותאמות לקריאה, לכל הדיסקים בפרויקט שדורשים הרבה פעולות קריאה.

יחסי יחידות קיבולת למאגרי Hyperdisk Throughput Exapools

ל-Hyperdisk Throughput Exapools יש את יחסי הביצועים הבאים, בהתאם לכמות הקיבולת שנרכשה:

סוג יחידת הקיבולת יחידות קיבולת שנרכשו קיבולת Exapool‏ (TiB) קצב העברת נתונים בקריאה (MiB/s) קצב העברת נתונים בכתיבה (MiB/s)
מותאמת לקיבולת (capacity-optimized) 1,024 1 0.97 0.10
אופטימיזציה לקריאה 1,024 1 3.38 0.10
מותאמת לכתיבה (write-optimized) 1,024 1 0.97 1.84

יחסי יחידות קיבולת ב-Hyperdisk Balanced Exapool

למאגרי Hyperdisk Balanced Exapool יש את יחסי הביצועים הבאים, בהתאם לכמות הקיבולת שנרכשה:

סוג יחידת הקיבולת יחידות קיבולת שנרכשו קיבולת Exapool‏ (TiB) קצב העברת נתונים בקריאה (MiB/s) קצב העברת נתונים בכתיבה (MiB/s) פעולות קלט/פלט לשנייה (IOPS) של קריאה פעולות קלט/פלט לשנייה (IOPS) של כתיבה
מותאמת לקיבולת (capacity-optimized) 1,024 1 5.12 1.02 275 102
אופטימיזציה לקריאה 1,024 1 378.88 30.72 21,311 3,072
מותאמת לכתיבה (write-optimized) 1,024 1 220.16 71.68 12,288 6,656

איך יחידות הקיבולת משפיעות על ביצועי הדיסק

השילוב של יחידות הקיבולת ב-Exapool לא משפיע על האופן שבו הדיסקים ב-Exapool צורכים ביצועים. לא תחויבו בנפרד על פעולות הקריאה והכתיבה של הדיסקים במאגר. רכישת יחידות מסוג מסוים לא מגבילה את הדיסקים לכמות קבועה של פעולות קלט/פלט לשנייה של קריאה או כתיבה. בנוסף, כשיוצרים דיסק ב-Exapool, לא מציינים מגבלת IOPS לקריאה או מגבלת IOPS לכתיבה, אלא רק מגבלת IOPS שהוקצתה.

לדוגמה, נניח שיש שני מאגרי Hyperdisk Balanced Exapool, ‏ Pool-1 ו-Pool-2.. בשניהם יש 100,000,000 יחידות עם אופטימיזציה לקיבולת. ב-Pool-1 יש גם 5,000,000 יחידות שעברו אופטימיזציה לכתיבה, וב-Pool-2 יש 5,000,000 יחידות שעברו אופטימיזציה לקריאה.

בגלל שבשני המאגרים יש סך של 105,000,000 יחידות, הקיבולת הכוללת שלהם תהיה זהה: ‎100.1 PiB (105,000,000 GiB). עם זאת, בגלל שיש להם סוגים שונים של יחידות קיבולת, למאגרים יש מגבלות ביצועים מקסימליות ועלויות שונות. אין הבדל בביצועים בין הדיסקים בשני המאגרים.

דוגמה

נניח של-Hyperdisk Balanced Exapool יש 12,400,000 יחידות קיבולת, שמורכבות מ:

  • ‫5,000,000 יחידות שעברו אופטימיזציה לקיבולת
  • ‫2,400,000 יחידות שעברו אופטימיזציה לקריאה
  • ‫5,000,000 יחידות שעברו אופטימיזציה לכתיבה

הקיבולת של Exapool היא 12,109.4 TiB (‏1 TiB לכל 1,024 יחידות).

ל-Exapool יש 151,488,476 פעולות קלט/פלט לשנייה, שמחושבות באופן הבא:

  • ‫IOPS מ-5,000,000 יחידות עם אופטימיזציה לקיבולת: 1,840,820 (1,342,773 IOPS לקריאה + 498,047 IOPS לכתיבה)

  • ‫IOPS מ-2,400,000 יחידות שעברו אופטימיזציה לקריאה: 57,147,656 (49,947,656 IOPS לקריאה + 7,200,000 IOPS לכתיבה)

  • ‫IOPS מ-5,000,000 יחידות שעברו אופטימיזציה לכתיבה: 92,500,000 (60,000,000 IOPS לקריאה + 32,500,000 IOPS לכתיבה)

בדיקת הביצועים וניצול הקיבולת

ב-Compute Engine יש מדדים שבעזרתם אפשר לעקוב אחרי מאגרי Exapool. המדדים האלה עונים על שאלות כמו:

  • כמה פעולות קלט/פלט לשנייה (IOPS) של קריאה וכתיבה נותרו ב-Exapool?
  • כמה קיבולת הוקצתה לדיסקים ב-Exapool?
  • כמה דיסקים יש ב-Exapool?

אתם יכולים לראות את המדדים האלה ב-Cloud Monitoring. מידע נוסף זמין במאמר מעקב אחרי מאגרי Hyperdisk.

מגבלות הגודל והביצועים של Hyperdisk Exapools

בקטע הזה מפורטות המגבלות של כל סוג של Exapool.

מאפיין (property) Hyperdisk Balanced Exapools Hyperdisk Throughput Exapools
קיבולת מינימלית ‫500 TiB 500 PiB
קיבולת מקסימלית ‎1 EiB 5 EiB
קצב העברת נתונים מקסימלי ‫10 TiB לשנייה ‫10 TiB/s
מספר הדיסקים המקסימלי לכל מאגר 500,000 500,000
הגדלת הקיבולת ‫1 TiB ‫1 PiB
מספר מקסימלי של מאגרי Exapool לכל פרויקט בכל אזור 1 1
יחסי ביצועים גודל קלט/פלט של 32KB לקצב העברת נתונים בקריאה ובכתיבה; גודל קלט/פלט של 4KB לפעולות קלט/פלט לשנייה בקריאה ובכתיבה גודל קלט/פלט של 1MB לקריאות, גודל קלט/פלט של 256K לכתיבות

מגבלות גודל וביצועים של דיסקים ב-Exapool

לדיסקים ב-Exapool יש את אותן מגבלות גודל וביצועים כמו לדיסקים שלא נמצאים במאגר, כפי שמפורט בהמשך:

סוג Hyperdisk ביצועים מקסימליים שאפשר להקצות לכל דיסק קצב העברת נתונים בהתאמה אישית ‫IOPS בהתאמה אישית
Hyperdisk Balanced ‫160,000 IOPS;
קצב העברת נתונים של 2,400 MiB לשנייה		 כן כן
Hyperdisk Throughput תפוקה של 2,400 MiB לשנייה כן לא; 4 IOPS לכל MiB/s של תפוקה, עד 9,600 IOPS

אפשר לציין מגבלת ביצועים לדיסק בזמן היצירה, ולשנות את מגבלת הביצועים בזמן שהדיסק בשימוש.

לפרטים על מגבלות הגודל והביצועים, ראו מגבלות הגודל והביצועים של Hyperdisk Throughput ומגבלות הגודל והביצועים של Hyperdisk Balanced.

זמינות אזורית

מאגרי Hyperdisk Balanced Exapools ו-Hyperdisk Throughput Exapools זמינים בכל האזורים.

הצפנה

הצפנת דיסקים במאגר Hyperdisk פועלת באותו אופן כמו הצפנת דיסקים מחוץ למאגר.

מידע נוסף זמין במאמר מידע על הצפנת דיסק.

הזמנות

אתם יכולים לשריין קיבולת של Exapools יחד עם מכונות, באמצעות מקומות שמורים לעתיד של גושי קיבולת. אתם יכולים גם לצרף דיסקים מ-Exapool למכונות שצורכות הזמנה.

איך שומרים מקום למאגרים?

תמחור

החיוב על Exapools מבוסס על המספר והסוג של יחידות הקיבולת והביצועים שרכשתם למאגר. לא תחויבו על קצב הקלט/פלט לשנייה, קצב העברת הנתונים או הקיבולת שהוקצו לדיסקים שנוצרו במאגר.

ב-Compute Engine אפשר לקבל הנחות תמורת התחייבות לשימוש במשאבים (CUD) עבור Hyperdisk Exapools. כדי לקבל את ההנחות האלה, אתם יכולים לרכוש התחייבויות לאחסון בלוקים לתקופה של שנה או 3 שנים. למידע נוסף על התחייבויות לאחסון בלוקים, קראו את המאמר התחייבויות לאחסון בלוקים במסמכי התיעוד של הנחות תמורת התחייבות לשימוש במשאבים. איך רוכשים התחייבויות לאחסון בלוקים

כדי להשוות בין המחירים על פי דרישה לבין המחירים של הנחות תמורת התחייבות לשימוש לשנה ול-3 שנים, קראו את המאמר מחירי דיסקים.

מגבלות

המגבלות הבאות חלות על Exapools.

  • כדי ליצור, לשנות או למחוק Hyperdisk Exapool, צריך לפנות לצוות ניהול החשבון.
  • כמות הביצועים שאפשר להקצות ל-Exapool תלויה בסוג ובמספר יחידות הקיבולת של ה-Exapool. עם זאת, הביצועים של דיסקים שנוצרו ב-Exapool לא תלויים בשילוב של יחידות הקיבולת במאגר.
  • אי אפשר להשתמש במצב סודי בנפחי Hyperdisk Balanced ב-Exapool.
  • ב-Exapools אפשר להשתמש רק בהקצאת קיבולת מתקדמת ובהקצאת ביצועים מתקדמת. הם לא תומכים בהקצאת קיבולת רגילה או ביצועים רגילים.
  • ב-Exapools אין דחיסת נתונים.
  • ב-Exapools אין תמיכה בהגדלה אוטומטית של הביצועים או הקיבולת. אתם צריכים לעקוב בעצמכם אחרי הביצועים והקיבולת של Exapool. כדי להגדיל את הביצועים או הקיבולת של המאגר, צריך לפנות לצוות ניהול החשבון.
  • אפשר ליצור במאגר רק דיסקים חדשים באותו פרויקט ובאותו אזור.
  • אי אפשר להעביר דיסקים למאגר או ממנו. צריך ליצור מחדש את הדיסק מתמונת מצב רגילה. מידע נוסף זמין במאמר שינוי סוג הדיסק.
  • כדי ליצור דיסקי אתחול במאגר, צריך להשתמש ב-Hyperdisk Balanced Storage Pool או ב-Hyperdisk Balanced Exapool.
  • מאגרים לא תומכים בדיסקים אזוריים.
  • אי אפשר לשכפל, ליצור קובצי snapshot מיידיים או להגדיר רפליקציה אסינכרונית לדיסקים במאגר.

המאמרים הבאים