סקירה כללית של Hyperdisk Exapools

במסמך הזה מתוארות התכונות והמגבלות של Exapools. ‫Hyperdisk Exapools הם מאגרי Hyperdisk שמיועדים לעומסי עבודה שבהם מאגרי Hyperdisk לא מספקים מספיק אחסון Hyperdisk באזור אחד. עם Exapools, אתם קונים נפח אחסון וביצועים בכמות גדולה, ואז יוצרים דיסקים במאגר כדי להשתמש בנפח האחסון.

מתי כדאי להשתמש ב-Hyperdisk Exapools

‫Exapools מיועדים לעומסי עבודה גדולים עם עשרות אלפי דיסקים באזור יחיד, שדורשים נפח אחסון של 500 TiB עד 2.5 EiB של אחסון בלוקים עמיד וביצועים מקבילים של יותר מ-100 GiB/s. אם עומס העבודה דורש קיבולת או ביצועים ברמה נמוכה יותר, אפשר להשתמש במאגר אחסון של Hyperdisk או ליצור דיסקים מחוץ למאגר.

Exapools מציעים אחסון וביצועים בקנה מידה הגדול ביותר שזמין ב-Compute Engine, וגם מאפשרים לחסוך בעלויות. אתם יכולים להקצות יותר ביצועים וקיבולת ממה שאתם צריכים, אבל תשלמו רק על מה שתשתמשו בו.

‫Hyperdisk Exapools מתאימים במיוחד לעומסי העבודה הבאים:

  • בינה מלאכותית (AI)
  • למידת מכונה (ML)
  • הרחבת מערכות קבצים, כמו HDFS ו-Lustre

איך פועלים מאגרי נתונים של EXA

אתם יוצרים Exapool עם הקיבולת והביצועים המצטברים שכל הדיסקים של עומס העבודה שלכם יצטרכו בתוך אזור מסוים, ואז יוצרים דיסקים במאגר לפי הצורך. אתם יכולים להשתמש בדיסקים ב-Exapool כדיסקים לאתחול או כדיסקים של נתונים עבור המכונות והקונטיינרים של Compute Engine.

כשיוצרים דיסק ב-Exapool, מקצים לדיסק חלק מהמשאבים של המאגר (גודל וביצועים). כשמוחקים דיסק במאגר, המשאבים שהוקצו לדיסק מוחזרים למאגר לשימוש של דיסקים אחרים.

לדוגמה, נניח שאתם יוצרים Hyperdisk Balanced Exapool עם קיבולת של 50 PiB. אם יוצרים במאגר 100 דיסקים בנפח 10 TiB, הקיבולת הפנויה שנותרת במאגר תפחת ב-1,000 TiB.

סוגי Exapool

כשיוצרים Exapool, צריך לבחור סוג Hyperdisk לדיסקים שיהיו במאגר. אלה הסוגים שזמינים:

מידע נוסף על בחירת סוג Hyperdisk זמין במאמר בחירת סוג Hyperdisk לעומס העבודה.

תמיכה בסדרת מכונות

יש תמיכה ב-Hyperdisk Throughput Exapools וב-Hyperdisk Balanced Exapools באותן סדרות מכונות שבהן יש תמיכה ב-Hyperdisk Throughput וב-Hyperdisk Balanced, בהתאמה. רשימת סדרות המכונות הנתמכות זמינה במאמרים תמיכה בסדרות מכונות ל-Hyperdisk Throughput ותמיכה בסדרות מכונות ל-Hyperdisk Balanced.

הקצאת קיבולת וביצועים ל-Exapools

סוג ההקצאה של מאגר קובע איך הדיסקים במאגר צורכים משאבים.

ב-Exapools נעשה שימוש בהקצאת משאבים מתקדמת גם לקיבולת וגם לביצועים, וכך אפשר לחסוך הכי הרבה בעלויות ובזמן.

הקצאת נפח אחסון מתקדם

כל מאגרי Exapools משתמשים בהקצאת קיבולת מתקדמת, שמציעה את היתרונות הבאים:

  • הקצאת אחסון לפי צורך (Thin Provisioning): מערכת Compute Engine מקצה נתונים לדיסקים במאגר לפי הצורך, ולא בזמן הקצאת הדיסק.
  • הקצאת יתר: אתם יכולים להקצות את הדיסקים במאגר עם קיבולת גדולה עד פי 50 מהקיבולת שרכשתם עבור Exapool. כך אפשר לפשט את תכנון הקיבולת ולמנוע השבתה של המערכת בזמן שינוי הגודל של הדיסק באופן ידני.

הסבר מפורט על הקצאת קיבולת מתקדמת זמין במאמר בנושא הקצאת קיבולת מתקדמת.

הקצאת משאבים מתקדמת לשיפור הביצועים

ב-Exapools נעשה שימוש בהקצאת משאבים מתקדמת לשיפור הביצועים, שמציעה את היתרונות הבאים:

  • הקצאת אחסון לפי צורך (Thin Provisioning): מערכת Compute Engine מקצה משאבי ביצועים לדיסקים במאגר לפי הצורך. רק הכמות של IOPS ושל קצב העברת הנתונים שבהם נעשה שימוש בדיסק ב-Exapool צורכת ביצועים.
  • הקצאת יתר: הביצועים הכוללים של כל הדיסקים במאגר יכולים להיות עד פי 50 מביצועי הכתיבה שהוקצו למאגר.
  • ביצועים משותפים: דיסקים ב-Exapool חולקים את הביצועים שהוקצו למאגר עד למגבלה של כל דיסק, וכך חוסכים בעלויות של דיסקים עם זמני שימוש שונים בשיא.

הסבר מפורט על הקצאת משאבים מתקדמת לשיפור הביצועים זמין במאמר בנושא הקצאת משאבים מתקדמת לשיפור הביצועים.

קיבולת וביצועים של רכישות

הביצועים המוקצים של Exapool, או כמות ה-IOPS והתפוקה שאפשר להקצות לדיסקים בתוך המאגר, תלויים בגורמים הבאים:

  • מספר יחידות הקיבולת במאגר
  • סוג הדיסק של Exapool

איך יחידות הקיבולת פועלות

יחידת קיבולת כוללת קיבולת של 1 GiB וכמות קבועה של ביצועים (IOPS וקצב העברת נתונים) לכל GiB. לדוגמה, כדי להוסיף 1 PiB של קיבולת למאגר, צריך לרכוש 1,048,576 יחידות קיבולת (‎1,048,576 GiB = 1 PiB). יש שלושה סוגים של יחידות קיבולת לבחירה ב-Exapools. כמות הביצועים שמתווספת למאגר תלויה בסוג יחידות הקיבולת:

  • יחידות שעברו אופטימיזציה של הקיבולת: מציעות קצב מאוזן של פעולות קלט/פלט בשנייה (IOPS) ושל קצב העברת נתונים (throughput) לקריאה ולכתיבה.
  • יחידות שעברו אופטימיזציה לקריאה: מציעות את השיעור הגבוה ביותר של פעולות קריאה ושל קצב העברת נתונים לכל ‎GiB.
  • יחידות עם אופטימיזציה לכתיבה: מציעות את שיעור פעולות הכתיבה וקצב העברת הנתונים הגבוהים ביותר לכל ‎1 GiB.

אם עומס העבודה כולל יותר פעולות קריאה מאשר פעולות כתיבה, או אם הוא דורש תפוקת קריאה גבוהה יותר מתפוקת כתיבה, כדאי לקנות יחידות שמותאמות לקריאה כדי לקבל את התמורה הטובה ביותר.

אתם יכולים לשלב בין סוגים שונים של יחידות קיבולת כשאתם מקצים או מרחיבים Exapool. הסוג והמספר של יחידות הקיבולת שאתם רוכשים עבור מאגר נקראים שילוב של יחידות קיבולת.

השילוב של יחידות ב-Exapool לא משפיע על הביצועים של הדיסקים ב-Exapool. השילוב של היחידות משפיע רק על הגורמים הבאים:

  • איך מתבצע החיוב על Exapool.
  • הביצועים המקסימליים שהוקצו ל-Exapool.

בחירת שילוב של יחידות קיבולת ל-Exapool

כדי לענות על הצרכים של עומס העבודה בצורה הכי חסכונית, מומלץ לפנות אל צוות התמיכה בחשבון כדי לבחור שילוב של יחידות קיבולת שמתאים לעומס העבודה. לדוגמה, אתם יכולים ליצור Exapool עם מספר גדול של יחידות שעברו אופטימיזציה לקריאה, לכל הדיסקים בפרויקט שדורשים הרבה קריאה.

יחסי יחידות הקיבולת של Hyperdisk Throughput Exapools

ל-Hyperdisk Throughput Exapools יש את יחסי הביצועים הבאים על סמך כמות הקיבולת שנרכשה:

סוג יחידת הקיבולת יחידות קיבולת שנרכשו קיבולת Exapool‏ (TiB) תפוקת קריאה (MiB/s) קצב כתיבה (MiB/s)
מותאמת לקיבולת (capacity-optimized) 1,024 1 0.97 0.10
אופטימיזציה לקריאה 1,024 1 3.38 0.10
מותאם לכתיבה 1,024 1 0.97 1.84

יחסי יחידות הקיבולת של Hyperdisk Balanced Exapool

יחסי הביצועים של Hyperdisk Balanced Exapools מבוססים על כמות הקיבולת שנרכשה:

סוג יחידת הקיבולת יחידות קיבולת שנרכשו קיבולת Exapool ‏ (TiB) תפוקת קריאה (MiB/s) קצב כתיבה (MiB/s) קריאת IOPS IOPS של כתיבה
מותאמת לקיבולת (capacity-optimized) 1,024 1 ‫5.12 1.02 275 102
אופטימיזציה לקריאה 1,024 1 378.88 30.72 21,311 3,072
מותאם לכתיבה 1,024 1 220.16 71.68 12,288 6,656

איך יחידות קיבולת משפיעות על ביצועי הדיסק

השילוב של יחידות הקיבולת ב-Exapool לא משפיע על צריכת הביצועים של הדיסקים ב-Exapool. לא מחייבים אתכם באופן שונה על פעולות קריאה וכתיבה נפרדות של הדיסקים במאגר. רכישת יחידות מסוג מסוים לא מגבילה את הדיסקים לכמות קבועה של פעולות קלט/פלט בשנייה (IOPS) לקריאה או לכתיבה. בנוסף, כשיוצרים דיסק ב-Exapool, לא מציינים מגבלה של IOPS לקריאה או IOPS לכתיבה, אלא רק מגבלה של IOPS מוקצה.

לדוגמה, נניח שיש שני מאגרי Hyperdisk Balanced Exapools, ‏ Pool-1 ו-Pool-2.. בשניהם יש 100,000,000 יחידות של נפח אחסון מותאם. ל-Pool-1 יש גם 5,000,000 יחידות שעברו אופטימיזציה לכתיבה, ול-Pool-2 יש 5,000,000 יחידות שעברו אופטימיזציה לקריאה.

מכיוון שבשני המאגרים יש סך של 105,000,000 יחידות, הקיבולת הכוללת שלהם תהיה זהה – 100.1 PiB‏ (105,000,000 GiB). עם זאת, מכיוון שיש להם סוגים שונים של יחידות קיבולת, למאגרי הקיבולת יש מגבלות ביצועים מקסימליות שונות ועלויות שונות. אין הבדל בביצועים בין הדיסקים בשתי קבוצות הדיסקים.

דוגמה

נניח של-Hyperdisk Balanced Exapool יש 12,400,000 יחידות קיבולת, שכוללות:

  • ‫5,000,000 יחידות שעברו אופטימיזציה לקיבולת
  • ‫2,400,000 יחידות שעברו אופטימיזציה לקריאה
  • ‫5,000,000 יחידות שעברו אופטימיזציה לכתיבה

ל-Exapool יש קיבולת של 12,109.4 TiB ‏(1 TiB לכל 1,024 יחידות).

ל-Exapool יש 151,488,476 IOPS, שמחושבים כך:

  • ‫IOPS מ-5,000,000 יחידות עם אופטימיזציה של הקיבולת: 1,840,820 (1,342,773 קריאה IOPS + 498,047 כתיבה IOPS)

  • ‫IOPS מ-2,400,000 יחידות אופטימיזציה לקריאה: 57,147,656 (49,947,656 IOPS לקריאה + 7,200,000 IOPS לכתיבה)

  • ‫IOPS מ-5,000,000 יחידות שעברו אופטימיזציה לכתיבה: 92,500,000 (60,000,000 IOPS לקריאה + 32,500,000 IOPS לכתיבה)

בדיקת הביצועים וניצול הקיבולת

ב-Compute Engine יש מדדים שבעזרתם אפשר לעקוב אחרי Exapools. המדדים האלה עוזרים לענות על שאלות כמו:

  • כמה פעולות קלט/פלט של קריאה וכתיבה נותרו ב-Exapool?
  • כמה קיבולת הוקצתה לדיסקים ב-Exapool?
  • כמה דיסקים יש ב-Exapool?

אפשר לראות את המדדים האלה ב-Cloud Monitoring. מידע נוסף זמין במאמר בנושא מעקב אחרי מאגרי Hyperdisk.

מגבלות גודל וביצועים של Hyperdisk Exapools

בקטע הזה מפורטות המגבלות לכל סוג של Exapool.

מאפיין (property) Hyperdisk Balanced Exapools Hyperdisk Throughput Exapools
תפוסה מינימלית ‫500 TiB ‫500 PiB
קיבולת מקסימלית ‫1 EiB ‫5 EiB
תפוקה מינימלית ‫‎1 TiB/s ‫250 GiB/s
תפוקה מקסימלית ‫‎10 TiB/s ‫‎10 TiB/s
מספר הדיסקים המקסימלי בכל מאגר 500,000 500,000
רמות הקיבולת ‫1 TiB ‫1 PiB
המספר המקסימלי של Exapools לכל פרויקט בכל אזור 1 1
יחסי ביצועים גודל קלט/פלט של 32KB לתפוקת קריאה וכתיבה; גודל קלט/פלט של 4KB ל-IOPS של קריאה וכתיבה גודל קלט/פלט של 1MB לקריאות, גודל קלט/פלט של 256K לכתיבות

מגבלות על גודל וביצועים של דיסקים ב-Exapool

לדיסקים ב-Exapool יש את אותם גודל ומגבלות ביצועים כמו לדיסקים שלא נמצאים ב-Pool, באופן הבא:

סוג Hyperdisk הביצועים המקסימליים שאפשר להקצות לכל דיסק תפוקה שניתנת להתאמה אישית IOPS שניתן להתאמה אישית
Hyperdisk Balanced ‫160,000 IOPS;
תפוקה של 2,400 MiB/s		 כן כן
Hyperdisk Throughput תפוקה של ‎2,400 MiB/s כן לא; 4 IOPS לכל MiB/s של קצב העברת נתונים, עד 9,600 IOPS

אפשר לציין מגבלת ביצועים לדיסק בזמן היצירה שלו ולשנות את מגבלת הביצועים בזמן שהדיסק בשימוש.

פרטים על מגבלות הגודל והביצועים זמינים במאמרים בנושא מגבלות הגודל והביצועים של Hyperdisk Throughput ומגבלות הגודל והביצועים של Hyperdisk Balanced.

זמינות אזורית

‫Hyperdisk Balanced Exapools ו-Hyperdisk Throughput Exapools זמינים בכל האזורים.

הצפנה

הצפנת דיסקים במאגר Hyperdisk פועלת באותו אופן כמו הצפנת דיסקים מחוץ למאגר.

מידע נוסף זמין במאמר מידע על הצפנת דיסקים.

תמחור

החיוב על Exapools מתבצע על סמך המספר והסוג של יחידות הקיבולת והביצועים שרכשתם עבור המאגר. לא מחויבים על IOPS, על תפוקה או על קיבולת שהוקצו לדיסקים שנוצרו במאגר.

אפשר לקבל הנחות תמורת התחייבות לשימוש (CUD) במשאבים של Hyperdisk Exapools, עם התחייבות מינימלית לשנה או עד 3 שנים. כשרוכשים Exapool לשנה או ל-3 שנים, מקבלים באופן אוטומטי הנחות CUD על משאבים בהתחייבויות לשנה או ל-3 שנים.

מידע נוסף זמין במאמר בנושא תמחור של דיסקים.

מגבלות

המגבלות הבאות חלות על Exapools.

  • כדי ליצור, לשנות או למחוק Hyperdisk Exapool, צריך לפנות לצוות ניהול החשבון.
  • כמות הביצועים שאפשר להקצות ל-Exapool תלויה בסוג ובמספר של יחידות הקיבולת של ה-Exapool. עם זאת, הביצועים של דיסקים שנוצרו ב-Exapool לא תלויים בשילוב של יחידות הקיבולת במאגר.
  • אי אפשר להשתמש במצב סודי לנפחי Hyperdisk Balanced ב-Exapool.
  • ב-Exapools נעשה שימוש רק בקיבולת מתקדמת ובאמצעי הקצאה מתקדמים לביצועים. הם לא תומכים בהקצאת קיבולת רגילה או ביצועים רגילים.
  • ב-Exapools לא נעשה שימוש בדחיסת נתונים.
  • ב-Exapools אין תמיכה בהגדלה אוטומטית של הביצועים או הקיבולת. אתם צריכים לעקוב בעצמכם אחרי השימוש בביצועים ובקיבולת של Exapool. אם אתם צריכים לשפר את הביצועים או את הקיבולת של המאגר, אתם צריכים לפנות לצוות ניהול החשבון.
  • אי אפשר להעביר דיסקים קיימים אל Exapool או ממנו. צריך ליצור קובץ snapshot רגיל של הדיסק, ואז להשתמש בקובץ ה-snapshot כדי ליצור דיסק חדש.

המאמרים הבאים