המדריך הזה יעזור לכם להעריך את דרישות האחסון של עומס העבודה בענן, להבין את אפשרויות האחסון שזמינות ב- Google Cloudולתכנן אסטרטגיית אחסון שתספק ערך טכני ועסקי אופטימלי.
מידע על בחירת שירותי אחסון לעומסי עבודה של AI ו-ML זמין במאמר סקירה כללית של שירותי אחסון לעומסי עבודה של AI ו-ML ב-AI Hypercomputer.
סקירה כללית של תהליך העיצוב
כאדריכלי ענן, כשאתם מתכננים אחסון לעומס עבודה בענן, אתם צריכים קודם לשקול את המאפיינים הפונקציונליים של עומס העבודה, את מגבלות האבטחה, את דרישות העמידות, את ציפיות הביצועים ואת יעדי העלות. אחר כך, אתם צריכים לבדוק את שירותי האחסון והתכונות הזמינים ב-Google Cloud. לאחר מכן, בהתאם לדרישות ולאפשרויות הזמינות, בוחרים את שירותי האחסון והתכונות שאתם צריכים. בתרשים הבא מוצג תהליך התכנון הזה בן שלושת השלבים:
הגדרת הדרישות
משתמשים בשאלונים שבקטע הזה כדי להגדיר את דרישות האחסון העיקריות של עומס העבודה שרוצים לפרוס ב- Google Cloud.
הנחיות להגדרת דרישות האחסון
כשעונים על השאלונים, חשוב להקפיד על ההנחיות הבאות:
הגדרת דרישות ברמת פירוט גבוהה
לדוגמה, אם האפליקציה שלכם צריכה אחסון קבצים מבוסס-NFS, צריך לזהות את גרסת ה-NFS הנדרשת.
כדאי לקחת בחשבון דרישות עתידיות
לדוגמה, יכול להיות שהפריסה הנוכחית שלכם משרתת משתמשים במדינות באסיה, אבל אתם מתכננים להרחיב את העסק ליבשות אחרות. במקרה כזה, כדאי להביא בחשבון את הדרישות הרגולטוריות שקשורות לאחסון בטריטוריות העסקיות החדשות.
התייחסות להזדמנויות ולדרישות ספציפיות לענן
נצלו הזדמנויות ספציפיות ל-Cloud.
לדוגמה, כדי לייעל את עלויות האחסון של נתונים שמאוחסנים ב-Cloud Storage, אפשר לשלוט במשך האחסון באמצעות מדיניות שמירת נתונים והגדרות של מחזור החיים.
כדאי לקרוא מה הדרישות הספציפיות לענן.
לדוגמה, יכול להיות שהנתונים המקומיים נמצאים במרכז נתונים יחיד, ותצטרכו לשכפל את הנתונים שהועברו בשניGoogle Cloud מיקומים כדי ליצור יתירות.
שאלונים
השאלונים הבאים הם לא רשימות מקיפות לתכנון. אפשר להשתמש בהן כנקודת התחלה לניתוח שיטתי של כל דרישות האחסון של עומס העבודה שרוצים לפרוס ב- Google Cloud.
הערכת המאפיינים של עומס העבודה
איזה סוג נתונים צריך לאחסן?
דוגמאות
- תוכן של אתר סטטי
- גיבויים וארכיונים לצורך תוכנית התאוששות מאסון (DR)
- יומני ביקורת לצורכי תאימות
- אובייקטים גדולים של נתונים שהמשתמשים מורידים ישירות
- נתוני עסקאות
- נתונים לא מובנים והטרוגניים
מה הקיבולת שדרושה לכם? כדאי לקחת בחשבון את הדרישות הנוכחיות והעתידיות שלכם.
האם הקיבולת צריכה להשתנות אוטומטית בהתאם לשימוש?
מהן דרישות הגישה? לדוגמה, האם צריך לאפשר גישה לנתונים מחוץ ל- Google Cloud?
מהן תבניות הקריאה והכתיבה הצפויות?
דוגמאות
- כתיבה וקריאה לעיתים קרובות
- כתיבה תכופה, אבל קריאה מדי פעם
- כתיבה וקריאה מדי פעם
- כתיבה מדי פעם, אבל קריאה בתדירות גבוהה
האם לעומס העבודה נדרשת גישה מבוססת-קבצים, למשל באמצעות NFS?
האם כמה לקוחות צריכים להיות מסוגלים לקרוא או לכתוב נתונים בו-זמנית?
זיהוי מגבלות אבטחה
מהן הדרישות שלך בנוגע להצפנת נתונים? לדוגמה, האם אתם צריכים להשתמש במפתחות שאתם שולטים בהם?
האם יש דרישות לגבי מיקום הנתונים?
הגדרת דרישות חוסן הנתונים
- האם עומס העבודה שלכם דורש אחסון במטמון עם זמן אחזור נמוך או שטח אחסון זמני?
- האם צריך לשכפל את הנתונים בענן לצורך יתירות?
- האם אתם צריכים עקביות קפדנית של קריאה וכתיבה במערכי נתונים משוכפלים?
הגדרת ציפיות לגבי הביצועים
מה קצב קלט/פלט (I/O) הנדרש?
מה רמות התפוקה של קריאה וכתיבה שהאפליקציה שלכם צריכה?
לאילו סביבות נדרש אחסון? יכול להיות שבעומס עבודה מסוים תצטרכו אחסון עם ביצועים גבוהים לסביבת הייצור, אבל תוכלו לבחור באפשרות עם ביצועים נמוכים יותר לסביבות שאינן סביבות ייצור.
בדיקת אפשרויות האחסון
Google Cloud מציע שירותי אחסון לכל פורמטי האחסון העיקריים: בלוק, קובץ ואובייקט. בודקים ומעריכים את התכונות, את אפשרויות העיצוב ואת היתרונות היחסיים של השירותים שזמינים לכל פורמט אחסון.
סקירה כללית
אחסון בלוקים (block storage)
הנתונים שאתם מאחסנים באחסון בלוקים מחולקים למקטעים, וכל מקטע מאוחסן כבלוק נפרד עם כתובת ייחודית. אפליקציות ניגשות לנתונים על ידי הפניה לכתובות הבלוק המתאימות. אחסון בלוקים (block storage) מותאם לעומסי עבודה עם IOPS גבוה, כמו עיבוד עסקאות. הוא דומה לרשת אזורי אחסון (SAN) מקומית ולמערכות אחסון בחיבור ישיר (DAS).
אפשרויות האחסון הבלוקים ב- Google Cloud הן חלק משירות Compute Engine.
| אפשרות | סקירה כללית |
|---|---|
| Persistent Disk | כונני דיסק קשיח (HDD) וכונני מצב מוצק (SSD) ייעודיים לאפליקציות ארגוניות ולאפליקציות של מסדי נתונים שנפרסות במכונות וירטואליות של Compute Engine ובאשכולות של Google Kubernetes Engine (GKE). |
| Google Cloud Hyperdisk | אחסון רשת מהיר ועודף למכונות וירטואליות ב-Compute Engine ולתצורות GKE, עם קיבולת שאפשר להגדיל באופן דינמי וביצועים שניתנים להגדרה. |
| Local SSD | אחסון בלוקים (block storage) זמני עם חיבור מקומי לאפליקציות שדורשות ביצועים גבוהים. |
אחסון קבצים
הנתונים מאורגנים ומוצגים בהיררכיה של קבצים שמאוחסנים בתיקיות, בדומה לאחסון ברשת (NAS) במקום. אפשר לטעון מערכות קבצים בלקוחות באמצעות פרוטוקולים כמו NFS ו-פרוטוקול SMB (SMB). אפליקציות ניגשות לנתונים באמצעות שם הקובץ הרלוונטי ונתיב הספרייה.
Google Cloud מספק מגוון פתרונות מנוהלים לאחסון קבצים.
| פתרון | סקירה כללית |
|---|---|
| Filestore |
אחסון מבוסס-קבצים באמצעות שרתי קבצים מסוג NFS למכונות וירטואליות ב-Compute Engine ולאשכולות GKE. |
| Google Cloud Managed Lustre |
מערכת קבצים מקבילית עם זמן אחזור קצר ל-AI, למחשוב עתיר ביצועים (HPC) ולאפליקציות עתירות נתונים. |
| Google Cloud NetApp Volumes | אחסון מבוסס-קבצים באמצעות פרוטוקולים של NFS, SMB או אחסון בלוקים. |
אחסון אובייקטים
הנתונים מאוחסנים כאובייקטים בהיררכיה שטוחה של קטגוריות. לכל אובייקט מוקצה מזהה ייחודי באופן גלובלי. לאובייקטים יכולים להיות מטא-נתונים שהמערכת מקצה ומטא-נתונים שהמשתמש מגדיר, כדי לעזור לכם לארגן ולנהל את הנתונים. אפליקציות ניגשות לנתונים באמצעות הפניה למזהי האובייקטים, באמצעות ממשקי API של REST או ספריות לקוח.
Cloud Storage מספק אחסון אובייקטים בעלות נמוכה, עם עמידות גבוהה ויכולת התאמה רחבה, למגוון סוגי נתונים. אפשר לגשת לנתונים שמאוחסנים ב-Cloud Storage מכל מקום, בתוך ומחוץ Google Cloudלארגון. יתירות אופציונלית באזורים שונים מספקת זמינות ואמינות גבוהות. אתם יכולים לבחור סוג אחסון שמתאים לדרישות שלכם לגבי שמירת נתונים ותדירות הגישה.
ניתוח השוואתי
בטבלה הבאה מפורטות היכולות העיקריות של שירותי האחסון ב-Google Cloud.
| Persistent Disk | Hyperdisk | אחסון SSD מקומי | Filestore | Managed Lustre | NetApp Volumes | Cloud Storage | |
|---|---|---|---|---|---|---|---|
| מגבלת הקיבולת |
64TiB לכל דיסק ו-257TiB לכל מכונה וירטואלית. המפרטים העדכניים: מסמכי Persistent Disk |
64TiB לכל דיסק, 512TiB לכל מכונה וירטואלית ו-5PiB לכל מאגר אחסון. Exapools הם מאגרי Hyperdisk בקיבולת גבוהה יותר. המפרטים העדכניים: מסמכי Hyperdisk |
375GiB לכל דיסק ו-12,000GiB לכל מכונה וירטואלית. דיסקים מסוג Titanium SSD תומכים בנפח של עד 6TiB לכל דיסק ו-84,000GiB לכל מכונה וירטואלית. המפרטים העדכניים: מסמכי SSD מקומי |
100TiB לכל מכונה, בהתאם לרמת השירות. | 80.1 PiB לכל מופע, בהתאם לרמת הביצועים. |
20PiB לכל מאגר אחסון ו-20PiB לכל נפח אחסון. המפרטים העדכניים: מסמכי NetApp Volumes |
5 TiB לכל אובייקט, ללא הגבלה לכל קטגוריה (חוץ מRapid Bucket). המפרטים העדכניים: מאמרי העזרה של Cloud Storage |
|
התאמה לעומס |
|
|
לא ניתן להתאמה | הגדלה והקטנה של הקיבולת (רמות אזוריות ושל תחום מוגדר) | הרחבת המינוי | הגדלה והקטנה של התצוגה | התאמה אוטומטית של המשאבים לעומס (scaling) על סמך השימוש |
| שיתוף |
נתמך | נתמך | אי אפשר לשתף | אפשר להרכיב אותו על כמה מכונות וירטואליות של Compute Engine, על לקוחות מרוחקים ועל אשכולות GKE | אפשר להטמיע אותו בכמה מכונות וירטואליות של Compute Engine ובאשכולות GKE | אפשר להרכיב אותו על כמה מכונות וירטואליות של Compute Engine, על לקוחות מרוחקים ועל אשכולות GKE |
|
| אפשרויות למפתח הצפנה |
|
|
Google-owned and Google-managed encryption keys |
|
|
|
|
| Persistence |
משך החיים של הדיסק | משך החיים של הדיסק | זמני (הנתונים אובדים כשמפסיקים או מוחקים את המכונה הווירטואלית) | משך החיים של מופע Filestore | משך החיים של מכונת Managed Lustre | משך החיים של אמצעי האחסון | משך החיים של הקטגוריה |
| זמינות |
|
|
אזורי |
|
אזורי |
|
|
| ביצועים |
שינוי קנה מידה לינארי לפי גודל הדיסק ומספר המעבדים | התאמה דינמית של נפח האחסון | אחסון זמני עתיר ביצועים | אזוריים: ביצועים בהתאמה אישית | ההתאמה מתבצעת על סמך רמת הביצועים שנבחרה. | ביצועים שניתנים להתאמה הציפיות תלויות ברמת השירות. |
|
| ניהול |
עיצוב והרכבה באופן ידני | עיצוב והרכבה באופן ידני | עיצוב, פסיקה והרכבה ידניים | מנוהל באופן מלא | מנוהל באופן מלא | מנוהל באופן מלא | מנוהל באופן מלא |
בטבלה הבאה מפורטים סוגי עומסי העבודה שכל אחת מאפשרויות Google Cloud האחסון מתאימה להם:
| אפשרות אחסון | סוגי עומסי עבודה |
|---|---|
| Hyperdisk או דיסק אחסון מתמיד |
|
| אחסון SSD מקומי |
|
| Filestore |
|
| Managed Lustre |
|
| NetApp Volumes |
|
| Cloud Storage |
|
בחירת אפשרות אחסון
בחירת אפשרות אחסון כוללת שני חלקים:
- בחירת שירותי האחסון שדרושים לכם.
- בחירת התכונות הנדרשות ואפשרויות העיצוב בשירות מסוים.
דוגמאות לתכונות ספציפיות לשירות ולאפשרויות עיצוב
Persistent Disk
- אזור ופריסת פריסה
- רפליקציה אזורית
- סוג הדיסק, הגודל וערכי ה-IOPS (עבור דיסק מתמיד מסוג Extreme)
- מפתחות הצפנה: Google-owned and Google-managed encryption keys, או בניהול הלקוח
- לוח זמנים של תמונות מצב
Hyperdisk
- אזור ופריסת פריסה
- סוג הדיסק, הגודל, ה-IOPS או ה-Throughput שהוקצו
- מפתחות הצפנה: Google-owned and Google-managed encryption keys, או בניהול הלקוח
- שכפול: סינכרוני או אסינכרוני
- לוח זמנים של תמונות מצב
Filestore
- אזור ופריסת פריסה
- רמת המכונה
- קיבולת
- טווח כתובות IP: מוקצה אוטומטית או מותאם אישית
- בקרת גישה
Managed Lustre
- אזור פריסה
- כמות האנשים ורמת הביצועים
- מפתחות הצפנה: Google-owned and Google-managed encryption keys, או בניהול הלקוח
NetApp Volumes
- אזור הפריסה
- רמת השירות של מאגר האחסון
- קיבולת של מאגרים ונפחים
- פרוטוקול עוצמת הקול
- כללים לייצוא נפח
Cloud Storage
- Location: multi-region, בשני אזורים, single region, single zone
- סוג האחסון (storage class): Standard, Nearline, Coldline, Archive או Rapid
- בקרת גישה: אחידה או פרטנית
- מפתחות הצפנה: Google-owned and Google-managed encryption keys, בניהול הלקוח או באספקת הלקוח
- מדיניות שמירת נתונים
המלצות לגבי נפח האחסון
ההמלצות הבאות יכולות לשמש אתכם כנקודת התחלה לבחירת שירותי האחסון והתכונות שמתאימים לדרישות שלכם. הנחיות ספציפיות לעומסי עבודה של AI ו-ML מופיעות במאמר סקירה כללית של שירותי אחסון לעומסי עבודה של AI ו-ML ב-AI Hypercomputer.
ליישומים של AI, ML ו-HPC שזקוקים למערכת קבצים מקבילה, אפשר להשתמש ב-Managed Lustre.
לאפליקציות שזקוקות לגישה מבוססת-קובץ, בוחרים שירות אחסון קבצים מתאים על סמך הדרישות שלכם לגבי פרוטוקול גישה, זמינות וביצועים.
פרוטוקול גישה המלצה NFS - אם אתם צריכים זמינות אזורית וביצועים גבוהים שניתנים להגדרה, כדאי להשתמש ב-Filestore Regional או ב-NetApp Volumes Flex Unified.
- אם הזמינות האזורית מספיקה:
- כדי להגדיר את הביצועים בנפרד מהקיבולת, צריך להשתמש ב-Filestore Zonal או ב-NetApp Volumes Flex Unified.
- כדי לקבל ביצועים שמשתפרים עם הקיבולת, משתמשים ב-Filestore Zonal או ב-NetApp Volumes Standard, Premium או Extreme.
מידע נוסף זמין במאמרים בנושא מסלולי שירות של Filestore ו רמות שירות של NetApp Volumes.
SMB שימוש ב-NetApp Volumes. לעומסי עבודה שזקוקים לאחסון ראשי עם ביצועים גבוהים, אפשר להשתמש ב-Hyperdisk, ב-Local SSD או ב-Persistent Disk, בהתאם לדרישות.
דרישה המלצה דיסק אחסון נדיף (scratch disk) או מטמון מהירים שימוש בדיסקים מקומיים של SSD (זמניים). אחסון בלוקים עם ביצועים וקיבולת שניתנים להרחבה באופן עצמאי שימוש ב-Hyperdisk, שהוא אחסון בלוקים עמיד מומלץ של Google, שנדרש לסדרת המכונות העדכנית. בוחרים סוג דיסק מתאים בהתאם לדרישות:
- עומסי עבודה למטרות כלליות:
hyperdisk-balanced - עומסי עבודה גבוהים של קלט/פלט, כמו מסדי נתונים עתירי ביצועים:
hyperdisk-extreme - ניתוח נתונים בהרחבת קנה מידה, כונני נתונים לאפליקציות רגישות לעלויות ואחסון נתונים בשימוש נדיר (cold storage):
hyperdisk-throughput - עומסי עבודה של ML שצריכים תפוקה גבוהה למספר מכונות וירטואליות במצב קריאה-בלבד:
hyperdisk-mlבמצב קריאה-בלבד - כמה מכונות וירטואליות עם גישת כתיבה בו-זמנית לאותו דיסק:
hyperdisk-balanced-high-availability(בשני אזורים בתוך אזור), אוhyperdisk-balancedאו hyperdisk-extreme(בתוך אזור אחד) במצב ריבוי כותבים
מידע נוסף זמין במאמר בנושא Hyperdisk.
אחסון בלוקים (block storage) עם קיבולת ניתנת להרחבה למכונות וירטואליות מדורות קודמים משתמשים בדיסק אחסון מתמיד (persistent disk). בוחרים את סוג הדיסק המתאים בהתאם לדרישות:
- IOPS רציף:
pd-standard - עומסי עבודה אינטנסיביים של IOPS:
pd-extremeאוpd-ssd - איזון בין ביצועים לעלות:
pd-balanced
מידע נוסף זמין במאמר בנושא דיסק מתמשך.
- בהתאם לדרישות היתירות שלכם, אתם יכולים לבחור בין דיסקים אזוריים לבין דיסקים אזוריים.
דרישה המלצה יתירות בתוך תחום אחד באזור משתמשים ב-Hyperdisk או בדיסק לאחסון מתמיד (persistent disk) של תחום. יתירות בכמה אזורים באותו אזור משתמשים ב-Hyperdisk Balanced High Availability או בדיסק אחסון מתמיד אזורי.
- עומסי עבודה למטרות כלליות:
כדי לאחסן נתונים בכמויות גדולות ובאופן גלובלי, משתמשים ב-Cloud Storage.
בהתאם לתדירות הגישה לנתונים ולמשך האחסון, בוחרים סוג אחסון מתאים ב-Cloud Storage.
דרישה המלצה תדירות הגישה משתנה, או שתקופת שמירת הנתונים לא ידועה או לא צפויה. אפשר להשתמש בתכונה סיווג אוטומטי כדי להעביר באופן אוטומטי אובייקטים בקטגוריה לסוגי אחסון מתאימים, בהתאם לתדירות הגישה לכל אובייקט. אחסון אזורי לעומסי עבודה שדורשים זמן אחזור של פחות ממילי-שנייה וקצב העברת נתונים גבוה, כמו אימון AI ו-ML, יצירת נקודות ביקורת, הסקת מסקנות וניתוח נתונים. שימוש בRapid Bucket עם סוג האחסון Rapid. אחסון נתונים שניגשים אליהם לעיתים קרובות, כולל ניתוח נתונים עם תפוקה גבוהה, אגמי נתונים, אתרים, סרטוני וידאו בסטרימינג ואפליקציות לנייד. משתמשים בסוג האחסון Standard.
כדי לשמור במטמון נתונים שניגשים אליהם לעיתים קרובות ולהציג אותם ממיקומים שקרובים ללקוחות, משתמשים ב-Cloud CDN.
עבור עומסי עבודה עם פעולות קריאה רבות, שינויים לא תכופים בנתונים וקריאות תכופות (כמו אימון, הסקה וניתוח של למידת מכונה), אפשר לשפר את ביצועי הקריאה ולהפחית את עלויות העברת הנתונים באמצעות Rapid Cache.
אחסון בעלות נמוכה לנתונים שניגשים אליהם לעיתים רחוקות, שאפשר לאחסן למשך 30 ימים לפחות (לדוגמה, גיבויים ותוכן מולטימדיה 'זנב ארוך'). משתמשים בסוג האחסון Nearline. אחסון בעלות נמוכה לנתונים שניגשים אליהם לעיתים רחוקות, שאפשר לאחסן למשך 90 ימים לפחות (לדוגמה, לצורך תוכנית התאוששות מאסון). שימוש בסוג האחסון Coldline. אחסון בעלות הכי נמוכה לנתונים שניגשים אליהם לעיתים רחוקות, שאפשר לאחסן למשך 365 ימים לפחות, כולל ארכיונים רגולטוריים. משתמשים בסוג האחסון Archive. לניתוח השוואתי מפורט, ראו סוגי אחסון ב-Cloud Storage.
אפשרויות להעברת נתונים
אחרי שבוחרים שירותי אחסון מתאימים Google Cloud , כדי לפרוס ולהפעיל עומסי עבודה, צריך להעביר את הנתונים אל Google Cloud. הנתונים שצריך להעביר יכולים להיות מקומיים או בפלטפורמות ענן אחרות.
אפשר להשתמש בשיטות הבאות כדי להעביר נתונים אל Google Cloud:
- העברת נתונים אונליין באמצעות Storage Transfer Service: אוטומציה של העברת כמויות גדולות של נתונים בין מערכות לאחסון אובייקטים וקבצים, כולל Cloud Storage, Amazon S3, שירותי אחסון של Azure ומקורות נתונים מקומיים.
- העברת נתונים אופליין באמצעות Transfer Appliance: העברה וטעינה של כמויות גדולות של נתונים אופליין אל Google Cloud במקרים שבהם קישוריות הרשת ורוחב הפס לא זמינים, מוגבלים או יקרים.
- העלאת נתונים ל-Cloud Storage: העלאת נתונים אונליין לקטגוריות של Cloud Storage באמצעות מסוף Google Cloud , Google Cloud CLI, Cloud Storage API או ספריות לקוח.
כשבוחרים שיטה להעברת נתונים, צריך לקחת בחשבון גורמים כמו גודל הנתונים, מגבלות זמן, זמינות רוחב הפס, יעדי עלות ודרישות אבטחה ותאימות. מידע על תכנון והטמעה של העברות נתונים אל Google Cloudזמין במאמר אפשרויות להעברת נתונים.
המאמרים הבאים
- כדי להעריך את עלות האחסון, אפשר להשתמש בGoogle Cloud מחשבון עלויות.
- מידע ולמידה על שיטות מומלצות לבניית טופולוגיית ענן שעברה אופטימיזציה לאבטחה, לחוסן (resilience), לעלות ולביצועים.
- לדוגמאות נוספות של ארכיטקטורות, תרשימים ושיטות מומלצות, עיינו במאמר Cloud Architecture Center.
שותפים ביצירת התוכן
מחבר: קומאר דהנגופל (Kumar Dhanagopal) | מפתח פתרונות חוצי-מוצרים
תורמי תוכן אחרים:
- Brennan Doyle | Solutions Architect
- דין הילדברנד | מנהל טכני, משרד ה-CTO
- ג'פרי נור | מנהל קבוצת מוצרים
- Jack Zhou | Technical Writer
- ג'ייסון וו | Director, Product Management
- Jeff Allen | Solutions Architect
- Samantha He | Technical Writer
- שון דרינגטון | מנהל קבוצת מוצרים, אחסון