סקירה כללית של Cloud Storage

בעזרת Cloud Storage אתם יכולים לאחסן, לנהל ולאחזר נתונים לא מובְנים, עם עמידות גבוהה וזמינות גלובלית. אתם יכולים להשתמש ב-Cloud Storage כדי להפיץ תוכן מהאינטרנט, לאחסן מערכי נתונים לעומסי עבודה של ניתוח נתונים ולמידת מכונה, ולהעביר לארכיון גיבויים לצורך תאימות ותוכנית התאוששות מאסון (DR).

איך Cloud Storage פועל

‫Cloud Storage הוא שירות אחסון מנוהל וניתן להתאמה שלGoogle Cloud , שמאפשר לאחסן נתונים כאובייקטים בקונטיינרים שנקראים קטגוריות.

כל הקטגוריות משויכות לפרויקט, ואפשר לקבץ את הפרויקטים בארגון. אחרי שיוצרים פרויקט, אפשר ליצור קטגוריות, להעלות אובייקטים לקטגוריות ולהוריד אובייקטים מהקטגוריות. אפשר גם להעניק הרשאות כדי שהנתונים יהיו נגישים לחשבונות משתמשים ספציפיים, או נגישים לכל אחד באינטרנט הציבורי. יכולות הספרייה מאפשרות לכם להשתמש ב-Cloud Storage באופן דומה יותר לכונן קשיח או לאחסון ברשת (NAS): תיקיות מאפשרות לכם לארגן אובייקטים במבנה של ספרייה, ותיקיות מנוהלות מאפשרות לכם לפשט את בקרת הגישה לאובייקטים.

כל פרויקט, קטגוריה, אובייקט, תיקייה ותיקייה מנוהלת הם משאב ב-Google Cloud, כמו גם מכונות של Compute Engine.

ההיררכיה של Google Cloud

כך המבנה של Cloud Storage יכול לחול על מקרה בעולם האמיתי:

  • ארגון: החברה, שנקראת Example Inc.‎, יוצרת ארגון ב- Google Cloudבשם exampleinc.org.

  • פרויקט: .Example Inc בונה מספר אפליקציות, וכל אחת מהן משויכת לפרויקט. לכל פרויקט יש קבוצה משלו של ממשקי API של Cloud Storage וגם משאבים אחרים.

  • קטגוריה: כל פרויקט יכול להכיל כמה קטגוריות, שהן קונטיינרים לאחסון האובייקטים. לדוגמה, אפשר ליצור קטגוריה של photos לכל קובצי התמונות שהאפליקציה יוצרת וקטגוריה נפרדת של videos. ב-Cloud Storage יש סוגי אחסון ומיקומים שונים לקטגוריות, כך שאתם יכולים לבחור את העמידות והזמינות של הנתונים בהתאם לצורכי עומסי העבודה שלכם.

    קטגוריות משמשות כבסיס נתונים ראשי בסביבה העסקית הרחבה יותר של Google Cloud. אתם יכולים לחבר את הקטגוריות שלכם כרכיבי קצה עורפי לאחסון בשירותים אחרים שלGoogle Cloud , כמו AI Hypercomputer, ‏Vertex AI ו-Google Kubernetes Engine.

  • אובייקט: קטגוריות מכילות אובייקטים, כמו תמונה בשם puppy.png. אובייקט הוא חלק של נתונים שלא ניתנים לשינוי, שמורכב מקובץ בכל סוג של פורמט. כל קטגוריה יכולה להכיל מספר בלתי מוגבל של אובייקטים נפרדים.

  • תיקייה: קטגוריות שמופעל בהן מרחב שמות היררכי יכולות להכיל תיקיות. תיקיות מאפשרות מערכת קבצים אמיתית לאחסון אובייקטים, בניגוד למערכת קבצים מדומה. אתם יכולים לשנות את השם של תיקייה ושל כל האובייקטים שבתוכה בפעולה אטומית אחת.

  • תיקייה מנוהלת: כל קטגוריה יכולה להכיל גם תיקיות מנוהלות, שמעניקות או מבטלות גישה נוספת מעבר להרשאות ה-IAM שמוגדרות בקטגוריה. תיקיות מנוהלות לא משתמשות במבנה עץ ספריות אמיתי, אלא הן שכבת-על של משאבים שמשמשת רק לבדיקת הרשאות.

שמות המשאבים

לכל משאב יש שם ייחודי שמזהה אותו, בדומה לשם קובץ. לקטגוריות יש שם משאב בצורת projects/_/buckets/BUCKET_NAME, כאשר BUCKET_NAME הוא מזהה הקטגוריה. לאובייקטים יש שם משאב בצורת projects/_/buckets/BUCKET_NAME/objects/OBJECT_NAME, כאשר OBJECT_NAME הוא מזהה האובייקט.

הסיומת #NUMBER המצורפת לסוף שם המשאב מציינת יצירה ספציפית של האובייקט. ‫#0 הוא מזהה מיוחד של הגרסה העדכנית של האובייקט. כדאי להוסיף את #0 כששם האובייקט מסתיים במחרוזת שאפשר לפרש כמספר גנרציה.

כלים ל-Cloud Storage

אתם יכולים להשתמש בכלים הבאים כדי לעבוד עם Cloud Storage:

  • מסוףGoogle Cloud : מסוף Google Cloud מספק ממשק חזותי לניהול הנתונים בדפדפן.

  • ‫Google Cloud CLI: ה-CLI של gcloud מאפשר אינטראקציה עם Cloud Storage דרך טרמינל באמצעות פקודות של gcloud storage.

  • ספריות לקוח: ספריות הלקוח של Cloud Storage מאפשרות לנהל את הנתונים באחת מהשפות המועדפות עליכם, כולל C++‎,‏ C#‎,‏ Go,‏ Java,‏ Node.js,‏ PHP,‏ Python ו-Ruby.

  • ‫API בארכיטקטורת REST: ניהול הנתונים באמצעות API בפורמט JSON או API בפורמט XML.

  • ‫Terraform: ‏Terraform הוא כלי של תשתית כקוד (IaC), שבעזרתו אפשר להקצות את התשתית ל-Cloud Storage. מידע נוסף זמין במאמר הקצאת משאבים באמצעות Cloud Storage.

  • ‫gRPC: מאפשר אינטראקציה עם Cloud Storage. זהו framework אוניברסלי בקוד פתוח ל-RPC שפותח על ידיGoogle , שמאפשר להגדיר את השירותים באמצעות מאגרי פרוטוקולים.

  • ‫Cloud Storage FUSE: מאפשר לטעון קטגוריות של Cloud Storage למערכת הקבצים המקומית. כך האפליקציות יכולות לקרוא מקטגוריה או לכתוב לקטגוריה באמצעות סמנטיקה סטנדרטית של מערכת קבצים.

  • ספריית GCSFS Python: ספריית GCSFS היא ספריית Python שמספקת ממשק של מערכת קבצים פייתונית ל-Cloud Storage.

תרחישי שימוש ותכונות עיקריות

‫Cloud Storage מספק מאגר אובייקטים עמיד וזמין בכל העולם, שמתאים למגוון רחב של עומסי עבודה בארגון – החל מאימון של בינה מלאכותית (AI) ולמידת מכונה (ML) בביצועים גבוהים ועד לארכוב רגולטורי.

אחסון נתונים וגישה אליהם לצורך AI/ML וניתוח נתונים

אפשר להאיץ את צינורות עיבוד הנתונים של AI/ML ואת התובנות האנליטיות באמצעות גישה לנתונים עם תפוקה גבוהה וזמן אחזור קצר, שמיועדת לעיבוד בקנה מידה גדול.

יכולת יכולת, מוצר או תכונה
Cloud Storage Rapid אחסון בעל ביצועים גבוהים שממוקם באותו מקום כמו המחשוב, כדי לאפשר גישה בפחות מאלפית השנייה וקצב העברת נתונים מצטבר של כמה טרה-בייטים לשנייה. כולל:
  • ‫Rapid Bucket: מאגר אובייקטים אזורי ב-Rapid Storage, שמיועד לעומסי עבודה של ניתוח נתונים ו-AI/ML עם כמויות גדולות של נתונים.
  • ‫Rapid Cache: מטמון קריאה אזורי שמנוהל באופן מלא ומגובה ב-SSD, שמתאים באופן אוטומטי את הקיבולת ורוחב הפס כדי לשפר את ביצועי הקריאה.
מרחב שמות היררכי הנתונים מאורגנים במבנה ספרייה לוגי עם פעולות תיקייה אטומיות, ומגבלות ה-QPS הראשוניות גבוהות עד פי 8 מאשר בקטגוריות ללא מרחב שמות היררכי. אפשר להפעיל מרחב שמות היררכי רק כשיוצרים את הקטגוריה, ואי אפשר להפעיל אותו בקטגוריה קיימת.
Cloud Storage FUSE טעינת קטגוריות למערכת הקבצים המקומית, כדי שהאפליקציות יוכלו לקרוא מקטגוריה או לכתוב לקטגוריה באמצעות סמנטיקה סטנדרטית של מערכת קבצים.

למידע נוסף על אופטימיזציה של הביצועים, קראו את המאמר אופטימיזציה של האחסון ל-AI/ML ולניתוח נתונים.

אבטחת מידע ותאימות

הצפנה מובנית, אמצעי בקרת גישה ומדיניות שמירת נתונים קבועה מאפשרים לכם להגן על הנכסים ולעמוד בתקנים רגולטוריים גלובליים.

שכבת אבטחה יכולת, מוצר או תכונה
בקרת גישה אוכפים את העיקרון של הרשאות מינימליות ומגבילים את התנועה לרשתות מהימנות. המוצרים והתכונות כוללים:
  • ניהול זהויות והרשאות גישה (IAM): מתן הרשאה למשתמשים, לקבוצות או לחשבונות שירות ספציפיים לבצע פעולות במשאבים של Cloud Storage באמצעות אמצעי בקרה לגישה שמבוססת על תפקידים.
  • גישה אחידה ברמת הקטגוריה: איחוד של בקרת הגישה למשאבים של Cloud Storage על ידי השבתה של רשימות בקרת גישה (ACL) ברמת האובייקט, ושימוש בלעדי במדיניות IAM ברמת הקטגוריה.
  • סינון כתובות IP בקטגוריה: הגבלת הגישה לקטגוריה על סמך כתובת ה-IP של מקור הבקשה, ואבטחת הנתונים מפני גישה לא מורשית מכתובות IP ספציפיות או מ-Virtual Private Cloud ‏ (VPC).
הצפנת נתונים הצפנת נתונים במנוחה ובזמן ההעברה. המוצרים והתכונות כוללים:
  • מפתחות בניהולGoogle: הצפנה אוטומטית של הנתונים במצב מנוחה ב-Cloud Storage, כברירת מחדל, באמצעות מפתחות בצד השרת שבבעלות Googleומנוהלים על ידה.
  • ‫CMEK‏ (Cloud KMS): שליטה בלוחות הזמנים של הרוטציה, בהרשאות הגישה ובמחזורי החיים של מפתחות ההצפנה כדי להגן על המשאבים ב-Cloud Storage.
  • CSEK: אבטחת הנתונים במצב מנוחה ב-Cloud Storage על ידי מתן מפתחות קריפטוגרפיים משלכם בכל בקשת API, במקום Google לאחסן או לשחזר את חומרי המפתח.
שמירת נתונים ואי-יכולת לשנות אותם למנוע מחיקה בטעות ולעמוד בדרישות התאימות של הנתונים. המוצרים והתכונות כוללים:
  • נעילת קטגוריה: פיקוח על משך הזמן שאובייקטים בקטגוריות יישמרו באמצעות ציון של מדיניות שמירת נתונים לקטגוריה, כדי לאכוף כללים רגולטוריים וכללי תאימות לשמירת נתונים.
  • שמירת אובייקטים: ניהול משך החיים של אובייקטים ספציפיים על ידי החלת תאריך ושעה בלתי ניתנים לשינוי לשמירה עד, כדי למנוע את המחיקה או ההחלפה שלהם עד שתוקף משך הזמן הזה יפוג.
  • ניהול גרסאות של אובייקטים: שמירת עותקים היסטוריים של הנתונים על ידי העברה אוטומטית לארכיון של אובייקטים פעילים שנמחקו או שוכתבו כגרסאות לא עדכניות, כדי שתוכלו לשחזר מצבים קודמים של אובייקטים בכל שלב.
  • מחיקה זמנית: מניעת אובדן נתונים באופן סופי במקרה של מחיקה בטעות או מחיקה זדונית, על ידי שמירה של אובייקטים וקטגוריות שנמחקו לאחרונה. כברירת מחדל, Cloud Storage מפעיל מחיקה זמנית לכל הקטגוריות עם תקופת שמירה של שבעה ימים.

גיבוי, תוכנית התאוששות מאסון (DR) והמשכיות עסקית

הגנה על העסק מפני אובדן נתונים, אירועי אסון והפסקות חשמל אזוריות, באמצעות זמינות במספר אזורים ורפליקציה מהירה בין אזורים.

יכולת, מוצר או תכונה תיאור
שני אזורים ומספר אזורים שכפול אוטומטי של נתונים באזורים Google Cloud שונים מבחינה גיאוגרפית, לזמינות של 99.99%.
רפליקציה בקצב טורבו רפליקציה של 100% מהאובייקטים החדשים שנכתבו בין זוגות של שני אזורים תוך 15 דקות.
ניהול גרסאות של אובייקטים ומחיקה רכה שמירת גרסאות קודמות ואובייקטים שנמחקו לאחרונה כדי לחזור למצב הקודם אחרי אירועים של החלפה בטעות או מתקפות של תוכנות כופר.

אופטימיזציה של עלויות וניהול מחזור החיים של נתונים

להפחית את הוצאות האחסון לאורך מחזור החיים של הנתונים, על ידי התאמה של תדירות הגישה לשכבות אחסון חסכוניות.

סוג האחסון, המוצר או התכונה תיאור
סוגי אחסון (storage classes) אתם יכולים לבחור בין Standard Storage, ‏ Nearline Storage, ‏ Coldline Storage, ‏ Archive Storage ו-Rapid Storage, בהתאם לתדירות הגישה לנתונים.
סיווג אוטומטי העברה אוטומטית של אובייקטים בין סוגי אחסון (storage classes) על סמך דפוסי הגישה לאובייקטים.
ניהול מחזור חיים של אובייקטים למחוק או להעביר אובייקטים באמצעות כללי מדיניות מותאמים אישית שמבוססים על כללים.

הפצת תוכן ומענה לבקשות תוכן באינטרנט

הפצה של נכסים דיגיטליים, הורדות וקובצי מדיה ברחבי העולם, עם זמן אחזור קצר וזמינות גבוהה.

יכולת, מוצר או תכונה תיאור
‫Cloud CDN ו-Cloud Load Balancing שמירת נכסים סטטיים במטמון במיקומי קצה גלובליים של Google, כדי להעביר נתונים באינטרנט בזמן טעינה קצר במיוחד.
כתובות URL חתומות לתת גישת קריאה או כתיבה לזמן מוגבל לאובייקטים פרטיים בלי לדרוש פרטי כניסה ל- Google .
אירוח אתרים סטטיים אפשר להציג נכסי מדיה, HTML,‏ CSS ו-JavaScript סטטיים ישירות מקטגוריה ציבורית.

העברת נתונים והטמעה מבוססת-אירועים

אפשר לייעל את העברת הנתונים החיצוניים אל Google Cloud ולהפעיל תהליכי עבודה אוטומטיים של עיבוד כשמעלים אובייקטים.

שילוב תיאור
Storage Transfer Service העברה מנוהלת בקנה מידה גדול של נתונים אונליין מ-Amazon S3, מ-Microsoft Azure Blob Storage, ממקורות HTTP או מאחסון מקומי.
Transfer Appliance מכשירים פיזיים מוקשחים שמעבירים עד מאות פטה-בייט של נתונים ממקורות אופליין אל Google Cloud.
‫Eventarc ו-Pub/Sub שליחת התראות בזמן אמת על אירועים של יצירה, מחיקה או עדכון של מטא-נתונים של אובייקטים, כדי להפעיל פונקציות או שירותים של Cloud Run.

ניתוח וניהול של אחסון הנתונים

קבלת תובנות על הנתונים שמאוחסנים בסביבת Cloud Storage וניהול שלהם בקנה מידה נרחב.

יכולת, מוצר או תכונה תיאור
Storage Intelligence קבלת תובנות על סביבת האחסון כדי לעזור לכם לשפר את העלויות ולאכוף את מדיניות משילות מידע (data governance).
יועץ ב-Storage Intelligence מעקב אחרי הנתונים שמאוחסנים וקבלת ממצאים פרקטיים שיעזרו לכם לייעל את העלויות, לשפר את הביצועים ולחזק את האבטחה.
העשרת אובייקטים (גרסת טרום-השקה (Preview)) יצירת מטא-נתונים מובְנים לתמונות ולמסמכי PDF לא מובְנים באמצעות מודלים של למידת מכונה.
מערכי נתונים של Storage Insights הרצת שאילתות וניתוח אינדקסים של המטא-נתונים של הקטגוריות והאובייקטים ב-BigQuery.
פעולות רבות על פריטי אחסון לבצע פעולות בכמות גדולה, כמו מחיקת אובייקטים, עדכון מטא-נתונים או החלת כללי מדיניות שמירה על מיליוני או מיליארדי אובייקטים.
העברת קטגוריות למיקום גיאוגרפי אחר העברת קטגוריה קיימת והנתונים שלה למיקום חדש, תוך שמירה על שם הקטגוריה והמטא-נתונים של האובייקטים, עם זמן השבתה מינימלי.

מדריכים למתחילים

כדי להכיר את יסודות השימוש ב-Cloud Storage, אפשר להיעזר במדריכים הבאים:

מחפשים מוצרים אחרים?

אם Cloud Storage הוא לא פתרון האחסון שמתאים לכם, אתם יכולים לקרוא מידע נוסף על שירותי האחסון הבאים:

  • ‫Google Cloud Managed Lustre: אחסון הנתונים במערכת קבצים מקבילה, מנוהלת לחלוטין ובעלת ביצועים גבוהים, שמותאמת לעומסי עבודה של AI ו-HPC.

  • ‫Google Drive: אחסון, ניהול ושיתוף של קבצים אישיים.

  • ‫Cloud Storage for Firebase: ניהול נתונים של אפליקציות לנייד.

  • ‫Persistent Disk: הוספת אחסון בלוקים (block storage) למכונה הווירטואלית של Compute Engine.

  • ‫Filestore: הוספת אחסון קבצים לגישה של ריבוי כותבים לאשכולות GKE.

  • שירותי אחסון נוספים שמוצעים על ידי Google.

המאמרים הבאים