סקירה כללית של המוצר Cloud Storage

הדף הזה מספק סקירה כללית של Cloud Storage ושל אופן הפעולה שלו.

‫Cloud Storage הוא שירות לאחסון אובייקטים ב-Google Cloud. אובייקט הוא חלק של נתונים שלא ניתנים לשינוי, שמורכב מקובץ בכל סוג של פורמט. האובייקטים מאוחסנים בקונטיינרים שנקראים קטגוריות, ואפשר לארגן את האובייקטים שמאוחסנים בקטגוריות באמצעות תיקיות.

כל הקטגוריות משויכות לפרויקט, ואפשר לקבץ את הפרויקטים בארגון. כל פרויקט, קטגוריה, תיקייה מנוהלת ואובייקט ב- Google Cloud הם משאב ב- Google Cloud, כמו גם מכונות של Compute Engine.

אחרי שיוצרים פרויקט, אפשר לבצע יצירה של קטגוריות של Cloud Storage, העלאת אובייקטים לקטגוריות והורדת אובייקטים מקטגוריות. אפשר גם להעניק הרשאות כדי שהנתונים יהיו נגישים לחשבונות משתמשים ספציפיים, או נגישים לכל אחד באינטרנט הציבורי.

היררכיה Google Cloud

כך המבנה של Cloud Storage יכול לחול על מקרה בעולם האמיתי:

  • ארגון: החברה, שנקראת Example Inc.‎, יוצרת ארגון בשם exampleinc.org. Google Cloud

  • פרויקט: .Example Inc בונה מספר אפליקציות, וכל אחת מהן משויכת לפרויקט. לכל פרויקט יש קבוצה משלו של ממשקי API של Cloud Storage וגם משאבים אחרים.

  • קטגוריה: כל פרויקט יכול להכיל כמה קטגוריות, שהן קונטיינרים לאחסון האובייקטים. לדוגמה, אפשר ליצור קטגוריה של photos לכל קובצי התמונות שהאפליקציה יוצרת וקטגוריה נפרדת של videos.

    • קטגוריות עם מרחב שמות היררכי: אפשר להפעיל מרחב שמות היררכי בקטגוריות, כדי לאחסן את הנתונים במבנה לוגי של מערכת קבצים באמצעות תיקיות. אפשר לנהל תיקיות באמצעות פעולות ספציפיות לתיקיות, כולל יצירה, מחיקה, רישום ושינוי שם. בקטגוריות שמופעל בהן מרחב שמות היררכי, מגבלות ה-QPS הראשוניות לקריאה ולכתיבה של אובייקטים גבוהות פי 8 בהשוואה לקטגוריות שבהן לא מופעל מרחב שמות היררכי. זה יתרון למשימות שדורשות הרבה נתונים, כמו ניתוח ועומסי עבודה של AI/ML.

  • אובייקט: קטגוריות מכילות אובייקטים, כמו תמונה בשם puppy.png. כל דלי יכול להכיל מספר בלתי מוגבל של אובייקטים נפרדים.

  • תיקייה: קטגוריות עם מרחב שמות היררכי יכולות להכיל תיקיות. תיקיות מאפשרות מערכת קבצים אמיתית לאחסון אובייקטים, בניגוד למערכת קבצים מדומה. אתם יכולים לשנות את השם של תיקייה ושל כל האובייקטים שבה בפעולה אחת.

  • תיקייה מנוהלת: כל קטגוריה יכולה להכיל גם תיקיות מנוהלות, שמעניקות או מבטלות גישה נוספת מעבר להרשאות IAM שהוגדרו בקטגוריה. בתיקיות מנוהלות לא נעשה שימוש במבנה אמיתי של עץ ספריות, אלא בכיסוי משאבים שמשמש רק לבדיקת הרשאות.

כלים ל-Cloud Storage

אפשר להשתמש בכלים הבאים כדי ליצור אינטראקציה עם Cloud Storage:

  • המסוף: Google Cloud המסוף מספק ממשק חזותי לניהול הנתונים בדפדפן.

  • ‫Google Cloud CLI:‏ ה-CLI של gcloud מאפשר אינטראקציה עם Cloud Storage דרך טרמינל באמצעות פקודות של gcloud storage.

  • ספריות לקוח: ספריות הלקוח של Cloud Storage מאפשרות לנהל את הנתונים באחת מהשפות המועדפות עליכם, כולל C++‎,‏ C#‎,‏ Go,‏ Java,‏ Node.js,‏ PHP,‏ Python ו-Ruby.

  • ‏API בארכיטקטורת REST: ניהול הנתונים באמצעות API בפורמט JSON או API בפורמט XML.

  • ‫Terraform:‏ Terraform הוא כלי של תשתית כקוד (IaC), שבעזרתו אפשר להקצות את התשתית ל-Cloud Storage. מידע נוסף זמין במאמר הקצאת משאבים באמצעות Cloud Storage.

  • ‫gRPC: ‏ gRPC מאפשר לכם ליצור אינטראקציה עם Cloud Storage. ‏gRPC הוא מסגרת RPC אוניברסלית בקוד פתוח עם ביצועים גבוהים שפותחה על ידי Google. אתם יכולים להשתמש בה כדי להגדיר את השירותים שלכם באמצעות Protocol Buffers.‏

  • ‫Cloud Storage FUSE: ‏ Cloud Storage FUSE מאפשר לטעון קטגוריות של Cloud Storage למערכת הקבצים המקומית. כך האפליקציות יכולות לקרוא מקטגוריה או לכתוב לקטגוריה באמצעות סמנטיקה סטנדרטית של מערכת קבצים.

אבטחת נתונים

אחרי שמעלים אובייקטים ל-Cloud Storage, יש לכם בקרה פרטנית על האבטחה ועל שיתוף הנתונים. הנה מספר דרכים לאבטח את הנתונים שמעלים ל-Cloud Storage:

  • ניהול זהויות והרשאות גישה (IAM): אפשר להשתמש ב-IAM כדי לקבוע למי תהיה גישה למשאבים בפרויקט של Google Cloud . המשאבים כוללים קטגוריות ואובייקטים של Cloud Storage, וישויות אחרות של Google Cloud Google Cloud כמו מכונות של Compute Engine. אפשר להעניק לחשבונות המשתמשים סוגים מסוימים של גישה לקטגוריות ולאובייקטים, כמו update, create או delete.

  • הצפנת נתונים: כברירת מחדל Cloud Storage משתמש בהצפנה בצד השרת כדי להצפין את הנתונים. אפשר גם להשתמש באפשרויות משלימות להצפנת נתונים כמו מפתחות הצפנה בניהול הלקוח ומפתחות הצפנה באספקת הלקוח (CSEK).

  • אימות: צריך לוודא שלכל מי שמשתמש בנתונים יש פרטי כניסה תקינים.

  • מחיקה עם יכולת שחזור: כדי למנוע אובדן נתונים קבוע כתוצאה ממחיקה מקרית או זדונית, המערכת שומרת אובייקטים ודליים שנמחקו לאחרונה. כברירת מחדל, ב-Cloud Storage מופעלת מחיקה עם יכולת שחזור לכל הקטגוריות עם תקופת שמירה של שבעה ימים.

  • ניהול גרסאות של אובייקטים: כשגרסה פעילה של אובייקט מוחלפת או נמחקת, אפשר לשמור אותה כגרסה לא נוכחית אם מפעילים ניהול גרסאות של אובייקטים.

  • סינון כתובות IP של דליים: באמצעות סינון כתובות IP של דליים, אתם יכולים להגביל את הגישה לדלי על סמך כתובת ה-IP של המקור של הבקשה, ולהגן על הנתונים מפני גישה לא מורשית מכתובות IP ספציפיות או מ-Virtual Private Cloud ‏ (VPC).

  • נעילת קטגוריה: פיקוח על משך הזמן שאובייקטים בקטגוריות יישמרו באמצעות ציון של מדיניות שמירת נתונים.

שמות המשאבים

לכל משאב יש שם ייחודי שמזהה אותו, בדומה לשם קובץ. לקטגוריות יש שם משאב בצורת projects/_/buckets/BUCKET_NAME, כאשר BUCKET_NAME הוא מזהה הקטגוריה. לאובייקטים יש שם משאב בצורת projects/_/buckets/BUCKET_NAME/objects/OBJECT_NAME, כאשר OBJECT_NAME הוא מזהה האובייקט.

הסיומת #NUMBER המצורפת לסוף שם המשאב מציינת יצירה ספציפית של האובייקט. ‫#0 הוא מזהה מיוחד של הגרסה העדכנית של האובייקט. כדאי להוסיף את #0 כששם האובייקט מסתיים במחרוזת שאפשר לפרש כמספר גנרציה.

מדריכים למתחילים

כדי להכיר את יסודות השימוש ב-Cloud Storage, אפשר להיעזר במדריכים הבאים:

מחפשים מוצרים אחרים?

אם Cloud Storage הוא לא פתרון האחסון שמתאים לכם, אתם יכולים לקרוא מידע נוסף על שירותי האחסון הבאים:

  • ‫Google Cloud Managed Lustre: אחסון נתונים במערכת קבצים מקבילית בניהול מלא, עם ביצועים גבוהים ואופטימיזציה לעומסי עבודה של AI ו-HPC.

  • ‫Google Drive: אחסון, ניהול ושיתוף של קבצים אישיים.

  • ‫Cloud Storage for Firebase: ניהול נתונים של אפליקציות לנייד.

  • ‫Persistent Disk: הוספת אחסון בלוקים (block storage) למכונה הווירטואלית של Compute Engine.

  • ‫Filestore: הוספת אחסון קבצים לגישה של ריבוי כותבים לאשכולות GKE.

  • שירותי אחסון נוספים שמוצעים על ידי Google

המאמרים הבאים