העלאה והורדה של אובייקטים באחסון

מאגר האובייקטים ב-Google Distributed Cloud (GDC)‎ עם air gap מאפשר להעביר ולאחזר קבצים, ספריות ונתונים עם גרסאות בקטגוריות ברמת הפרויקט. אתם יכולים להריץ פעולות על קובץ יחיד או על כמה חלקים דרך מסוף GDC או gdcloud CLI, ולהגן על אובייקטים באמצעות הצפנה בהתאמה אישית של AEADKey.

לפני שמתחילים

קטגוריות אחסון הן משאבים שמוגדרים ברמת הפרויקט. הפרויקט פועל כמאגר, מקבץ את הקטגוריות ומאפשר לנהל אותן דרך שרת Management API. כדי לבצע את הפעולות שבדף הזה, צריך ליצור פרויקט חדש או לבחור פרויקט קיים שיש לכם בו מספיק הרשאות.

התפקידים שצריך ב-IAM

כדי לבקש את התפקידים הבאים במרחב השמות של הפרויקט, פנו לאדמין של הפרויקט ב-IAM:

  • אדמין של פרויקט קטגוריות (project-bucket-admin): יצירה, עדכון ומחיקה של קטגוריות אחסון.
  • צפייה בפרויקט של אובייקטים בקטגוריה (project-bucket-object-viewer): צפייה בפרטים של קטגוריות ואובייקטים באחסון ובדיקה שלהם.

מידע נוסף זמין במאמר מתן גישה לקטגוריה.

הכנת הסביבה

כדי להריץ פקודות בשרת ה-Management API או בשרת ה-API הגלובלי:

  1. אם אין לכם קובץ kubeconfig לשרת ה-API של ניהול האזור, נכנסים לחשבון ויוצרים קובץ כזה.
  2. לקטגוריות בשני אזורים:
    • מוודאים מול מפעיל התשתית (IO) שהמשאב המותאם אישית BucketLocationConfig נוצר בשביל האזורים המותאמים.
    • יוצרים את הקובץ kubeconfig לשרת ה-API הגלובלי.

הנחיות למתן שמות לאובייקטים

כדי לתת שמות לאובייקטים, צריך לפעול לפי ההנחיות הבאות:

  • השתמשו בתווים בתקן UTF-8 כשאתם נותנים שמות לאובייקטים.
  • להיות באורך של 1 עד 55 תווים.
  • אל תכללו פרטים אישיים מזהים (PII).

העלאת אובייקטים לקטגוריות אחסון

המסוף

  1. בתפריט הניווט, לוחצים על Object Storage.
  2. לוחצים על שם הקטגוריה שאליה רוצים להעלות את האובייקט.
  3. אופציונלי: אם רוצים ליצור תיקייה לאחסון האובייקט, לוחצים על Create folder > מזינים שם לתיקייה > לוחצים על Create.
  4. לוחצים ישירות על Upload file, או נכנסים לתיקייה שיצרתם ולוחצים על Upload file.
  5. בוחרים את הקובץ הרצוי ולוחצים על פתיחה.
  6. ממתינים להודעת האישור שההעלאה בוצעה בהצלחה.

gdcloud

כדי להעלות אובייקט, מריצים את הפקודות הבאות:

gdcloud storage cp LOCAL_PATH s3://REMOTE_PATH
gdcloud storage cp s3://FULLY_QUALIFIED_SOURCE_BUCKET_NAME s3://FULLY_QUALIFIED_DESTINATION_BUCKET_NAME
gdcloud storage mv s3://FULLY_QUALIFIED_SOURCE_BUCKET_NAME s3://FULLY_QUALIFIED_DESTINATION_BUCKET_NAME

הפקודות הבאות דורשות את FULLY_QUALIFIED_BUCKET_NAME. כדי לקבל את השם המלא של הקטגוריה, משתמשים בפקודה GET או DESCRIBE מהקטע הצגת ההגדרות של הקטגוריה.

הפקודה הבאה מעלה את כל קובצי הטקסט מהספרייה המקומית לקטגוריה:

gdcloud storage cp *.txt s3://FULLY_QUALIFIED_BUCKET_NAME

הפקודה הבאה מעלה כמה קבצים מהספרייה המקומית לקטגוריה:

gdcloud storage cp abc1.txt abc2.txt s3://FULLY_QUALIFIED_BUCKET_NAME

כדי להעלות תיקייה לקטגוריה, משתמשים באפשרות ‎--recursive כדי להעתיק עץ ספריות שלם. הפקודה הבאה מעלה את עץ הספריות dir:

gdcloud storage cp DIRECTORY_NAME s3://FULLY_QUALIFIED_BUCKET_NAME --recursive

לבצע העלאות מרובות חלקים של אובייקטים גדולים, או להשתמש בהעלאות מרובות חלקים באופן אוטומטי כשיש קובץ להעלאה שגדול מ-15MB. במקרה כזה, הקובץ מפוצל לכמה חלקים, וכל חלק הוא בגודל 15MB. החלק האחרון קטן יותר. כל חלק מועלה בנפרד, והקובץ נבנה מחדש ביעד בסיום ההעברה.

אם העלאה של חלק אחד נכשלת, אפשר להפעיל מחדש את ההעלאה בלי להשפיע על אף אחד מהחלקים האחרים שכבר הועלו.

יש שתי אפשרויות שקשורות להעלאות בכמה חלקים:

  • ‫--disable-multipart: השבתת העלאות מרובות חלקים לכל הקבצים.
  • ‫--multipart-chunk-size-mb=SIZE: מגדיר את הגודל של כל חלק בהעלאה מרובת חלקים.

קבצים שגדולים מ-SIZE מועלים אוטומטית כ-multithreaded-multipart. קבצים קטנים יותר מועלים בשיטה הרגילה. ‫SIZE הוא במגה-בייטים. גודל ברירת המחדל של מקטע הוא 15MB. גודל הנתח המינימלי המותר הוא 5MB, והמקסימלי הוא 5GB.

הורדת אובייקטים מקטגוריות אחסון

המסוף

  1. בתפריט הניווט, לוחצים על Object Storage.
  2. לוחצים על שם הקטגוריה שמכילה את האובייקטים.
  3. מסמנים את התיבה לצד שם האובייקט שרוצים להוריד.
  4. לוחצים על הורדה.

gdcloud

כדי לקבל אובייקטים מהקטגוריה:

gdcloud storage cp s3://FULLY_QUALIFIED_BUCKET_NAME/OBJECT LOCAL_FILE_TO_SAVE

כדי להוריד את כל קובצי הטקסט מקטגוריה לספרייה הנוכחית:

gdcloud storage cp s3://FULLY_QUALIFIED_BUCKET_NAME/*.txt .

כדי להוריד את קובץ הטקסט abc.txt מקטגוריה לספרייה הנוכחית:

gdcloud storage cp s3://FULLY_QUALIFIED_BUCKET_NAME/abc.txt .

כדי להוריד גרסה ישנה יותר של הקובץ, קודם צריך להציג את כל הגרסאות של הקובץ:

gdcloud storage ls s3://FULLY_QUALIFIED_BUCKET_NAME/abc.txt --all-versions

פלט לדוגמה:

s3://my-bucket/abc.txt#OEQxNTk4MUEtMzEzRS0xMUVFLTk2N0UtQkM4MjAwQkJENjND
s3://my-bucket/abc.txt#ODgzNEYzQ0MtMzEzRS0xMUVFLTk2NEItMjI1MTAwQkJENjND
s3://my-bucket/abc.txt#ODNCNDEzNzgtMzEzRS0xMUVFLTlDOUMtQzRDOTAwQjg3RTg3

לאחר מכן, מורידים גרסה ספציפית של קובץ הטקסט abc.txt מהקטגוריה לספרייה הנוכחית:

gdcloud storage cp s3://FULLY_QUALIFIED_BUCKET_NAME/abc.txt#OEQxNTk4MUEtMzEzRS0xMUVFLTk2N0UtQkM4MjAwQkJENjND .

שימוש ב-AEADKey בהתאמה אישית

כדי להתאים אישית את ההצפנה, אתם יכולים ליצור AEADKey משלכם ולהשתמש בו ישירות כשאתם מצפינים אובייקטים בקטגוריה. כך יש לכם שליטה מלאה על מפתח ההצפנה, בלי להשתמש בברירת המחדל. פועלים לפי ההוראות במאמר יצירת מפתח כדי ליצור AEADKey חדש, ומוודאים שהוא נמצא באותו Namespace כמו הקטגוריה שבה רוצים להשתמש. אחר כך, בכל פעם ששולחים את הבקשה, צריך לוודא שהשדה HEADER מוגדר עם x-amz-server-side-encryption: SSE-KMS ו-x-amz-server-side-encryption-aws-kms-key-id: NAMESPACE_NAME/AEADKey_NAME