חיבור לקטגוריות של Cloud Storage

הערה: הדף הזה רלוונטי ל-Cloud TPU API. ב-Ironwood ‏ (TPU7x), חובה להשתמש ב-Google Kubernetes Engine ‏ (GKE). מידע נוסף זמין במאמר מידע על TPU ב-GKE.

בדף הזה מוסבר על Cloud Storage כאפשרות לאחסון נתונים של למידת מכונה ותוצאות אימון, ומתואר בו איך להעניק ל-Cloud TPU גישה לאובייקטים של נתונים ב-Cloud Storage.

לפני שמתחילים

כדי לגשת לקטגוריה ב-Cloud Storage, צריך חשבון שירות של Cloud TPU.

הערה: אחרי שמגדירים חשבון שירות לפרויקט, הוא נשאר מוגדר כל עוד הפרויקט פעיל. לא צריך להגדיר את חשבון השירות בכל פעם שמפעילים עומס עבודה של אימון באותו פרויקט.

1. יוצרים חשבון שירות של Cloud TPU לפרויקט.

   gcloud beta services identity create --service tpu.googleapis.com --project project-id

   הפקודה מחזירה חשבון שירות של Cloud TPU בפורמט הבא:

   ‫

   [e-mail]
   

   חשוב: הפקודה הזו יוצרת סוכן שירות, שהוא סוג מיוחד של חשבון שירות בניהול Google שלא מופיע בדף 'חשבונות שירות' ב Google Cloud מסוף.

2. פועלים לפי ההוראות שמופיעות במדריכים למתחילים בנושא Cloud TPU או במאמר ניהול TPUs כדי להגדיר את הפרויקט וליצור את המכונה הווירטואלית ואת משאבי ה-TPU ב-Cloud TPU. Google Cloud

כתיבת נתונים ל-Cloud Storage

הערה: צריך להגדיר את הקטגוריה של Cloud Storage באותו מיקום (אזור) שבו הגדרתם את Cloud TPU. במאמר יצירת קטגוריות מפורטות כל האפשרויות לניהול קטגוריות של אחסון.

המסוף

1. נכנסים לדף Cloud Storage במסוף Google Cloud .

   כניסה לדף Cloud Storage

2. יוצרים קטגוריה חדשה ומציינים את האפשרויות הבאות:

   • שם ייחודי שתבחרו.
   • סוג האחסון (storage class) שמוגדר כברירת מחדל: Standard
   • מיקום: האזור שבו יצרתם את Cloud TPU. מידע נוסף על אזורים ועל זמינות של TPU זמין במאמר אזורים ותחומים של TPU.

CLI

1. משתמשים בפקודה gcloud storage buckets create כדי ליצור קטגוריה של Cloud Storage:

   gcloud storage buckets create gs://bucket-name --location region

   where:

   • ‫region הוא האזור שבו יצרתם את Cloud TPU. מידע נוסף על אזורים ועל זמינות של TPU זמין במאמר אזורים ותחומים של TPU.

   • ‫bucket-name הוא שם הקטגוריה שרוצים ליצור.

2. כדי לכתוב קבצים לקטגוריית Cloud Storage, משתמשים בפקודה gcloud storage cp:

   gcloud storage cp -r local-data-dir gs://bucket-name

   כאשר local-data-dir הוא הנתיב המקומי לנתונים. לדוגמה:$HOME/your-data

הענקת גישה של Cloud TPU ל-Cloud Storage

צריך לתת ליחידות Cloud TPU הרשאות קריאה וכתיבה לאובייקטים ב-Cloud Storage. כדי לעשות זאת, צריך לתת לחשבון השירות של Cloud TPU שבו נעשה שימוש ב-Cloud TPU את הרשאת הגישה הנדרשת. בקטעים הבאים מוסבר איך למצוא את חשבון השירות של Cloud TPU ולהעניק את הגישה הנדרשת.

אישור חשבון השירות של Cloud TPU

הדרך המומלצת להעניק הרשאה לחשבון השירות של Cloud TPU היא באמצעות רשימות של בקרת גישה (ACL). אפשר גם להעניק הרשאות רחבות יותר באמצעות הרשאות IAM.

שימוש ברשימות ACL עם הרשאות גישה מפורטות ל-Cloud TPU (מומלץ)

אם אתם מאחסנים נתוני אימון ב-Cloud Storage, לחשבון השירות של Cloud TPU צריכות להיות הרשאות קריאה וכתיבה בקטגוריה.

המסוף

1. נכנסים לדף Cloud Storage Browser כדי לראות את הקטגוריות שבבעלותכם.

   כניסה לדף Cloud Storage browser

2. בוחרים את דלי האחסון שרוצים לשנות את רשימת ה-ACL שלו.

3. לוחצים על הכרטיסייה הרשאות.

4. בוחרים באפשרות Grant access (מתן גישה) כדי להוסיף הרשאה חדשה, ומקלידים את השם המלא של חשבון השירות בתיבת העריכה New principals (חשבונות משתמש חדשים).

5. אם אתם קוראים מהקטגוריה הזו, עליכם לאשר לחשבון השירות של TPU לקרוא מהמשאב. כדי לעשות את זה, מקצים לחשבון השירות את התפקיד Storage Legacy > Storage Legacy Bucket Reader.

6. אם אתם כותבים לקטגוריה הזו, אתם צריכים לתת לחשבון השירות של TPU הרשאה לכתוב למשאב. כדי לעשות את זה, מקצים לחשבון השירות את התפקיד Storage Legacy > Storage Legacy Bucket Writer.

CLI

1. אם אתם קוראים מהקטגוריה הזו, צריך לתת הרשאת קריאה לחשבון השירות של Cloud TPU:

    gcloud storage buckets add-iam-policy-binding gs://bucket-name --member=serviceAccount:service-account --role=roles/storage.objectViewer
    

2. אם כותבים לקטגוריה הזו, צריך לתת הרשאת כתיבה לחשבון השירות של Cloud TPU:

    gcloud storage buckets add-iam-policy-binding gs://bucket-name --member=serviceAccount:service-account --role=roles/storage.objectCreator

שימוש בהרשאות IAM ל-Cloud TPU (אפשרות חלופית)

אם רוצים לתת הרשאות רחבות יותר במקום לתת גישה לכל קטגוריה בנפרד, אפשר לתת לחשבון השירות של Cloud TPU את התפקיד אדמין של אחסון ב-Identity and Access Management (IAM).

1. כניסה לדף IAM

2. לוחצים על הלחצן Grant access כדי להוסיף חשבונות משתמש לפרויקט.

3. מזינים את השמות של חשבון השירות של Cloud TPU בתיבת הטקסט Principals.

4. לוחצים על הרשימה הנפתחת תפקידים.

5. מפעילים את התפקידים הבאים:

   • Project > Viewer

   • אחסון > אדמין לניהול נפח האחסון

Cloud Storage FUSE

‫Cloud Storage FUSE מאפשר לטעון קטגוריות של Cloud Storage ולגשת אליהן כמערכות קבצים מקומיות. כך האפליקציות יכולות לקרוא ולכתוב אובייקטים בקטגוריה שלכם באמצעות סמנטיקה סטנדרטית של מערכת קבצים.

במסמכי Cloud Storage FUSE מוסבר איך Cloud Storage FUSE פועל ואיך פעולות של Cloud Storage FUSE ממופות לפעולות של Cloud Storage. מידע נוסף על השימוש ב-Cloud Storage FUSE, כמו איך להתקין את gcsfuse CLI ואיך לטעון קטגוריות, אפשר למצוא ב-GitHub.

הסרת המשאבים

1. אם עדיין לא עשיתם זאת, מתנתקים מ-Cloud TPU:

   (vm)$ exit

2. ב-Cloud Shell, מוחקים את Cloud TPU:

   gcloud compute tpus tpu-vm delete tpu-name --zone=zone

3. מריצים את הפקודה gcloud compute tpus tpu-vm list כדי לוודא שה-VM נמחק. יכול להיות שיחלפו כמה דקות עד שהמחיקה תסתיים.

   gcloud compute tpus tpu-vm list --zone=zone

   תגובה כמו הדוגמה הבאה מציינת שהמופעים נמחקו בהצלחה.

   Listed 0 items
   

4. כדי למחוק את הקטגוריה של Cloud Storage ואת התוכן שלה, מריצים את הפקודה הבאה ומחליפים את bucket-name בשם של הקטגוריה שיצרתם:

   gcloud storage rm --recursive gs://bucket-name

המאמרים הבאים

• מידע נוסף על יצירת קטגוריות של Cloud Storage וכתיבת נתונים לקטגוריות האלה זמין במאמר יצירת קטגוריות של Cloud Storage.
• מידע נוסף על חשבונות שירות זמין במאמר סקירה כללית על אימות.