דרישות להעברות של מערכת קבצים

לפני שיוצרים משימת העברה של מערכת קבצים, צריך להפעיל את ממשקי ה-API הנדרשים ולהתקין את Docker.

אם מופיעות שגיאות במהלך ההגדרה הראשונית, צריך לוודא שלמשתמש שאיתו נכנסתם לחשבון יש את ההרשאות הנדרשות לביצוע שלבי ההגדרה. במקרים רבים, ההרשאות האלה לא זמינות לכל המשתמשים, ויכול להיות שתצטרכו לפנות לאדמין של הפרויקט כדי לקבל עזרה.

דרישות מערכת

כדי להשתמש ב-Storage Transfer Service להעברות של מערכות קבצים, צריך:

בהמשך מפורטות הדרישות לגבי המכונה של סוכן ההעברה:

  • שרת Linux ב-64 ביט או מכונה וירטואלית עם תמיכה ב-Docker, שיש להם גישה לנתונים שאתם מתכננים להעביר. ‫Docker Community Edition תומך במערכות הפעלה CentOs,‏ Debian,‏ Fedora ו-Ubuntu.

    כדי להשתמש במערכות הפעלה אחרות של Linux, אפשר לעיין במאמר בנושא Docker Enterprise.

  • כדי להשיג את התוצאות הטובות ביותר, צריך לפחות 8GB של זיכרון לכל קונטיינר וארבע ליבות מעבד לפחות.

  • כל אילוץ ברמת המערכת או ברמת המשתמש על מספר מזהי התהליכים המותרים, כמו אילוץ שהוגדר באמצעות ulimit -u, צריך להתחשב במספר הסוכנים שאתם מתכננים להפעיל. כל תהליך של סוכן יכול ליצור עד מאות תהליכים. מומלץ להסיר את המגבלות על מזהי התהליכים כשמפעילים סוכני העברה.

    לקוחות שמשתמשים ב-Podman כדי ליצור קונטיינרים של סוכנים צריכים לציין ערך --pids-limit גבוה מספיק כדי להכיל את השרשורים של סוכן Storage Transfer Service. ערך ברירת המחדל --pids-limit הוא 2048, וזה עלול לגרום לבעיות כשמריצים יותר מסוכן אחד. מומלץ להגדיר את --pids-limit=-1 כדי לאפשר מספר בלתי מוגבל של מזהי תהליכים לכל מאגר.

הגבלות על התאמה לעומס (scaling) של משימות וסוכנים

ב-Storage Transfer Service יש הגבלות על גודל המשימות והסוכנים:

  • פחות ממיליארד קבצים לכל משימה
  • מגבלת רוחב הפס צריכה להיות מעל 1MBps
  • עד 100 סוכנים בכל מאגר סוכנים
  • עד 800 מאגרי סוכנים לכל פרויקט

הפעלת ממשקי ה-API

  1. Enable the Google Storage Transfer API.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the API

התקנת Docker

אם אתם משתמשים ב-Google Cloud CLI או ב-Docker כדי להתקין ולהפעיל סוכני העברה, אתם צריכים להתקין את Docker Engine במכונת Linux פיזית או וירטואלית.

אם אתם משתמשים ב-Podman כדי להתקין ולהפעיל סוכני העברה, אתם יכולים לדלג ישירות אל הוראות ההתקנה הספציפיות ל-Podman. 

curl -fsSL https://get.docker.com -o get-docker.sh

sudo sh get-docker.sh

sudo systemctl enable docker --now

אם נתקלתם בשגיאת התקנה, כדאי לעיין בקטע פתרון בעיות.

אישור אימות של Docker

כדי לאפשר לקונטיינר Docker לבצע אימות באמצעות gcloud פרטי הכניסה שמוגדרים כברירת מחדל, מריצים את הפקודה הבאה כדי ליצור נפח Docker שמכיל קובץ עם פרטי הכניסה שמוגדרים כברירת מחדל באפליקציה:

sudo docker run -ti --name gcloud-config google/cloud-sdk gcloud auth application-default login

מה השלב הבא?