העברת נתונים

‫Transfer Appliance תומך בשיטות הבאות להעתקת נתונים אל המכשיר:

• ‫SCP או SFTP ל-Microsoft Windows,‏ Linux ו-macOS.
• שיתוף NFS ב-Linux וב-macOS.
• שיתוף באמצעות SMB ל-Microsoft Windows ול-Linux.
• הרכבה ב-Appliance עבור NFS ו-CIFS.

הערה: כל מכשיר Transfer Appliance יכול להיות מוגדר לתמיכה בפרוטוקול אחד לשיתוף קבצים בכל פעם. אי אפשר להשתמש בכמה פרוטוקולים לשיתוף קבצים בו-זמנית או לעבור ביניהם אחרי ההגדרה. כדי לשנות את הפרוטוקול שהוגדר, צריך לאפס את הציוד, מה שיגרום למחיקת כל הנתונים שהועברו אליו בעבר. אם ההעברה שלכם דורשת כמה פרוטוקולים לשיתוף קבצים, כמו NFS ו-SMB, צריך להזמין מכשירים נפרדים.

אחרי שמעתיקים נתונים אל Transfer Appliance, מוודאים שהעברת הנתונים אל דלי Cloud Storage הושלמה לפני שמוחקים את נתוני המקור.

דרישות לגבי גודל הקובץ והשם שלו

הקבצים שמועלים למכשיר צריכים לעמוד במגבלות הגודל של הקבצים ב-Cloud Storage ובהנחיות למתן שמות:

• מגבלות גודל הקובץ מתועדות בדף Quotas & limits של Cloud Storage.
• הנחיות בנושא מתן שמות לקבצים מפורטות בדף הנחיות בנושא מתן שמות לאובייקטים.

‫Transfer Appliance לא מאמת את גודל הקובץ או את השמות. אם המכשיר מכיל קבצים שלא עומדים בכללים האלה כשהמכשיר נשלח חזרה אל Google, יכול להיות שלא נוכל להעביר את הקבצים האלה.

העתקת נתונים באמצעות SCP או SFTP

כדי להעתיק נתונים למכשיר באמצעות SCP או SFTP, פועלים לפי השלבים הבאים:

Microsoft Windows

1. מורידים לקוח SCP או SFTP שתומך בשמות קבצים בקידוד UTF-8, כמו WinSCP.

2. באמצעות הכלי SCP, מתחברים למכשיר באמצעות ההגדרות הבאות:

   • פרוטוקול קבצים: SFTP
   • שם המארח: כתובת ה-IP של המכשיר.
   • מספר היציאה: 22
   • שם משתמש: שם המשתמש של האפליאנס שסופק על ידי צוות Transfer Appliance.
   • סיסמה: סיסמת ה-appliance שסופקה על ידי צוות Transfer Appliance.

   ספריית היעד ב-Transfer Appliance צריכה להיות /mnt/ta_data.

Linux

1. מריצים את הפקודה הבאה:

   scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫PATH_TO_FILES: הנתיב לקבצים שאתם מעתיקים.
   • ‫USERNAME: שם המשתמש במכשיר שסופק על ידי צוות Transfer Appliance.
   • ‫IP_ADDRESS: כתובת ה-IP של המכשיר.

2. כשמוצגת בקשה, מזינים את הסיסמה של ה-appliance שסופקה על ידי צוות Transfer Appliance.

Apple macOS

1. מריצים את הפקודה הבאה:

   scp PATH_TO_FILES USERNAME@IP_ADDRESS:/mnt/ta_data
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫PATH_TO_FILES: הנתיב לקבצים שאתם מעתיקים.
   • ‫USERNAME: שם המשתמש במכשיר שסופק על ידי צוות Transfer Appliance.
   • ‫IP_ADDRESS: כתובת ה-IP של המכשיר.

2. כשמוצגת בקשה, מזינים את הסיסמה של ה-appliance שסופקה על ידי צוות Transfer Appliance.

שימוש בשיתוף NFS להעתקת נתונים

כדי להעתיק נתונים למכשיר באמצעות שיתוף NFS, פועלים לפי השלבים הבאים:

1. כדי לטעון את Transfer Appliance, מריצים את הפקודות הבאות במקור הנתונים:

   Linux

   1. sudo mkdir /mnt/data
      

   2. sudo mount -o vers=4 IP_ADDRESS:/mnt/ta_data /mnt/data
      

      מחליפים את IP_ADDRESS בכתובת ה-IP של ה-Appliance.

   Apple macOS

   1. cd ~
      

   2. mkdir ta_data
      

   3. sudo mount -t nfs -o vers=4,resvport IP_ADDRESS:/mnt/ta_data ~/ta_data
      

      מחליפים את IP_ADDRESS בכתובת ה-IP של ה-Appliance.

2. כדי להעתיק נתונים למכשיר, משתמשים בכלי העתקה לפי בחירה.

   העתקת נתונים היא פעולה ממושכת. ב-Apple macOS או ב-Linux, מומלץ להשתמש ב-tmux או ב-screen כדי להבטיח שתהליך ההעתקה יימשך גם אם מתנתקים מהחשבון או מהרשת.

שמירת מפתח SSH

כדאי לשמור את מפתח ה-SSH כדי להתחבר מהר יותר ל-Transfer Appliance. שמירת מפתח ה-SSH יכולה גם לשפר את מהירויות ההעברה.

1. בתחנת העבודה, יוצרים זוג מפתחות באמצעות הפקודה הבאה:

   posix-terminal
   ssh-keygen -t rsa
   

2. יוצרים קובץ /tmp/ssh_key במכשיר.

3. מעתיקים את התוכן של קובץ המפתח הציבורי מתחנת העבודה אל /tmp/ssh_key במכשיר. קובץ המפתח הציבורי נמצא במיקום הבא בתחנת העבודה:

   • ‫Linux: ~/.ssh/id_rsa.pub
   • ‫Windows: C:Users/USERNAME/.ssh

   כדי לאשר כמה מפתחות, מוסיפים כל מפתח בשורה חדשה בקובץ /tmp/ssh_key.

4. מריצים את הפקודה הבאה במכשיר. כל המפתחות הקיימים יוחלפו.

   ta copy_ssh_keys
   

5. מתחברים למכשיר.

   • אם המפתח הפרטי נמצא במיקום ברירת המחדל בתחנת העבודה, משתמשים בפקודה הבאה כדי להתחבר למכשיר:

     ssh ta_customer@IP_ADDRESS
     

   • אם המפתח הפרטי לא נמצא במיקום ברירת המחדל, משתמשים בפקודה הבאה כדי להיכנס למכשיר:

     ssh -i PRIVATE_KEY_PATH ta_customer@IP_ADDRESS
     

שימוש ב-SMB להעברת נתונים

כדי להפעיל שיתוף קבצים ב-SMB, פועלים לפי השלבים הבאים:

1. מגדירים את המכשיר לשימוש ב-SMB באמצעות דגל פרוטוקול שיתוף הקבצים הבא:

    ta config --data_port=PORT --ip=IP_ADDRESS --fileshare=smb
   

   הספרייה ta_data משותפת והמשתמש הבא נוצר:

   • שם משתמש: ta_customer
   • סיסמה: ta_customer

2. בהתאם לסוג המארח, מתחברים להתקן הרשת לשיתוף קבצים של SMB:

   Microsoft Windows

   מנהל הקבצים

   1. פותחים את מנהל הקבצים ועורכים את נתיב הקובץ ל-\\IP_ADDRESS\ta_data.

   2. מזינים את שם המשתמש והסיסמה כשמוצגת בקשה לעשות זאת.

   שורת הפקודה

   1. מזינים את הפקודה הבאה בשורת הפקודה של Windows: net use X: \\IP_ADDRESS\ta_data

   2. מזינים את שם המשתמש והסיסמה כשמוצגת בקשה לעשות זאת.

   Linux

   מנהל הקבצים

   1. פותחים את מנהל הקבצים שמוגדר כברירת מחדל ולוחצים על Connect to server (התחברות לשרת).

   2. מזינים smb://IP_ADDRESS/ta_data.

   3. מזינים את שם המשתמש והסיסמה כשמוצגת בקשה לעשות זאת.

   שורת הפקודה

   1. התקנת לקוח SMB: sudo apt-get install smbclient.

   2. מתחברים לרשת לשיתוף קבצים ב-SMB: smbclient //IP_ADDRESS/ta_data -U USERNAME

      תוצג הנחיה smb:\>.

שימוש בשיתופי קבצים משלכם במכשיר

האפליקציה משתמשת בפקודת טעינה של Linux כדי לטעון שיתופים באפליקציה:

1. מריצים את הפקודות הבאות:

   NFS

   1. מעדכנים את הקובץ ‎ /etc/exports במכשיר שמארח את שרת ה-NFS כדי להעניק ל-IP_ADDRESS גישה לשרת.

   2. מריצים את הפקודות הבאות במכשיר:

      mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT
      

      ta mount --types=nfs --source=NFS_SERVER_IP:/NFS_DIRECTORY
      --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
      --options=OPTIONS
      

      מחליפים את מה שכתוב בשדות הבאים:

      • ‫IP_ADDRESS: כתובת ה-IP של המכשיר.
      • ‫MOUNT_POINT: השם של נקודת הגישה לשיתוף הזה.
      • ‫NFS_SERVER_IP: כתובת ה-IP של המכשיר שמארח את שרת ה-NFS
      • ‫NFS_DIRECTORY: הנתיב לשיתוף ה-NFS.
      • ‫OPTIONS: רשימה מופרדת בפסיקים של אפשרויות. האפשרויות האלה הן אלה שמותרות על ידי פקודת הטעינה של Linux.

   CIFS

   1. מריצים את הפקודות הבאות במכשיר:

      mkdir /mnt/ta_data_base/ta_mounts/MOUNT_POINT
      

      ta mount --types=cifs --source=//CIFS_SERVER_IP/CIFS_NAME
      --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT
      --options=OPTIONS
      

      מחליפים את מה שכתוב בשדות הבאים:

      • ‫MOUNT_POINT: השם של נקודת הגישה לשיתוף הזה.
      • ‫CIFS_SERVER_IP: כתובת ה-IP של המכשיר שמארח את שרת CIFS.
      • ‫CIFS_NAME: שם השיתוף של CIFS.
      • ‫OPTIONS: רשימה מופרדת בפסיקים של האפשרויות, כולל הסיסמה ושם המשתמש של שיתוף CIFS. האפשרויות האלה הן אלה שמותרות בפקודת הטעינה של Linux.

   אלא אם צוין אחרת באפשרויות הטעינה, נקודת הטעינה תוטען מחדש בהפעלה מחדש עד שתסירו אותה באמצעות הפקודה ta unmount.

2. כדי לנתק את כל הנפחים שנטענו במכשיר, מריצים את הפקודה הבאה:

    ta unmount --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT

3. כדי להעתיק נתונים למכשיר, משתמשים בכלי העתקה לפי בחירה.

   RClone

   1. כדי להריץ פקודת העתקה באמצעות RClone במכשיר, מריצים את הפקודה הבאה:

      rclone copy /mnt/ta_data_base/ta_mounts/MOUNT_POINT /mnt/ta_data

      מחליפים את מה שכתוב בשדות הבאים:

      • ‫MOUNT_POINT: הספרייה שמכילה את הנתונים שרוצים להעביר.

   שליפה מהארכיון

   1. כדי לארכב את הנתונים בקובצי tar במהלך ההעברה, מריצים את הפקודה הבאה:

      ta pull --target=/mnt/ta_data_base/ta_mounts/MOUNT_POINT --size=ARCHIVE_SIZE_BYTES
      --destination=/mnt/ta_data --count=THREAD_COUNT

      מחליפים את מה שכתוב בשדות הבאים:

      • ‫MOUNT_POINT: הספרייה שמכילה את הנתונים שרוצים להעביר.
      • ‫ARCHIVE_SIZE_BYTES: גודל היעד של קובצי ה-tar שייווצרו ביעד. ערך ברירת המחדל הוא 1GB, והערך צריך להיות בין 5MB לבין 20GB כולל.
      • ‫THREAD_COUNT: מספר השרשורים שפועלים בו-זמנית ליצירת ארכיונים. ערך ברירת המחדל הוא 20, והערך צריך להיות בין 1 ל-10,000 כולל.

      השליפה מהארכיון פועלת ברקע, כך שאפשר לצאת מהטרמינל בלי בעיה. השליפה מתחילה בשלב של רישום הנתונים לפני שמתחילה ההעברה.

   2. מזהה מוחזר כשמתחילים משיכה, ואפשר להשתמש בערך הזה כדי לבצע אינטראקציה עם המשיכה:

      כדי לבדוק את הסטטוס של משיכה, מריצים את הפקודה הבאה:

      ta pull --id=ID --status

      כדי להשהות את השליפה, מריצים את הפקודה הבאה:

      ta pull --id=ID --pause

      כדי להמשיך משיכה שהושהתה או הופסקה, מריצים את הפקודה הבאה:

      ta pull --id=ID --resume

      מחליפים את מה שכתוב בשדות הבאים:

      • ‫ID: מזהה המשיכה.

   3. אחרי שהפעולה מסתיימת, קובצי ה-tar נמצאים בספרייה /mnt/ta_data/TA_ARCHIVE_ID/. קובץ מניפסט ייווצר ויישמר במיקום /mnt/ta_data/manifest_ID.tsv. הקובץ הזה יכיל מידע על הקבצים שהועברו, עם פירוט של הקבצים שכל קובץ tar.gz מכיל. קובץ מניפסט של שגיאות יישמר באופן דומה בנתיב /mnt/ta_data/manifest_ID_ERROR.tsv עם פרטים על השגיאות שנתקלו בהן במהלך המשיכה.

   מומלץ להריץ פקודה אחת של משיכה בכל פעם.

   הערה: הפונקציה Pull לא מיועדת לטיפול במערכי נתונים עם ספריות שמכילות יותר מ-50,000 ספריות משנה. כדי להימנע מזמני המתנה ארוכים, כדאי להשתמש בשיטות אחרות להעתקה.

   בדיקות המהירות בוצעו על מערך נתונים בגודל 100GB במכשיר TA7 (שכבר יצא משימוש). הערכים האלה מסופקים כדי לעזור לכם לבחור בין שני כלי ההעתקה הזמינים. מהירויות ההעברה עשויות להשתנות בהתאם לסוג המכשיר ולקישוריות לרשת.

   ‏Method	גודל קובץ	גודל הארכיון בבייט (שליפה מהארכיון בלבד)	מחיר (NFS)	מחיר (SMB)
   RClone	‫100MB	לא רלוונטי	‫‎600 MB/s	‫620MB לשנייה
   שליפה מהארכיון	‫100MB	‫10GB	‫750MB לשנייה	‫850 MB/s
   RClone	‫1MB	לא רלוונטי	‫280MB/s	‫270 MB/s
   שליפה מהארכיון	‫1MB	500MB	‫‎630 MB/s	‫380 MB/s
   RClone	‫100KB	לא רלוונטי	‫150MB/s	‫150MB/s
   שליפה מהארכיון	‫100KB	‫5MB	‫270 MB/s	‫90MB/s

השוואה לשוק של העברת נתונים

מהירויות העברת הנתונים האלה מייצגות את ביצועי הכתיבה המקסימליים של Transfer Appliance כשמשתמשים בכלי העתקה רגילים. כדי לבודד את ביצועי הכתיבה ולמנוע צווארי בקבוק פוטנציאליים בקריאה ממקור הנתונים, הנתונים נוצרו ישירות בשיתוף ה-NFS המותקן במכשיר. המכשיר (TA40) חובר למקור הנתונים עם יציאת 10Gb, והמהירויות נמדדו לגדלי הקבצים הבאים:

• קבצים בגודל ‎10 GB,‏ ‎1 GB ו-‎100 MB (מערך נתונים של ‎5 TB)
• קבצים בגודל 10MB ו-1MB (מערך נתונים של 1TB)

גודל קובץ	מהירות העתקה ממוצעת(NFS)	הזמן המשוער להעברת 40TB	הזמן המשוער להעברת 300TB
‫10GB	‫560 MBps	‫21 שעות	‫6 ימים ו-12 שעות
‎1GB	‫400 MBps	יום אחד ו-5 שעות	9 ימים
‫100MB	‫300 MBps	יום אחד ו-15 שעות	12 ימים
‫10MB	‫130 MBps	‫3 ימים ו-18 שעות	28 ימים
‫1MB	‫30MBps	16 ימים	‫120 ימים