Google Cloud מספק כלים, מוצרים, הדרכה ושירותים מקצועיים שיעזרו לכם להעביר נתונים מ-Amazon Simple Storage Service (Amazon S3) ל-Cloud Storage. במאמר הזה מוסבר איך לתכנן, להטמיע ולאמת תוכנית להעברה מ-Amazon S3 ל-Cloud Storage. במאמר הזה מתואר חלק מתהליך ההעברה הכולל, שבו יוצרים מלאי של ארטיפקטים של Amazon S3 ומתכננים איך לנהל את תהליך ההעברה.
הדיון במסמך הזה מיועד לאדמינים של הענן שרוצים לקבל פרטים על תכנון והטמעה של תהליך העברה. המדריך מיועד גם למקבלי החלטות שבוחנים את האפשרות להעברה ורוצים להבין איך תיראה ההעברה.
המסמך הזה הוא חלק מסדרה של מסמכים בנושא מעבר מ-AWS אלGoogle Cloud , והוא כולל את המסמכים הבאים:
- שנתחיל?
- העברה מ-Amazon EC2 ל-Compute Engine
- העברה מ-Amazon S3 ל-Cloud Storage (המסמך הזה)
- מעבר מ-Amazon EKS ל-Google Kubernetes Engine
- העברה מ-Amazon RDS ומ-Amazon Aurora ל-MySQL אל Cloud SQL ל-MySQL
- העברה מ-Amazon RDS ומ-Amazon Aurora ל-PostgreSQL אל Cloud SQL ל-PostgreSQL ו-AlloyDB ל-PostgreSQL
- העברה מ-Amazon RDS ל-SQL Server אל Cloud SQL ל-SQL Server
- העברה מ-AWS Lambda ל-Cloud Run
כדי לבצע את ההעברה אל Google Cloud, מומלץ לפעול לפי מסגרת ההעברה שמתוארת במאמר העברה אל Google Cloud: תחילת העבודה.
התרשים הבא מדגים את התהליך של המעבר.
יכול להיות שתעברו מסביבת המקור אל Google Cloud בסדרה של איטרציות – לדוגמה, יכול להיות שתעבירו קודם חלק מעומסי העבודה ואחרים בשלב מאוחר יותר. בכל איטרציה נפרדת של ההעברה, פועלים לפי השלבים של מסגרת ההעברה הכללית:
- הערכה וגילוי של עומסי העבודה והנתונים.
- מתכננים ובונים בסיס ב- Google Cloud.
- העברת עומסי העבודה והנתונים אל Google Cloud.
- אופטימיזציה של Google Cloud הסביבה
מידע נוסף על השלבים של המסגרת הזו זמין במאמר מעבר אל Google Cloud: תחילת העבודה.
כדי לתכנן תוכנית העברה יעילה, מומלץ לאמת כל שלב בתוכנית ולוודא שיש לכם אסטרטגיה לביטול השינויים. כדי לאמת את תוכנית ההעברה, אפשר לעיין במאמר מעבר אל Google Cloud: שיטות מומלצות לאימות תוכנית העברה.
הערכת סביבת המקור
בשלב ההערכה, קובעים את הדרישות והתלות כדי להעביר את סביבת המקור אל Google Cloud.
שלב ההערכה הוא חיוני להצלחת ההעברה. אתם צריכים להכיר לעומק את עומסי העבודה שאתם רוצים להעביר, את הדרישות שלהם, את התלות שלהם ואת הסביבה הנוכחית שלכם. כדי לתכנן ולהוציא לפועל העברה מוצלחת, צריך להבין את נקודת ההתחלה. Google Cloud
שלב ההערכה כולל את המשימות הבאות:
- יוצרים מלאי מקיף של עומסי העבודה.
- מקטלגים את עומסי העבודה בהתאם למאפיינים ולתלות שלהם.
- הדרכה ולימוד של הצוותים בנושא Google Cloud.
- יצירת ניסויים והוכחות היתכנות ב- Google Cloud.
- חישוב עלות הבעלות הכוללת (TCO) של סביבת היעד.
- בוחרים את אסטרטגיית ההעברה של עומסי העבודה.
- בוחרים את כלי ההעברה.
- מגדירים את תוכנית ההעברה ואת לוח הזמנים.
- בודקים את תוכנית ההעברה.
מידע נוסף על שלב ההערכה והמשימות האלה זמין במאמר מעבר אל Google Cloud: הערכה וגילוי של עומסי העבודה. הקטעים הבאים מבוססים על מידע שמופיע במסמך הזה.
יצירת מלאי של קטגוריות Amazon S3
כדי להגדיר את היקף ההעברה, יוצרים שני מלאים: מלאי של קטגוריות Amazon S3 ומלאי של האובייקטים שמאוחסנים בקטגוריות.
אחרי שיוצרים את המלאי של קטגוריות Amazon S3, כדאי לעיין בנקודות הנתונים הבאות לגבי כל קטגוריה של Amazon S3 כדי לשפר את המלאי:
- איך הגדרתם הצפנה בצד השרת של קטגוריית Amazon S3.
- ההגדרות של ניהול הזהויות והרשאות הגישה (IAM) שלכם בקטגוריית Amazon S3.
- ההגדרה של חסימת גישה ציבורית ב-S3.
- תגי הקצאת עלויות לקטגוריות של Amazon S3.
- ההגדרה של נעילת אובייקטים ב-S3.
- איך ניגשים לקטגוריית Amazon S3.
- איך הגדרתם את התכונה 'מגיש הבקשה משלם'.
- ההגדרות של ניהול גרסאות של אובייקטים ב-Amazon S3.
- ההגדרה של מדיניות AWS Backup ל-Amazon S3.
- אם אתם משתמשים ב-Amazon S3 Intelligent-Tiering.
- ההגדרות שלכם לשכפול אובייקטים ב-Amazon S3.
- מחזור החיים של אובייקט ב-Amazon S3.
מומלץ גם לאסוף נתונים על דלי Amazon S3 כדי לחשב נתונים סטטיסטיים מצטברים על האובייקטים שכל דלי מכיל. לדוגמה, אם אוספים את הגודל הכולל של האובייקט, הגודל הממוצע של האובייקט ומספר האובייקטים, אפשר להעריך את הזמן והעלות שנדרשים כדי להעביר נתונים מקטגוריית Amazon S3 לקטגוריה של Cloud Storage.
כדי ליצור את רשימת הקטגוריות של Amazon S3 ולאסוף נקודות נתונים לגבי הקטגוריות של Amazon S3, אפשר להטמיע מנגנונים ותהליכים לאיסוף נתונים שמסתמכים על כלי AWS, כמו:
- כלי ניטור ב-Amazon S3
- S3 Analytics
- AWS Multi-Account Multi-Region Data Aggregation
- ממשקי API של AWS
- כלים למפתחים של AWS
- ממשק שורת הפקודה (CLI) של AWS
כדי לעזור לך להימנע מבעיות במהלך ההעברה, וכדי לעזור להעריך את המאמץ שנדרש להעברה, מומלץ לבדוק איך תכונות של קטגוריות ב-Amazon S3 ממופות לתכונות דומות של קטגוריה של Cloud Storage. הטבלה הבאה מסכמת את המיפוי הזה.
כמו שצוין קודם, יכול להיות שהתכונות שמפורטות בטבלה הקודמת ייראו דומות כשתשוו ביניהן. עם זאת, להבדלים בתכנון וביישום של התכונות בשני ספקי הענן יכולות להיות השפעות משמעותיות על ההעברה מ-Amazon S3 ל-Cloud Storage.
יצירת מלאי של האובייקטים שמאוחסנים באובייקטים של Amazon S3
אחרי שיוצרים את מלאי הקטגוריות של Amazon S3, מומלץ ליצור מלאי של האובייקטים שמאוחסנים בקטגוריות האלה באמצעות הכלי מלאי של Amazon S3.
כדי ליצור את רשימת האובייקטים שלכם ב-Amazon S3, כדאי לשקול את הנקודות הבאות לגבי כל אובייקט:
- שם האובייקט ב-Amazon S3
- גודל האובייקט ב-Amazon S3
- מטא-נתונים של אובייקט ב-Amazon S3
- משאבי משנה של אובייקטים ב-Amazon S3
- גרסאות של אובייקטים ב-Amazon S3, והאם צריך להעביר את הגרסאות האלה
- כתובות URL חתומות מראש של אובייקטים ב-Amazon S3
- טרנספורמציות של אובייקטים ב-Amazon S3
- תגי אובייקט ב-Amazon S3
- סוגי אחסון (storage class) של אובייקטים ב-Amazon S3
- ארכיון אובייקטים ב-Amazon S3
מומלץ גם לאסוף נתונים על אובייקטים ב-Amazon S3 כדי להבין באיזו תדירות אתם ועומסי העבודה שלכם יוצרים, מעדכנים ומוחקים אובייקטים ב-Amazon S3.
כדי למנוע בעיות במהלך ההעברה ולעזור לכם להעריך את המאמץ שנדרש להעברה, מומלץ לבדוק איך תכונות של אובייקטים ב-Amazon S3 ממופות לתכונות דומות של אובייקטים ב-Cloud Storage. הטבלה הבאה מסכמת את המיפוי הזה.
כמו שצוין קודם, יכול להיות שהתכונות שמפורטות בטבלה הקודמת ייראו דומות כשתשוו ביניהן. עם זאת, להבדלים בתכנון וביישום של התכונות בשני ספקי הענן יכולות להיות השפעות משמעותיות על ההעברה מ-Amazon S3 ל-Cloud Storage.
השלמת ההערכה
אחרי שיוצרים את המלאי מסביבת Amazon S3, משלימים את שאר הפעולות בשלב ההערכה, כפי שמתואר במאמר מעבר אל Google Cloud: הערכה וגילוי של עומסי העבודה.
תכנון ובנייה של הבסיס
בשלב התכנון והבנייה, מקצים ומגדירים את התשתית כדי לבצע את הפעולות הבאות:
- תמיכה בעומסי העבודה בסביבת Google Cloud .
- כדי להשלים את ההעברה, צריך לחבר את סביבת המקור ואת סביבת Google Cloud היעד.
שלב התכנון והבנייה מורכב מהמשימות הבאות:
- בניית היררכיית משאבים.
- מגדירים את ניהול הזהויות והרשאות הגישה (IAM) של Google Cloud.
- הגדרת חיוב.
- הגדרת חיבור לרשת.
- חיזוק האבטחה.
- הגדרת רישום ביומן, מעקב והתראות.
מידע נוסף על כל אחת מהמשימות האלה זמין במאמר מעבר אל Google Cloud: תכנון ובניית הבסיס.
העברת נתונים ועומסי עבודה מ-Amazon S3 ל-Cloud Storage
כדי להעביר נתונים מ-Amazon S3 ל-Cloud Storage, מומלץ לתכנן תוכנית להעברת נתונים לפי ההנחיות במאמר העברה אל Google Cloud: העברת מערכי נתונים גדולים. במסמך הזה מומלץ להשתמש ב-Storage Transfer Service, מוצר של Google Cloud Google שמאפשר להעביר נתונים ממקורות שונים אל Cloud Storage, למשל מסביבות מקומיות או מספקי אחסון בענן אחרים. שירות העברת נתונים (Storage Transfer Service) תומך בכמה סוגים של משימות העברת נתונים, כמו:
- העברות חד-פעמיות, שמעבירות נתונים מ-Amazon S3 או ממקורות נתמכים אחרים ל-Cloud Storage לפי דרישה.
- משימות העברה מתוזמנות, שמעבירות נתונים מ-Amazon S3 או ממקורות נתמכים אחרים ל-Cloud Storage לפי לוח זמנים.
- משימות העברה מבוססות-אירועים, שמעבירות נתונים באופן אוטומטי כש-Amazon S3 שולח התראות אירועים של Amazon S3 ל-Amazon Simple Queue Service (SQS).
כדי להטמיע תוכנית להעברת נתונים, אפשר להגדיר משימה אחת או יותר של העברת נתונים. לדוגמה, כדי לקצר את חלונות המעבר במהלך ההעברה, אפשר להטמיע אסטרטגיה של שכפול רציף של נתונים באופן הבא:
- מגדירים משימת העברה חד-פעמית כדי להעתיק את הנתונים מקטגוריה של Amazon S3 לקטגוריה של Cloud Storage.
- מבצעים אימות נתונים ובדיקות עקביות כדי להשוות בין הנתונים בקטגוריה של Amazon S3 לבין הנתונים שהועתקו בקטגוריה של Cloud Storage.
- הגדרת משימות העברה מבוססות-אירועים להעברה אוטומטית של נתונים מקטגוריית Amazon S3 לקטגוריה של Cloud Storage כשתוכן קטגוריית Amazon S3 משתנה.
- מפסיקים את עומסי העבודה והשירותים שיש להם גישה לנתונים שמועברים (כלומר, לנתונים שמוזכרים בשלב הקודם).
שינוי מבנה של עומסי עבודה כדי להשתמש ב-Cloud Storage במקום ב-Amazon S3. אפשר לבצע רפקטורינג של עומסי העבודה באחת מהגישות הבאות, או להשתמש בגישות ברצף:
- העברה פשוטה מ-Amazon S3 ל-Cloud Storage. בהעברה פשוטה, משתמשים בכלים ובספריות הקיימים ליצירת בקשות REST מאומתות ל-Amazon S3, כדי ליצור בקשות מאומתות ל-Cloud Storage.
- העברה מלאה מ-Amazon S3 ל-Cloud Storage. בהעברה מלאה, אפשר להשתמש בכל התכונות של Cloud Storage, כולל שימוש בכמה פרויקטים במקביל ואימות OAuth 2.0.
מחכים עד שהשכפול יסנכרן באופן מלא את Cloud Storage עם Amazon S3.
מפעילים את עומסי העבודה.
כשכבר לא צריך את סביבת Amazon S3 כאפשרות גיבוי, צריך להוציא אותה משימוש.
Storage Transfer Service יכול לשמור מטא-נתונים מסוימים כשמעבירים אובייקטים ממקור נתמך אל Cloud Storage. מומלץ לבדוק אם אפשר להעביר באמצעות Storage Transfer Service את הנתונים של Amazon S3 שמעניינים אתכם.
כשמתכננים את תוכנית העברת הנתונים, מומלץ להעריך גם את עלויות תעבורת הנתונים היוצאת (egress) מהרשת ב-AWS ואת העלויות ב-Amazon S3. לדוגמה, אפשר להעביר נתונים באחת מהדרכים הבאות:
- באינטרנט הציבורי.
- באמצעות קישור בין רשתות.
- באמצעות Amazon CloudFront.
האפשרות שתבחרו יכולה להשפיע על עלויות תעבורת הנתונים היוצאת (egress) מהרשת של AWS ועל העלויות של Amazon S3. האפשרות הזו יכולה גם להשפיע על כמות המאמץ והמשאבים שנדרשים כדי להקצות ולהגדיר את התשתית. מידע נוסף על עלויות זמין במאמרים הבאים:
- העברה מ-Amazon S3 ל-Cloud Storage: אפשרויות ליציאת נתונים
- הסבר על חיובים על העברת נתונים במסמכי התיעוד של AWS
- תמחור של Amazon S3
כשמעבירים נתונים מ-Amazon S3 ל-Cloud Storage, מומלץ להשתמש ב-VPC Service Controls כדי ליצור גבולות גזרה שבהם התקשורת בין שירותים אסורה באופן מפורש, אלא אם השירותים מורשים. Google Cloud
אופטימיזציה של Google Cloud הסביבה
אופטימיזציה היא השלב האחרון בהעברה. בשלב הזה, חוזרים על משימות האופטימיזציה עד שסביבת היעד עומדת בדרישות האופטימיזציה. השלבים של כל איטרציה הם:
- הערכה של הסביבה הנוכחית, הצוותים ולולאת האופטימיזציה.
- מגדירים את הדרישות והמטרות של האופטימיזציה.
- מבצעים אופטימיזציה של הסביבה ושל הצוותים.
- שיפור של לולאת האופטימיזציה.
חוזרים על הרצף הזה עד שמשיגים את יעדי האופטימיזציה.
מידע נוסף על אופטימיזציה של סביבת Google Cloud זמין במאמרים מעבר אל Google Cloud: אופטימיזציה של הסביבה וGoogle Cloud Well-Architected Framework: אופטימיזציה של ביצועים.
המאמרים הבאים
- מידע נוסף על תהליכי העברה אחרים מ-AWS Google Cloud
- השוואה בין השירותים של AWS ו-Azure ל-Google Cloud Google Cloud
- מתי כדאי לפנות לקבלת עזרה בנוגע להעברות
- לדוגמאות נוספות של ארכיטקטורות, תרשימים ושיטות מומלצות, עיינו במאמר Cloud Architecture Center.
שותפים ביצירת התוכן
מחבר: Marco Ferrari | Cloud Solutions Architect