Google Cloud מספקת כלים, מוצרים, הדרכה ושירותים מקצועיים שיעזרו לכם להעביר נתונים מ-Amazon Simple Storage Service (Amazon S3) אל Cloud Storage. במסמך הזה מוסבר איך לתכנן, להטמיע ולאמת תוכנית להעברה מ-Amazon S3 ל-Cloud Storage. במאמר הזה מתואר חלק מתהליך ההעברה הכולל, שבו יוצרים מלאי של ארטיפקטים של Amazon S3 ומתכננים איך לנהל את תהליך ההעברה.
הדיון במסמך הזה מיועד לאדמינים בענן שרוצים לקבל פרטים על תכנון והטמעה של תהליך העברה. המדריך מיועד גם למקבלי החלטות שבוחנים את האפשרות להעברה ורוצים להבין איך תיראה ההעברה.
המסמך הזה הוא חלק מסדרה של מסמכים בנושא מעבר מ-AWS אלGoogle Cloud , והוא כולל את המסמכים הבאים:
- שנתחיל?
- העברה מ-Amazon EC2 ל-Compute Engine
- העברה מ-Amazon S3 ל-Cloud Storage (המסמך הזה)
- מעבר מ-Amazon EKS ל-Google Kubernetes Engine
- העברה מ-Amazon RDS ומ-Amazon Aurora ל-MySQL אל Cloud SQL ל-MySQL
- מעבר מ-Amazon RDS ומ-Amazon Aurora ל-PostgreSQL אל Cloud SQL ל-PostgreSQL ו-AlloyDB ל-PostgreSQL
- העברה מ-Amazon RDS ל-SQL Server אל Cloud SQL ל-SQL Server
- העברה מ-AWS Lambda ל-Cloud Run
כדי לבצע את ההעברה אל Google Cloud, מומלץ לפעול לפי מסגרת ההעברה שמתוארת במאמר העברה אל Google Cloud: תחילת העבודה.
התרשים הבא מדגים את תהליך ההעברה.
יכול להיות שתעברו מסביבת המקור אל Google Cloud בסדרה של איטרציות – לדוגמה, יכול להיות שתעבירו קודם חלק מעומסי העבודה ואחרים בשלב מאוחר יותר. בכל איטרציה נפרדת של ההעברה, פועלים לפי השלבים של מסגרת ההעברה הכללית:
- הערכה וגילוי של עומסי העבודה והנתונים.
- מתכננים ובונים בסיס ב- Google Cloud.
- העברת עומסי העבודה והנתונים אל Google Cloud.
- אופטימיזציה של Google Cloud הסביבה
מידע נוסף על השלבים של המסגרת הזו זמין במאמר מעבר אל Google Cloud: תחילת העבודה.
כדי לתכנן תוכנית העברה יעילה, מומלץ לאמת כל שלב בתוכנית ולוודא שיש לכם אסטרטגיה לביטול השינויים. כדי לאמת את תוכנית ההעברה, אפשר לעיין במאמר מעבר ל- Google Cloud: שיטות מומלצות לאימות תוכנית העברה.
הערכת סביבת המקור
בשלב ההערכה, קובעים את הדרישות והתלות להעברת סביבת המקור אל Google Cloud.
שלב ההערכה הוא קריטי להצלחת ההעברה. אתם צריכים להכיר לעומק את עומסי העבודה שאתם רוצים להעביר, את הדרישות שלהם, את התלות שלהם ואת הסביבה הנוכחית שלכם. כדי לתכנן ולהוציא לפועל העברה מוצלחת, צריך להבין את נקודת ההתחלה. Google Cloud
שלב ההערכה כולל את המשימות הבאות:
- יוצרים מלאי מקיף של עומסי העבודה.
- מקטלגים את עומסי העבודה לפי המאפיינים והתלות שלהם.
- הדרכה ולימוד של הצוותים בנושא Google Cloud.
- יצירת ניסויים והוכחות היתכנות ב- Google Cloud.
- חישוב עלות הבעלות הכוללת (TCO) של סביבת היעד.
- בוחרים את אסטרטגיית ההעברה של עומסי העבודה.
- בוחרים את כלי ההעברה.
- הגדרת תוכנית ההעברה ולוח הזמנים.
- מאמתים את תוכנית ההעברה.
מידע נוסף על שלב ההערכה והמשימות האלה זמין במאמר מעבר אל Google Cloud: הערכה וגילוי של עומסי העבודה. הקטעים הבאים מבוססים על מידע שמופיע במסמך הזה.
יצירת מלאי של קטגוריות Amazon S3
כדי להגדיר את היקף ההעברה, יוצרים שני מלאים: מלאי של קטגוריות Amazon S3 ומלאי של האובייקטים שמאוחסנים בקטגוריות.
אחרי שיוצרים את המלאי של קטגוריות Amazon S3, כדאי לעיין בנקודות הנתונים הבאות לגבי כל קטגוריה של Amazon S3 כדי לשפר את המלאי:
- איך הגדרתם הצפנה בצד השרת של קטגוריית Amazon S3.
- ההגדרות של ניהול הזהויות והרשאות הגישה (IAM) בקטגוריית Amazon S3.
- ההגדרה של חסימת גישה ציבורית ב-S3.
- תגי הקצאת עלויות לקטגוריות של Amazon S3.
- ההגדרה של נעילת אובייקטים ב-S3.
- איך אתם ניגשים לקטגוריית Amazon S3.
- איך הגדרתם את התכונה 'מגיש הבקשה משלם'.
- ההגדרות של ניהול גרסאות של אובייקטים ב-Amazon S3.
- ההגדרה של מדיניות AWS Backup ל-Amazon S3.
- אם אתם משתמשים ב-Amazon S3 Intelligent-Tiering.
- ההגדרה של שכפול אובייקטים ב-Amazon S3.
- מחזור החיים של אובייקט ב-Amazon S3.
- האם הקטגוריה היא מסוג מיוחד, כמו S3 Tables, S3 Metadata או S3 Vectors.
מומלץ גם לאסוף נתונים על דלי Amazon S3 כדי לחשב נתונים סטטיסטיים מצטברים על האובייקטים שכל דלי מכיל. לדוגמה, אם אוספים את הגודל הכולל של האובייקט, הגודל הממוצע של האובייקט ומספר האובייקטים, אפשר להעריך את הזמן והעלות שנדרשים כדי להעביר נתונים מקטגוריה ב-Amazon S3 לקטגוריה ב-Cloud Storage.
כדי ליצור את רשימת הקטגוריות של Amazon S3 ולאסוף נקודות נתונים לגבי הקטגוריות של Amazon S3, אפשר להטמיע מנגנונים ותהליכים לאיסוף נתונים שמסתמכים על כלי AWS, כמו:
- כלי מעקב ב-Amazon S3
- S3 Analytics
- AWS Multi-Account Multi-Region Data Aggregation
- ממשקי API של AWS
- כלים למפתחים של AWS
- ממשק שורת הפקודה (CLI) של AWS
כדי למנוע בעיות במהלך ההעברה וכדי להעריך את המאמץ שנדרש להעברה, מומלץ לבדוק איך תכונות של קטגוריות ב-Amazon S3 ממופות לתכונות דומות של קטגוריות ב-Cloud Storage. הטבלה הבאה מסכמת את המיפוי הזה.
כמו שצוין קודם, יכול להיות שהתכונות שמפורטות בטבלה הקודמת ייראו דומות כשתשוו ביניהן. עם זאת, להבדלים בתכנון וביישום של התכונות בשני ספקי הענן יכולות להיות השפעות משמעותיות על ההעברה מ-Amazon S3 ל-Cloud Storage.
סוגים מיוחדים של קטגוריות Amazon S3
כדי למנוע בעיות במהלך ההעברה, וכדי להעריך את המאמץ שנדרש לתרחישי שימוש מיוחדים, מומלץ לבדוק איך התכונות האלה של דלי Amazon S3 ממופות לשירותים של Google Cloud . בטבלה הבאה מפורט המיפוי הזה.
| תכונה של Amazon S3 | תכונה של Cloud Storage |
|---|---|
| S3 Tables | BigLake או BigQuery |
| S3 Vectors | Vector Search |
| מטא-נתונים של S3 | Storage Insights |
יצירת מלאי של האובייקטים שמאוחסנים באובייקטים של Amazon S3
אחרי שיוצרים מלאי של קטגוריות Amazon S3, מומלץ ליצור מלאי של האובייקטים שמאוחסנים בקטגוריות האלה באמצעות הכלי Amazon S3 inventory.
כדי ליצור את רשימת האובייקטים שלכם ב-Amazon S3, כדאי לשקול את הפרטים הבאים לגבי כל אובייקט:
- שם האובייקט ב-Amazon S3
- גודל האובייקט ב-Amazon S3
- מטא-נתונים של אובייקט ב-Amazon S3
- משאבי משנה של אובייקטים ב-Amazon S3
- גרסאות של אובייקטים ב-Amazon S3, ואם צריך להעביר את הגרסאות האלה
- כתובות URL חתומות מראש של אובייקטים ב-Amazon S3
- טרנספורמציות של אובייקטים ב-Amazon S3
- תגי אובייקטים ב-Amazon S3
- סוגי אחסון (storage class) של אובייקטים ב-Amazon S3
- ארכיון אובייקטים ב-Amazon S3
- סכומי ביקורת של אובייקטים ב-Amazon S3
מומלץ גם לאסוף נתונים על האובייקטים ב-Amazon S3 כדי להבין באיזו תדירות אתם ועומסי העבודה שלכם יוצרים, מעדכנים ומוחקים אובייקטים ב-Amazon S3.
כדי להימנע מבעיות במהלך ההעברה, וכדי להעריך את המאמץ שנדרש להעברה, מומלץ לבדוק איך תכונות של אובייקטים ב-Amazon S3 ממופות לתכונות דומות של אובייקטים ב-Cloud Storage. הטבלה הבאה מסכמת את המיפוי הזה.
כמו שצוין קודם, יכול להיות שהתכונות שמפורטות בטבלה הקודמת ייראו דומות כשתשוו ביניהן. עם זאת, להבדלים בתכנון וביישום של התכונות בשני ספקי הענן יכולות להיות השפעות משמעותיות על ההעברה מ-Amazon S3 ל-Cloud Storage.
השלמת ההערכה
אחרי שיוצרים את המלאי מסביבת Amazon S3, משלימים את שאר הפעילויות בשלב ההערכה, כמו שמתואר במאמר מעבר אל Google Cloud: הערכה וגילוי של עומסי העבודה.
תכנון ובנייה של הבסיס
בשלב התכנון והבנייה, מקצים ומגדירים את התשתית כדי לבצע את הפעולות הבאות:
- תמיכה בעומסי העבודה בסביבת Google Cloud .
- כדי להשלים את ההעברה, צריך לחבר את סביבת המקור ואת סביבת Google Cloud היעד.
שלב התכנון והבנייה מורכב מהמשימות הבאות:
- בניית היררכיית משאבים.
- מגדירים את ניהול הזהויות והרשאות הגישה (IAM) של Google Cloud.
- הגדרת חיוב.
- הגדרת חיבור לרשת.
- הגברת האבטחה.
- הגדרת רישום ביומן, מעקב והתראות.
מידע נוסף על כל אחת מהמשימות האלה זמין במאמר מעבר אל Google Cloud: תכנון ובניית הבסיס.
העברת נתונים ועומסי עבודה מ-Amazon S3 ל-Cloud Storage
כדי להעביר נתונים מ-Amazon S3 ל-Cloud Storage, מומלץ לתכנן תוכנית להעברת נתונים לפי ההנחיות במאמר העברה אל Google Cloud: העברת מערכי נתונים גדולים. במסמך הזה מומלץ להשתמש ב-Storage Transfer Service, מוצר של Google Cloud Google שמאפשר להעביר נתונים ממקורות שונים אל Cloud Storage, למשל מסביבות מקומיות או מספקי אחסון בענן אחרים. שירות העברת נתונים (Storage Transfer Service) תומך בכמה סוגים של משימות העברת נתונים, כמו:
- העברות חד-פעמיות, שמעבירות נתונים מ-Amazon S3 או ממקורות נתמכים אחרים ל-Cloud Storage לפי דרישה.
- משימות העברה מתוזמנות, שמעבירות נתונים מ-Amazon S3 או ממקורות נתונים נתמכים אחרים ל-Cloud Storage לפי לוח זמנים.
- משימות העברה מבוססות-אירועים, שמעבירות נתונים באופן אוטומטי כש-Amazon S3 שולח התראות אירועים של Amazon S3 ל-Amazon Simple Queue Service (SQS).
כדי להטמיע תוכנית להעברת נתונים, אפשר להגדיר משימה אחת או יותר של העברת נתונים. לדוגמה, כדי לקצר את משך חלונות המעבר במהלך ההעברה, אפשר להטמיע אסטרטגיית העברת נתונים של שכפול רציף באופן הבא:
- מגדירים משימת העברה חד-פעמית כדי להעתיק את הנתונים מקטגוריה של Amazon S3 לקטגוריה של Cloud Storage.
- מבצעים אימות נתונים ובדיקות עקביות כדי להשוות בין הנתונים בקטגוריה של Amazon S3 לבין הנתונים שהועתקו בקטגוריה של Cloud Storage.
- הגדרת משימות העברה מבוססות-אירועים להעברה אוטומטית של נתונים מקטגוריית Amazon S3 לקטגוריה של Cloud Storage כשתוכן קטגוריית Amazon S3 משתנה.
- מפסיקים את עומסי העבודה והשירותים שיש להם גישה לנתונים שמועברים (כלומר, לנתונים שמוזכרים בשלב הקודם).
שינוי מבנה של עומסי עבודה כדי להשתמש ב-Cloud Storage במקום ב-Amazon S3. אפשר לבצע רפקטורינג של עומסי העבודה באחת מהגישות הבאות, או להשתמש בגישות ברצף:
העברה פשוטה מ-Amazon S3 ל-Cloud Storage. בהעברה פשוטה, משתמשים בכלים ובספריות הקיימים ליצירת בקשות REST מאומתות ל-Amazon S3, כדי ליצור בקשות מאומתות ל-Cloud Storage.
לדוגמה, Cloud Storage תומך במחיקה של עד 1,000 אובייקטים בבקשה אחת באמצעות ה-API למחיקה של כמה אובייקטים בפורמט XML. היכולת הזו תואמת ל-Amazon S3 DeleteObjects API.
העברה מלאה מ-Amazon S3 ל-Cloud Storage. בהעברה מלאה, תוכלו להשתמש בכל התכונות של Cloud Storage, כולל שימוש בכמה פרויקטים במקביל ואימות OAuth 2.0.
מחכים עד שהשכפול יסנכרן באופן מלא את Cloud Storage עם Amazon S3.
מפעילים את עומסי העבודה.
כשכבר לא צריך את סביבת Amazon S3 כאפשרות גיבוי, צריך להוציא אותה משימוש.
Storage Transfer Service יכול לשמור מטא-נתונים מסוימים כשמעבירים אובייקטים ממקור נתמך אל Cloud Storage. מומלץ לבדוק אם אפשר להעביר באמצעות Storage Transfer Service את הנתונים של Amazon S3 שמעניינים אתכם.
כשמתכננים את תוכנית העברת הנתונים, מומלץ להעריך גם את עלויות יציאת הנתונים מהרשת ב-AWS ואת העלויות ב-Amazon S3. לדוגמה, אפשר להעביר נתונים באמצעות האפשרויות הבאות:
- באינטרנט הציבורי.
- באמצעות קישור בין רשתות.
- באמצעות Amazon CloudFront.
האפשרות שתבחרו יכולה להשפיע על עלויות היציאה מהרשת ב-AWS ועל העלויות ב-Amazon S3. האפשרות הזו יכולה גם להשפיע על כמות המאמץ והמשאבים שנדרשים כדי להקצות ולהגדיר את התשתית. מידע נוסף על עלויות זמין במאמרים הבאים:
- העברה מ-Amazon S3 ל-Cloud Storage: אפשרויות יציאה
- הסבר על חיובים על העברת נתונים במסמכי התיעוד של AWS
- תמחור של Amazon S3
כשמעבירים נתונים מ-Amazon S3 ל-Cloud Storage, מומלץ להשתמש ב-VPC Service Controls כדי ליצור מתחם היקפי שבו התקשורת בין שירותים שונים אסורה באופן מפורש, אלא אם השירותים קיבלו הרשאה. Google Cloud
אופטימיזציה של Google Cloud הסביבה
אופטימיזציה היא השלב האחרון בהעברה. בשלב הזה, חוזרים על משימות האופטימיזציה עד שהסביבה המטורגטת עומדת בדרישות האופטימיזציה. השלבים של כל איטרציה הם:
- הערכה של הסביבה הנוכחית, הצוותים ולולאת האופטימיזציה.
- מגדירים את דרישות האופטימיזציה ואת המטרות.
- מבצעים אופטימיזציה של הסביבה ושל הצוותים.
- כוונון של לולאת האופטימיזציה.
חוזרים על הרצף הזה עד שמשיגים את יעדי האופטימיזציה.
מידע נוסף על אופטימיזציה של סביבת Google Cloud זמין במאמרים מעבר אל Google Cloud: אופטימיזציה של הסביבה וGoogle Cloud מסגרת Well-Architected: אופטימיזציה של ביצועים.
המאמרים הבאים
- מידע נוסף על תהליכי העברה אחרים מ-AWS Google Cloud
- השוואה בין השירותים של AWS ו-Azure ל- Google Cloud
- איפה אפשר לקבל עזרה בתהליך ההעברה?
- מומלץ להשתתף בקורס ההדרכה של Google Skills בנושא מעבר אל Google Cloud.
- לדוגמאות נוספות של ארכיטקטורות, תרשימים ושיטות מומלצות, עיינו במאמר Cloud Architecture Center.
שותפים ביצירת התוכן
מחבר: Marco Ferrari | Cloud Solutions Architect