יצירת משימת העברה למופע יעד חדש

‫MySQL   |  PostgreSQL   |  PostgreSQL ל-AlloyDB

סקירה כללית

Database Migration Service משתמש במשימות העברה כדי להעביר נתונים ממופע מסד הנתונים של המקור למופע מסד הנתונים של היעד ב-AlloyDB.

לקישוריות של כתובות IP פרטיות, כשמבצעים מיגרציה לאשכול AlloyDB ל-PostgreSQL שנוצר באמצעות Database Migration Service, אפשר להשתמש רק בשיטת הגישה לשירותים פרטיים. אם רוצים להשתמש ב-Private Service Connect עם אשכול היעד, קודם יוצרים את היעד AlloyDB ל-PostgreSQL מחוץ ל-Database Migration Service, ואז פועלים לפי התהליך העברה למכונה קיימת.

יצירת עבודת העברה כוללת:

• הגדרת ההגדרות של עבודת ההעברה
• ציון מידע על פרופיל החיבור שיצרתם עבור מסד הנתונים של המקור (פרופיל חיבור למקור)
• הגדרת ההגדרות של מכונת מסד הנתונים של AlloyDB ליעד ויצירת המכונה
• הגדרת קישוריות בין מופעי מסד הנתונים של המקור והיעד
• בדיקת משימת ההעברה כדי לוודא שפרטי החיבור שסיפקתם למשימה תקינים

אשף Database Migration Service עוזר לכם ליצור משימת העברה. האשף כולל כמה חלוניות שבהן צריך לספק מידע על מסדי הנתונים של המקור, מסדי הנתונים של היעד ושיטות הקישוריות. באשף, אפשר גם לבדוק את עבודת ההעברה לפני שמסיימים ליצור אותה. בקטעים השונים בדף הזה מוסבר איך לאכלס כל חלונית.

הגדרת הגדרות לעבודת ההעברה

1. נכנסים לדף Migration jobs במסוףGoogle Cloud .
2. לוחצים על Create migration job (יצירת משימת העברה) בחלק העליון של הדף.

3. נותנים שם לעבודת המיגרציה.

   בוחרים שם ידידותי שיעזור לכם לזהות את עבודת ההעברה. אל תכללו בשם המשרה מידע רגיש או פרטים אישיים מזהים.

4. משאירים את מזהה משימת ההעברה שנוצר אוטומטית.

5. בוחרים את המנוע של מסד הנתונים של המקור.

6. בוחרים באפשרות AlloyDB ל-PostgreSQL כמנוע היעד.

7. בוחרים את האזור של היעד להעברה. כאן נוצרת מכונת Database Migration Service, וצריך לבחור אותה בהתאם למיקום של השירותים שזקוקים לנתונים שלכם, כמו מכונות Compute Engine, אפליקציות App Engine ושירותים אחרים. אחרי שבוחרים את אזור היעד, אי אפשר לשנות את הבחירה הזו.

8. בוחרים באפשרות רציף (תמונת מצב + שינויים שוטפים) כסוג העברת הנתונים.

9. בודקים את התנאים המוקדמים הנדרשים שנוצרים באופן אוטומטי כדי להבין איך צריך להכין את הסביבה למשימת העברה. הדרישות המוקדמות האלה יכולות לכלול הוראות להגדרת מסד הנתונים של המקור ולהתחברות למכונת מסד הנתונים של היעד ב-AlloyDB. מומלץ להשלים את הדרישות המוקדמות האלה בשלב הזה, אבל אפשר להשלים אותן בכל שלב לפני שבודקים את עבודת ההעברה או מתחילים אותה. מידע נוסף על הדרישות המוקדמות האלה מופיע במאמר בנושא הגדרת מקור.

10. לוחצים על שמירה והמשך.

ציון מידע על פרופיל החיבור למקור

1. אם יצרתם פרופיל חיבור, בוחרים אותו מרשימת פרופילי החיבור הקיימים.

   אם לא יצרתם פרופיל חיבור, תוכלו ליצור אותו בלחיצה על יצירת פרופיל חיבור בתחתית הרשימה הנפתחת, ואז לפעול לפי אותם השלבים שמפורטים במאמר יצירת פרופיל חיבור למקור.

   מומלץ ליצור פרופיל חיבור ייעודי להעברה של AlloyDB.

2. בקטע Customize data dump configurations (התאמה אישית של הגדרות יצוא נתונים), לוחצים על Show data dump configurations (הצגת הגדרות יצוא נתונים).

   מהירות ההרצה המקבילית של גיבוי הנתונים קשורה לעומס על מסד הנתונים של המקור. אפשר להשתמש בהגדרות הבאות:

   • אופטימלי (מומלץ): ביצועים מאוזנים עם עומס אופטימלי על מסד הנתונים של המקור.
   • מקסימלית: מספקת את מהירויות ההעברה הגבוהות ביותר, אבל עלולה לגרום לעומס מוגבר על מסד הנתונים של המקור.
   • מינימלי: משתמש בכמות הכי נמוכה של משאבי מחשוב במסד הנתונים של המקור, אבל יכול להיות שקצב העברת הנתונים יהיה איטי יותר.

   אם רוצים להשתמש בהגדרות מקביליות של יצוא נתונים מותאם, צריך להגדיל את הפרמטרים max_replication_slots, max_wal_senders ו-max_worker_processes במסד הנתונים של המקור. אפשר לבדוק את ההגדרות על ידי הפעלת בדיקה של משימת ההעברה בסוף יצירת משימת ההעברה.

3. לוחצים על שמירה והמשך.

אם מסד הנתונים של המקור הוא מכונת Cloud SQL ומופעלת בו רק כתובת IP ציבורית, צריך להפעיל את כתובת ה-IP הפרטית שלו לפני שממשיכים לקטע הבא. חשוב לזכור לעדכן את פרופיל החיבור עם כתובת ה-IP הפרטית.

הגדרה ויצירה של מופע היעד של AlloyDB

עכשיו יוצרים אשכול יעד חדש של AlloyDB למשימת ההעברה. אשכולות הם המשאבים ברמה העליונה ב-AlloyDB. הם מכילים מופע ראשי יחיד לגישת קריאה/כתיבה למסד הנתונים שיוצרים במהלך תהליך ההעברה.

כדי ליצור אשכול יעד:

1. בוחרים סוג אשכול. Database Migration Service תומך כרגע באשכולות AlloyDB עם זמינות גבוהה. הם יכולים להציג נתונים מכמה אזורים באזור, ללא מאגרי קריאה.
2. לוחצים על המשך.
3. מגדירים את האשכול:
   1. בשדה Cluster ID (מזהה האשכול), מזינים מזהה לאשכול.
   2. בשדה סיסמה, מזינים סיסמה למשתמש ברירת המחדל postgres. תצטרכו את הסיסמה כדי להתחבר למסד הנתונים.
   3. בשדה Network:
      1. בוחרים נתיב ברשת כדי להגדיר אילו משאבים יהיו זמינים כשמגדירים את הקישוריות להעברה. אפשר להגדיר אשכולות רק עם נתיב רשת של כתובות IP פרטיות. אם אתם מתכננים להתחבר למסד הנתונים של המקור באמצעות שיוך VPC, בוחרים את ה-VPC שבו הוא נמצא.
      2. אם הרשת שלכם לא מוגדרת ל גישה לשירותים פרטיים, לוחצים על הגדרת חיבור ופועלים לפי ההוראות באשף להגדרת החיבור.
      3. אם אף פעם לא הוגדרה רשת של שירות מנוהל עבור ה-VPC שנבחר, אפשר לבחור טווח כתובות IP וללחוץ על Connect (חיבור), או להשתמש בטווח כתובות IP שנבחר באופן אוטומטי וללחוץ על Allocate & Connect (הקצאה וחיבור).
   4. אופציונלי: בקטע הצפנה, מציינים אם רוצים לנהל את ההצפנה של הנתונים שמועברים מהמקור ליעד. כברירת מחדל, הנתונים שלכם מוצפנים באמצעות מפתח שמנוהל על ידי Google Cloud.

      אם רוצים לנהל את ההצפנה, אפשר להשתמש במפתח הצפנה בניהול הלקוח (CMEK). המפתח צריך להיות באותו מיקום שבו נמצא אשכול ה-AlloyDB. לדוגמה, לאשכולות שממוקמים ב-us-west1 אפשר להשתמש רק במפתחות ב-us-west1.

      1. לוחצים על כפתור הבחירה Use a customer-managed encryption key (CMEK) (שימוש במפתח הצפנה בניהול הלקוח).
      2. בתפריט Select a customer-managed key (בחירת מפתח בניהול הלקוח), בוחרים את מפתח ה-CMEK.

      אם המפתח לא מופיע, לוחצים על ENTER KEY RESOURCE NAME (הזנת שם משאב של מפתח) כדי לספק את שם המשאב של המפתח שרוצים להשתמש בו. לדוגמה, אפשר להזין projects/my-project-name/locations/my-location/keyRings/my-keyring/cryptoKeys/my-key בשדה שם משאב המפתח ואז ללחוץ על שמירה.

      במסגרת יצירת משימת ההעברה, שירות Database Migration Service יאמת שקיים CMEK, ושיש לשירות Database Migration Service הרשאות להשתמש במפתח.

      אם ל-Database Migration Service אין את ההרשאות האלה, יופיע מידע שמציין שחשבון השירות של Database Migration Service לא יכול להשתמש ב-CMEK. לוחצים על GRANT (אישור) כדי לתת ל-Database Migration Service הרשאות להשתמש במפתח.

      מידע נוסף על מפתחות הצפנה זמין במאמר שימוש ב-CMEK במסמכי AlloyDB.

   5. לוחצים על המשך.
4. מגדירים את המופע הראשי. המופע הראשי קובע את קיבולת החישוב של האשכול ותומך בפעולות קריאה וכתיבה:
1. בשדה Instance ID (מזהה המכונה), מזינים מזהה למכונה הראשית.
2. בוחרים סוג מכונה.
3. אם אתם מתכננים להשתמש בשיטת הקישוריות IP allowlist, מסמנים את התיבה Enable outbound public IP.
4. אופציונלי: מגדירים דגלים למופע. אתם יכולים להשתמש בדגלים כדי להתאים אישית את המופע. מידע על דגלים נתמכים זמין במאמרי העזרה בנושא AlloyDB. לכל דגל:
   1. לוחצים על הוספת סימון.
   2. בוחרים דגל מהרשימה New database flag (דגל חדש למסד הנתונים).
   3. מזינים ערך לדגל.
   4. לוחצים על סיום.
5. לוחצים על שמירה והמשך.
6. כדי לאשר את הבחירה, לוחצים על יצירת יעד והמשך.
7. מחכים עד ליצירת מופע היעד.

האשכול שלכם ב-AlloyDB יהיה במצב 'אתחול' בזמן שהוא מנוהל על ידי Database Migration Service. במהלך האתחול, לא תוכלו לבצע פעולות באשכול. אם עדיין רוצים למחוק את האשכול, אפשר לעשות זאת באמצעות gcloud עם האפשרות --force.

הגדרת קישוריות בין מופעי מסד הנתונים של המקור והיעד

אם אתם משתמשים מחדש בפרופיל חיבור למקור ששימש בעבר להעברות הטרוגניות (לדוגמה, מ-Oracle ל-Cloud SQL PostgreSQL), בשלב הזה אתם צריכים לבחור שיטת קישוריות. השיטה הזו תשמש להעברה הומוגנית ממסד נתונים של Cloud SQL ל-PostgreSQL אל AlloyDB. צריך לבחור שיטת קישוריות כי שיטת הקישוריות ההטרוגנית לא רלוונטית למשימת ההעברה הזו.

1. בתפריט הנפתח Connectivity method (שיטת הקישוריות), בוחרים שיטת קישוריות לרשת. בשיטה הזו מוגדר איך המופע החדש שנוצר של AlloyDB יתחבר למסד הנתונים של המקור. שיטות הקישוריות הנוכחיות לרשת כוללות רשימת היתרים של IP, קישור בין רשתות שכנות (peering) ב-VPC, מנהרת SSH הפוכה ושרת proxy של TCP דרך מכונה וירטואלית באירוח בענן.

2. אם בוחרים בשיטה של רשימת כתובות IP מותרות לחיבור לרשת, צריך לציין את כתובת ה-IP היוצאת של מכונת היעד. מעתיקים את כתובות ה-IP היוצאות של המופע הראשי ושל המופע המשני ומשתמשים בהן כדי להגדיר את חומת האש של הרשת עבור שרת מסד הנתונים של המקור ובקובץ pg_hba.conf, כדי שהמקור יוכל לקבל חיבורים מהכתובות האלה.

3. אם בוחרים בשיטה של קישוריות לרשת באמצעות מנהרת SSH הפוכה, צריך לבחור את המכונה הוירטואלית ב-Compute Engine שתארח את המנהרה.

   אחרי שמציינים את המופע, Google מספקת סקריפט שמבצע את השלבים להגדרת המנהרה בין מסד הנתונים של המקור לבין מסד הנתונים של היעד. תצטרכו להריץ את הסקריפט ב-Google Cloud CLI.

   מריצים את הפקודות ממכונה שיש לה קישוריות גם למסד הנתונים של המקור וגם ל-Google Cloud.

4. אם בוחרים בשיטת הקישור בין רשתות VPC שכנות (peering) לקישוריות לרשת, בוחרים את רשת ה-VPC שבה נמצא מסד הנתונים של המקור. המופע של Cloud SQL יעודכן כדי להתחבר לרשת הזו.

5. אם בוחרים ב-TCP Proxy דרך שיטת הקישוריות של מכונת VM שמתארחת בענן, צריך להזין את הפרטים הנדרשים של מכונת ה-VM החדשה ב-Compute Engine שתארח את ה-TCP Proxy.

   אחרי שמציינים את הפרטים, במסוף Google Cloud מוצג סקריפט שמבצע את השלבים להגדרת ה-proxy בין מסדי הנתונים של המקור והיעד. צריך להריץ את הסקריפט במכונה עם Google Cloud CLI מעודכן.

   אחרי שמריצים את הסקריפט, הוא יציג את כתובת ה-IP הפרטית של המכונה הווירטואלית שנוצרה. מזינים את כתובת ה-IP ולוחצים על הגדרה והמשך.

6. איך מגדירים קישוריות
   הערה: אם המקור הוא Cloud SQL ל-PostgreSQL, אפשרויות הקישוריות מוגבלות לVPC Peering ולTCP Proxy דרך מכונה וירטואלית באירוח ענן, בהתאם לארכיטקטורת הרשת של מופע המקור של Cloud SQL.

7. אחרי שבוחרים את שיטת הקישור לרשת ומספקים מידע נוסף לגבי השיטה, לוחצים על הגדרה והמשך.

הגדרת מסדי נתונים להעברה

אפשר לבחור את מסדי הנתונים שרוצים להעביר.

1. ברשימה Databases to migrate (מסדי נתונים להעברה), בוחרים באחת מהאפשרויות הבאות:
   • כל מסדי הנתונים: בחירה של כל מסדי הנתונים שקיימים במקור.
   • מסדי נתונים ספציפיים: מאפשרת לכם לבחור מסדי נתונים ספציפיים מתוך כל מסדי הנתונים שקיימים במקור.

2. אם רוצים להעביר מסדי נתונים ספציפיים, אפשר לסנן את הרשימה שמופיעה ולבחור את מסדי הנתונים שרוצים ש-Database Migration Service יעביר ליעד.

   אם הרשימה לא מופיעה ומוצגת שגיאה לגבי איתור מסד נתונים, לוחצים על טעינה מחדש. אם גילוי מסד הנתונים נכשל, העבודה מעבירה את כל מסדי הנתונים. אפשר להמשיך ליצור את משימת ההעברה ולתקן את שגיאות הקישוריות מאוחר יותר.

3. לוחצים על שמירה והמשך.

בדיקה ויצירה של עבודת ההעברה

בשלב האחרון הזה, בודקים את סיכום ההגדרות של עבודת ההעברה, המקור, היעד ושיטת הקישוריות, ואז בודקים את התקינות של הגדרת עבודת ההעברה. אם נתקלים בבעיות, אפשר לשנות את ההגדרות של העברת הנתונים. לא כל ההגדרות ניתנות לעריכה.

1. לוחצים על TEST JOB כדי לוודא ש:

   • מסד הנתונים של המקור הוגדר בצורה נכונה, בהתאם לדרישות המוקדמות.
   • מופעי המקור והיעד יכולים לתקשר זה עם זה.
   • כל העדכונים שנדרשים בכתובות IP פרטיות ביעד בוצעו.

   • משימת ההעברה תקינה, והגרסאות של המקור והיעד תואמות.

   אם הבדיקה נכשלת, אפשר לטפל בבעיה בחלק המתאים בתהליך ולחזור לבדיקה חוזרת.

   מידע נוסף על הסיבות האפשריות לכישלון הבדיקה ועל פתרון בעיות שקשורות לכישלון הבדיקה זמין במאמר אבחון בעיות ב-AlloyDB.

   אפשר ליצור את משימת המיגרציה גם אם הבדיקה נכשלת, אבל אחרי שהמשימה מתחילה, יכול להיות שהיא תיכשל בשלב מסוים במהלך ההרצה.

2. לוחצים על CREATE & START JOB (יצירה והתחלה של העבודה) כדי ליצור את עבודת ההעברה ולהתחיל אותה באופן מיידי, או על CREATE JOB (יצירת עבודה) כדי ליצור את עבודת ההעברה בלי להתחיל אותה באופן מיידי.

   אם המשימה לא מתחילה בזמן שבו היא נוצרת, אפשר להתחיל אותה מהדף משימות העברה בלחיצה על התחלה.

   לא משנה מתי מתחילת עבודת ההעברה, הארגון שלכם מחויב על קיום מופע היעד.

   נקודה חשובה: כשמתחילים את משימת ההעברה, השירות להעברת נתונים מתחיל את הגיבוי המלא, ונועל את מסד הנתונים של המקור לזמן קצר. אם המקור שלכם נמצא ב-Amazon RDS או ב-Amazon Aurora, Database Migration Service דורש בנוסף השבתה קצרה (בערך פחות מדקה) של פעולת הכתיבה בתחילת ההעברה.

   מידע נוסף זמין במאמר בנושא מגבלות ידועות.

3. משימת ההעברה נוספת לרשימת משימות ההעברה, ואפשר לראות אותה ישירות.