שימוש בהעברות מהירות כדי לעבור ל-Cloud SQL

‫MySQL   |  PostgreSQL   |  PostgreSQL ל-AlloyDB

תצוגה מקדימה

השימוש בתכונה הזו כפוף לתנאי השימוש במוצרים בגרסת טרום-GA, שמפורטים בחלק "תנאי שירות הכלליים" בתנאים הספציפיים של השירות. השימוש בתכונות בגרסת טרום-GA הוא "כפי שהן" (As is), ויכול להיות שהתמיכה בהן תהיה מוגבלת. מידע נוסף זמין בקטע תיאור שלבי ההשקה.

בדף הזה מוסבר איך לבצע העברות מהירות של PostgreSQL הומוגני אל Cloud SQL ל-PostgreSQL.

סקירה כללית

מיגרציות מהירות הן תהליך מיגרציה רציף וקל משקל לתרחישי PostgreSQL הומוגניים. בעזרת העברות מהירות, Database Migration Service יכול להגדיר באופן אוטומטי את כל מה שצריך כדי להעביר את מסדי הנתונים: רכיבי רשת (קבצים מצורפים לרשת, רשתות משנה, הגדרות קישוריות פרטית), פרופילי חיבור ועבודות העברה.

בעזרת העברות מהירות, אתם יכולים להעביר את הנתונים למכונה קיימת של Cloud SQL או ליצור מכונה חדשה תוך כדי הגדרת ההעברה. העברות מהירות מתאימות במיוחד ל:

• מיגרציות בסיסיות, שבהן לא צריך שליטה מדויקת בהגדרות של מקביליות של dump נתונים.
• העברת מסד הנתונים מפרויקט Google Cloud אחד לפרויקט אחר. כשמגדירים העברה מהירה, אפשר ליצור את מופע היעד בפרויקט אחר מזה של המקור, ולהגדיר את Database Migration Service (שירות העברת מסדי נתונים) כך שיצור את צירוף הרשת ואת תת-הרשת ברשת הענן הווירטואלי הפרטי (VPC) של פרויקט אחר.

• העברה ממקורות עם כתובת IP פרטית ברשת של הענן הווירטואלי הפרטי (VPC) שלכם, כמו מסדי נתונים בניהול עצמי ב-Compute Engine, או ממופעים של Cloud SQL ל-PostgreSQL שמופעלת בהם רשת פרטית. Google Cloud

  יכול להיות שיהיה צורך ברכיבי רשת נוספים (כמו חיבור Cloud VPN) כדי להגיע למקורות שמארחים מחוץ ל- Google Cloud בכתובת IP פרטית ברשת ה-VPC.

• השיטה היחידה שנתמכת לקישוריות למסד נתונים היא ממשקי Private Service Connect עם הגדרות קישוריות פרטיות של Database Migration Service. צריך להקצות לנתוני מסד הנתונים כתובת IP פרטית ברשת VPC. שיטות אחרות לחיבור למקור הומוגני (כמו רשימות היתרים של כתובות IP ציבוריות, מנהרות SSH הפוכות או VPC peering) לא נתמכות בהעברות מהירות.

מידע נוסף על העברות מהירות זמין במאמר סקירה כללית של העברות מהירות במסמכי התיעוד העיקריים של Database Migration Service.

לפני שמתחילים

1. בודקים אם העברות מהירות יכולות לתמוך באופן מלא בתרחיש שלכם. מגבלות של העברה מהירה
נכנסים לחשבון Google.

אם עדיין אין חשבון, יוצרים חשבון חדש.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

2. מפעילים את ממשקי ה-API של Database Migration Service,‏ Compute Engine,‏ Network Connectivity Center ו-Cloud SQL Admin.

   הפעלת ממשקי ה-API

התפקידים הנדרשים

כדי לקבל את ההרשאות שנדרשות להפעלת העברות מהירות ל-Cloud SQL באמצעות Database Migration Service, צריך לבקש מהאדמין להקצות את תפקידי ניהול הזהויות והגישה (IAM) הנדרשים לחשבונות שמשתתפים בהעברה בפרויקטים הרלוונטיים. מידע נוסף על מתן תפקידים זמין במאמר ניהול גישה במסמכי התיעוד של IAM.

חשוב: חובה להקצות את התפקידים ישירות לחשבונות האלה. העברות מהירות לא תומכות בתפקידים שמועברים בירושה דרך חברות בקבוצת Google.

תפקידים והרשאות בפרויקט המקור

מקצים לחשבונות ספציפיים את התפקידים הבאים ב Google Cloud פרויקט שבו נמצא מסד הנתונים של המקור:

• לחשבון המשתמש שמבצע את ההעברה: התפקיד 'אדמין של רשת מחשוב' (roles/compute.networkAdmin)
• לחשבון השירות של Database Migration Service בפרויקט היעד: צפייה ברשת Compute (roles/compute.networkViewer)

  חשבון השירות של Database Migration Service נוצר כשמפעילים את Database Migration Service API. כתובת האימייל שמשויכת לחשבון הזה נוצרת באופן אוטומטי ואי אפשר לשנות אותה. כתובת האימייל הזו מבוססת על הפורמט הבא:

  [e-mail]

התפקידים המוגדרים מראש האלה מכילים את ההרשאות שנדרשות להגדרת קישוריות במסגרת פרויקט מסד הנתונים של המקור, כחלק מהעברה מהירה באמצעות Database Migration Service. כדי לראות את ההרשאות הנדרשות, מרחיבים את הקטע ההרשאות הנדרשות (מקור):

ההרשאות הנדרשות (מקור)

כדי לבצע העברות מהירות והומוגניות באמצעות Database Migration Service, נדרשות ההרשאות הבאות:

עבור חשבון המשתמש שמבצע את ההעברה:

• compute.networks.*
• compute.subnetworks.*
• compute.networkAttachments.*

בחשבון השירות של Database Migration Service בפרויקט היעד: ‫compute.networkAttachments.get.

תפקידים והרשאות בפרויקט היעד

מקצים את התפקידים הבאים לחשבון המשתמש שמבצע את ההעברה בפרויקט ב- Google Cloud שבו נמצא מסד הנתונים של היעד:

• אדמין של Database Migration (roles/datamigration.admin)
• ‫ Cloud SQL Admin ‏ (roles/cloudsql.admin)

התפקידים המוגדרים מראש האלה מכילים את ההרשאות שנדרשות כדי להגדיר את רכיבי ההעברה הנדרשים בפרויקט מסד הנתונים של יעד כחלק מהעברה מהירה באמצעות Database Migration Service. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות (יעד):

ההרשאות הנדרשות (יעד)

כדי לבצע העברות מהירות והומוגניות באמצעות Database Migration Service, נדרשות ההרשאות הבאות:

• datamigration.*
• cloudsql.instances.create
• cloudsql.instances.delete
• cloudsql.instances.get
• cloudsql.instances.list
• cloudsql.instances.update
• cloudsql.instances.connect
• cloudsql.instances.executeSql
• cloudsql.instances.export
• cloudsql.instances.import
• cloudsql.instances.login
• cloudsql.operations.get
• cloudsql.users.get
• cloudsql.users.list
• cloudsql.users.create
• cloudsql.users.update
• cloudsql.users.delete

הגדרת מסד הנתונים של המקור

כדי להגדיר את מסד הנתונים של PostgreSQL כמקור:

1. יוצרים בחשבון משתמש ייעודי להעברה.
   • למקורות Cloud SQL ל-PostgreSQL, אפשר לעיין במאמר בנושא יצירת משתמש בתיעוד של Cloud SQL.
   • לגבי מקורות אחרים, אפשר לעיין במסמכי התיעוד של ספק מסד הנתונים או ליצור ולנהל משתמשים במסמכי התיעוד של PostgreSQL.
2. מקצים את ההרשאות הנדרשות לחשבון המשתמש הייעודי להעברה. מריצים את הפקודות הבאות לכל מסד נתונים שרוצים להעביר:

   -- Grant the REPLICATION attribute
   ALTER ROLE MIGRATION_USER REPLICATION;
   
   -- Grant database-level permissions.
   -- Repeat for each database you want to migrate.
   GRANT CONNECT, CREATE ON DATABASE DATABASE_NAME TO MIGRATION_USER;
   
   -- Grant schema-level usage.
   -- Repeat for each schema in each database you want to migrate.
   GRANT USAGE ON SCHEMA SCHEMA_NAME TO MIGRATION_USER;

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫MIGRATION_USER עם השם של חשבון המשתמש להעברה.
   • ‫DATABASE_NAME בשם מסד הנתונים שרוצים להעביר.
   • ‫SCHEMA_NAME בשם הסכימה במסד הנתונים שרוצים להעביר.
3. למשתמש בחשבון ההעברה צריכה להיות גישת בעלות לטבלאות שאתם מעבירים. כדי לתת את רמת הגישה הזו, מבצעים אחת מהפעולות הבאות:
   • למקורות אחרים מלבד Cloud SQL ל-PostgreSQL בלבד: מקצים את SUPERUSER תפקיד PostgreSQL לחשבון ההעברה.
   • לכל המקורות: מוסיפים את חשבון המשתמש של ההעברה לקבוצת המשתמשים שבבעלותה הטבלאות. מריצים את הפקודה הבאה:

     -- Grant table ownership.
     GRANT TABLE_OWNER_GROUP_NAME TO MIGRATION_USER;

     מחליפים את מה שכתוב בשדות הבאים:

     • ‫TABLE_OWNER_GROUP_NAME עם שם קבוצת המשתמשים שהיא הבעלים של כל טבלה שרוצים להעביר.
     • ‫MIGRATION_USER עם השם של חשבון המשתמש להעברה.
4. בטבלאות שאין להן מפתחות ראשיים: שירות Database Migration Service לא משכפל פעולות UPDATE או DELETE בטבלאות ללא מפתחות ראשיים במהלך השלב של סימון נתונים שהשתנו (CDC). אם רוצים לכלול פעולות כאלה בשכפול, צריך לשנות את הטבלאות בלי מפתחות ראשיים באמצעות REPLICA IDENTITY:

   ALTER TABLE TABLE_NAME REPLICA IDENTITY FULL;
   ALTER TABLE TABLE_NAME REPLICA IDENTITY USING INDEX INDEX_NAME;

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫TABLE_NAME הוא שם הטבלה שלא מוגדרים בה מפתחות ראשיים.
   • ‫INDEX_NAME הוא האינדקס הייחודי שיכול לעקוב אחרי שורות מטבלאות ללא מפתחות ראשיים.
5. מגדירים את הגדרות השכפול באמצעות דגלים של מסד הנתונים.

   מקורות בניהול עצמי

   שמירת שינויים בדגלים של מסד הנתונים מחייבת הפעלה מחדש מלאה של מסד הנתונים. בדוגמאות הבאות נעשה שימוש בשאילתות SQL כדי לשנות ערכי דגלים. אם אתם לא יכולים להריץ שאילתות SQL ישירות, תוכלו לעיין במסמכי התיעוד של הספק כדי לקבל הוראות לשינוי הדגלים האלה.

   1. מגדירים את הפרמטר wal_level לערך logical. מריצים את הפקודה הבאה:

      ALTER SYSTEM SET wal_level = 'logical';

   2. מגדירים את הפרמטר wal_sender_timeout לערך 0. הערך הזה משבית את מנגנון פסק הזמן שמשמש לסיום חיבורי רפליקציה לא פעילים. מריצים את הפקודה הבאה:

      ALTER SYSTEM SET wal_sender_timeout = 0;
          

   3. מגדירים את המספר המקסימלי של משבצות השכפול באמצעות הפרמטר max_replication_slots. הערך של הפרמטר הזה צריך להיות לפחות מספר מסדי הנתונים שמעבירים בכל משימת העברה, בתוספת כמה מסדי נתונים לגיבוי לצורך סנכרון הטבלאות.

      לדוגמה, אם מעבירים 5 מסדי נתונים ונוצרו 2 משימות העברה עבור מופע המקור, מספר משבצות השכפול צריך להיות לפחות 5 * 2 = 10, ועוד מספר משבצות השכפול שכבר נמצאות בשימוש.

      כדי להגדיר את הפרמטר הזה, מריצים את הפקודה הבאה:

      ‫

      ALTER SYSTEM SET max_replication_slots = NUMBER_OF_SLOTS;
          

      כאשר NUMBER_OF_SLOTS מייצג את המספר המקסימלי של משבצות שכפול.
   4. מגדירים את הפרמטר max_wal_senders לערך שהוא לפחות זהה לערך של max_replication_slots, בתוספת מספר השולחים שכבר נמצאים בשימוש במופע.

      לדוגמה, אם הפרמטר max_replication_slots מוגדר לערך 10, ואתם כבר משתמשים ב-2 שולחים, מספר תהליכי השליחה של WAL שפועלים בו-זמנית יהיה 10 + 2 = 12.

      כדי להגדיר את הפרמטר הזה, מריצים את הפקודה הבאה:

      ‫

      ALTER SYSTEM SET max_wal_senders = NUMBER_OF_SENDERS;
          

      כאשר NUMBER_OF_SENDERS מייצג את מספר התהליכים של WAL sender שפועלים בו-זמנית.
   5. מגדירים את הערך של max_worker_processes למספר של לפחות מספר מסדי הנתונים שרוצים להעביר, ועוד מספר max_worker_processes שכבר נמצא בשימוש במופע. כדי להגדיר את הפרמטר הזה, מריצים את הפקודה הבאה:

      ALTER SYSTEM SET max_worker_processes = NUMBER_OF_PROCESSES;
          

      כאשר NUMBER_OF_PROCESSES מייצג את מספר מסדי הנתונים שיועברו.

   מקורות Cloud SQL ל-PostgreSQL

   למקורות Cloud SQL, מגדירים את הדגלים של מסד הנתונים במסוף Google Cloud . כדי שההגדרה תיכנס לתוקף, צריך להפעיל מחדש את המופע אחרי שמשנים את הדגלים של מסד הנתונים. מידע נוסף על הגדרת דגלים של מסד נתונים ב-Cloud SQL זמין במאמר הגדרת דגלים של מסד נתונים במסמכי Cloud SQL.

   1. מגדירים את הדגל cloudsql.logical_decoding לערך on.
   2. מגדירים את הפרמטר wal_sender_timeout לערך 0. הערך הזה משבית את מנגנון פסק הזמן שמשמש לסיום חיבורי שכפול לא פעילים.
   3. מגדירים את המספר המקסימלי של משבצות השכפול באמצעות הפרמטר max_replication_slots. הפרמטר הזה צריך להיות מוגדר לפחות כמספר מסדי הנתונים שמעבירים בכל משימת העברה, בתוספת כמה עתודות לסנכרון הטבלאות.

      לדוגמה, אם מעבירים 5 מסדי נתונים ונוצרו 2 משימות העברה עבור מופע המקור, מספר משבצות השכפול צריך להיות לפחות 5 * 2 = 10, ועוד מספר משבצות השכפול שכבר נמצאות בשימוש.

   4. מגדירים את הפרמטר max_wal_senders לערך שהוא לפחות כמו max_replication_slots, בתוספת מספר השולחים שכבר נמצאים בשימוש במופע.

      לדוגמה, אם הפרמטר max_replication_slots מוגדר לערך 10, ואתם כבר משתמשים ב-2 שולחים, מספר תהליכי השליחה של WAL שפועלים בו-זמנית יהיה 10 + 2 = 12.

   5. מגדירים את max_worker_processes למספר שהוא לפחות מספר מסדי הנתונים שרוצים להעביר, ועוד מספר max_worker_processes שכבר נמצא בשימוש במופע.

יצירה והרצה של העברה מהירה

כדי ליצור ולהפעיל העברה מהירה:

1. נכנסים לדף Get started במסוף Google Cloud .

   למעבר אל 'שנתחיל?'

2. בתפריט מנוע המקור, בוחרים באפשרות PostgreSQL.
3. בתפריט מנוע היעד, בוחרים באפשרות CloudSQL for PostgreSQL.

   מופיע הקטע הצגת העברה מהירה של PostgreSQL.

4. בקטע היכרות עם העברה מהירה של PostgreSQL, לוחצים על התחלת ההעברה.

   הדף Migrate to Cloud SQL for PostgreSQL (מעבר ל-Cloud SQL ל-PostgreSQL) ייפתח.

5. בקטע Configure migration (הגדרת ההעברה), מבצעים את הפעולות הבאות:
   1. בתפריט אזור היעד, בוחרים את האזור של מופע היעד ב-Cloud SQL.
   2. בתיבה Migration prefix (קידומת להעברה), מזינים מחרוזת ידידותית למשתמש שתתווסף לשמות של כל ישויות ההעברה שנוצרו להעברה המהירה: פרופילי חיבור, הגדרת קישוריות פרטית, רשת מצורפת ורשת המשנה שלה ועבודת ההעברה.
   3. בתפריט סוג ההגדרה, בוחרים באחת מהאפשרויות הבאות:
      1. הגדרת קישוריות קיימת: בוחרים באפשרות הזו אם כבר יש לכם קובץ מצורף עם הרשת והגדרת קישוריות פרטית שמשתמשת בשיטת הממשקים של Private Service Connect. האפשרות הזו מתאימה במיוחד אם השתמשתם בעבר בהעברות מהירות ואתם רוצים להשתמש מחדש באותם משאבי רשת.
      2. הגדרת קישוריות חדשה: בוחרים באפשרות הזו כדי ליצור קובץ מצורף חדש לרשת ואת רשת המשנה של הקובץ המצורף לרשת ברשת ה-VPC של מסד הנתונים של המקור. ההגדרה של הקישוריות הפרטית תיצור באותו פרויקט כמו מופע היעד.
   לוחצים על Continue.
6. בקטע Connect source מבצעים את הפעולות הבאות:
   1. מזינים שם מארח או כתובת IP פרטית של מסד הנתונים של המקור. צריך שתהיה אפשרות להגיע לכתובת של מסד הנתונים של המקור מרשת ה-VPC של המקור.
   2. מזינים את היציאה שמשמשת לגישה למארח. יציאת ברירת המחדל של PostgreSQL היא 5432.
   3. מזינים את שם המשתמש והסיסמה של חשבון ההעברה הייעודי במסד הנתונים של המקור.
   4. בתפריט סוג ההצפנה, בוחרים אחת מהאפשרויות הבאות:
      • ללא: אם מסד הנתונים של המקור לא דורש חיבורים מוצפנים מסוג SSL/TLS.
      • חובה: אם מסד הנתונים של המקור דורש חיבורים מוצפנים באמצעות SSL/TLS. באפשרות הזאת לא נדרש אימות של אישורים.
   5. בתפריט Databases to migrate (מסדי נתונים להעברה), לוחצים על Customize (התאמה אישית). משתמשים בחלונית הצדדית כדי לבחור רק את מסדי הנתונים שרוצים להעביר ל-Cloud SQL.
   לוחצים על Continue.
7. בקטע Configure destination (הגדרת יעד), אפשר ליצור מופע חדש של יעד או לבחור מופע קיים.

   מופעים חדשים

   כדי ליצור מופע חדש של יעד:

   1. בתפריט סוג היעד של המופע, בוחרים באפשרות מופע חדש.

      Database Migration Service משתמש בהגדרת ברירת המחדל של Cloud SQL עבור מופע חדש. לוחצים על Customize כדי לשנות את התכונות של המכונה, כמו סוג המכונה, הזמינות האזורית או הגדרות ההגנה על הנתונים. מידע נוסף על הגדרת מכונות זמין במאמר בנושא יצירת מכונות במסמכי התיעוד של Cloud SQL.

   2. בשדה סיסמה, מזינים סיסמה למשתמש האדמין שמוגדר כברירת מחדל postgresql. Database Migration Service מתחבר כמשתמש הזה כדי להעביר את הנתונים.

   מכונות קיימות

   אפשר להעביר מסדי נתונים למופע שכבר קיים. מוודאים שמופעלת במכונת היעד האפשרות Private Service Connect ושלא נאכפים בה חיבורי mTLS. צריך לבצע את הפעולות הבאות:

   1. בתפריט סוג יעד של מופע, בוחרים באפשרות מופע קיים.
   2. בתפריט Existing instance ID (מזהה מכונה קיים), בוחרים את מזהה המכונה.
8. לוחצים על התחלת ההעברה.

   Database Migration Service יוצר עכשיו את משימת ההעברה ומתחיל את תהליך ההעברה. אפשר לעקוב אחרי התקדמות ההעברה בפרטי משימת ההעברה של Database Migration Service. מידע נוסף זמין במאמר בנושא ניהול משימות העברה.

סיום ההעברה

כשמחליטים להעביר את האפליקציה למופע החדש של Cloud SQL, צריך להשלים את ההעברה לפי השלבים הבאים:

1. מפסיקים את כל פעולות הכתיבה במסד הנתונים של המקור. אתם יכולים להעביר אותם למצב קריאה בלבד כדי לשמור על הפונקציונליות התפעולית.
2. קידום של עבודת ההעברה.
3. אופציונלי: אימות נתוני ההעברה כדי לוודא שהם מלאים.

המאמרים הבאים

• מידע נוסף על Cloud SQL