שימוש בהעברות מהירות עם Database Migration Service

בדף הזה מוסבר איך לבצע העברות מהירות של PostgreSQL הומוגני אל Cloud SQL ל-PostgreSQL.

סקירה כללית

מיגרציות מהירות הן תהליך מיגרציה רציף וקל משקל לתרחישי PostgreSQL הומוגניים. בעזרת העברות מהירות, Database Migration Service יכול להגדיר באופן אוטומטי את כל מה שצריך כדי להעביר את מסדי הנתונים: רכיבי רשת (קבצים מצורפים לרשת, רשתות משנה, הגדרות קישוריות פרטית), פרופילי חיבור ועבודות העברה.

בעזרת העברות מהירות, אתם יכולים להעביר את הנתונים שלכם למופע קיים של Cloud SQL ל-PostgreSQL, או ליצור מופע חדש תוך כדי הגדרת ההעברה. העברות מהירות מתאימות במיוחד ל:

  • מיגרציות בסיסיות, שבהן לא צריך שליטה מדויקת בהגדרות של מקביליות dump הנתונים.
  • העברת מסד הנתונים מפרויקט Google Cloud אחד לפרויקט אחר. כשמגדירים העברה מהירה, אפשר ליצור את מופע היעד בפרויקט אחר מזה של המקור, ולהגדיר את Database Migration Service (שירות העברת מסדי נתונים) כך שיצור את צירוף הרשת ואת תת-הרשת ברשת הענן הווירטואלי הפרטי (VPC) של פרויקט אחר.

  • העברה ממקורות עם כתובת IP פרטית ברשת של הענן הווירטואלי הפרטי (VPC) שלכם, כמו מסדי נתונים בניהול עצמי ב-Compute Engine, או ממופעים של Cloud SQL ל-PostgreSQL שמופעלת בהם רשת פרטית. Google Cloud

    יכול להיות שיהיה צורך ברכיבי רשת נוספים (כמו חיבור Cloud VPN) כדי להגיע למקורות שמארחים מחוץ ל- Google Cloud בכתובת IP פרטית ברשת ה-VPC.

  • השיטה היחידה שנתמכת לקישוריות למסד נתונים היא ממשקי Private Service Connect עם הגדרות קישוריות פרטיות של Database Migration Service. צריך להקצות לנתוני מסד הנתונים כתובת IP פרטית ברשת VPC. שיטות אחרות לחיבור למקור הומוגני (כמו רשימות היתרים של כתובות IP ציבוריות, מנהרות SSH הפוכות או VPC peering) לא נתמכות בהעברות מהירות.

מידע נוסף על העברות מהירות זמין במאמר בנושא העברות מהירות במסמכי התיעוד של Database Migration Service.

לפני שמתחילים

  1. בודקים אם העברות מהירות יכולות לתמוך באופן מלא בתרחיש שלכם. מידע נוסף זמין במאמר בנושא מגבלות של העברה מהירה במסמכי העזרה של Database Migration Service.
  2. נכנסים לחשבון Google.

    אם עדיין אין חשבון, יוצרים חשבון חדש.

  3. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  4. Verify that billing is enabled for your Google Cloud project.

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. מפעילים את ממשקי ה-API של Database Migration Service,‏ Compute Engine,‏ Network Connectivity Center ו-Cloud SQL Admin.

    הפעלת ממשקי ה-API

התפקידים הנדרשים

כדי לקבל את ההרשאות שנדרשות להפעלת העברות מהירות אל Cloud SQL ל-PostgreSQL באמצעות Database Migration Service, צריך לבקש מהאדמין להקצות את תפקידי ניהול הזהויות והרשאות הגישה (IAM) הנדרשים לחשבונות שמשתתפים בהעברה בפרויקטים הרלוונטיים. מידע נוסף על מתן תפקידים זמין במאמר ניהול גישה במסמכי ה-IAM.

תפקידים והרשאות בפרויקט המקור

מקצים לחשבונות ספציפיים את התפקידים הבאים ב Google Cloud פרויקט שבו נמצא מסד הנתונים של המקור:

  • לחשבון המשתמש שמבצע את ההעברה: אדמין של רשת מחשוב (roles/compute.networkAdmin)
  • עבור חשבון השירות של Database Migration Service בפרויקט היעד: צפייה ברשת Compute(roles/compute.networkViewer)

    חשבון השירות של Database Migration Service נוצר כשמפעילים את Database Migration Service API. כתובת האימייל שמשויכת לחשבון הזה נוצרת באופן אוטומטי ואי אפשר לשנות אותה. כתובת האימייל הזו מבוססת על הפורמט הבא: 

    service-DESTINATION_PROJECT_NUMBER@gcp-sa-datamigration.iam.gserviceaccount.com

התפקידים המוגדרים מראש האלה מכילים את ההרשאות שנדרשות להגדרת קישוריות במסגרת פרויקט מסד הנתונים של המקור, כחלק מהעברה מהירה באמצעות Database Migration Service. כדי לראות את ההרשאות הנדרשות, מרחיבים את הקטע ההרשאות הנדרשות (מקור):

ההרשאות הנדרשות (מקור)

כדי לבצע העברות מהירות והומוגניות באמצעות Database Migration Service, נדרשות ההרשאות הבאות:

עבור חשבון המשתמש שמבצע את ההעברה:

  • compute.networks.*
  • compute.subnetworks.*
  • compute.networkAttachments.*

בחשבון השירות של Database Migration Service בפרויקט היעד: ‫compute.networkAttachments.get.

תפקידים והרשאות בפרויקט היעד

מקצים את התפקידים הבאים לחשבון המשתמש שמבצע את ההעברה בפרויקט ב- Google Cloud שבו נמצא מסד הנתונים של היעד:

התפקידים המוגדרים מראש האלה מכילים את ההרשאות שנדרשות כדי להגדיר את רכיבי ההעברה הנדרשים בפרויקט מסד הנתונים של יעד כחלק מהעברה מהירה באמצעות Database Migration Service. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות (יעד):

ההרשאות הנדרשות (יעד)

כדי לבצע העברות מהירות והומוגניות באמצעות Database Migration Service, נדרשות ההרשאות הבאות:

  • datamigration.*
  • cloudsql.instances.create
  • cloudsql.instances.delete
  • cloudsql.instances.get
  • cloudsql.instances.list
  • cloudsql.instances.update
  • cloudsql.instances.connect
  • cloudsql.instances.executeSql
  • cloudsql.instances.export
  • cloudsql.instances.import
  • cloudsql.instances.login
  • cloudsql.operations.get
  • cloudsql.users.get
  • cloudsql.users.list
  • cloudsql.users.create
  • cloudsql.users.update
  • cloudsql.users.delete

הגדרת מסד הנתונים של המקור

כדי להגדיר את מסד הנתונים של PostgreSQL כמקור:

  1. יוצרים בחשבון משתמש ייעודי להעברה.
    • למקורות של Cloud SQL ל-PostgreSQL, אפשר לעיין במאמר יצירת משתמש בתיעוד של Cloud SQL ל-PostgreSQL.
    • לגבי מקורות אחרים, אפשר לעיין במסמכי התיעוד של ספק מסד הנתונים או ליצור ולנהל משתמשים במסמכי התיעוד של PostgreSQL.
  2. מקצים את ההרשאות הנדרשות לחשבון המשתמש הייעודי להעברה. מריצים את הפקודות הבאות לכל מסד נתונים שרוצים להעביר: 
    -- Grant the REPLICATION attribute
ALTER ROLE MIGRATION_USER REPLICATION;

-- Grant database-level permissions.
-- Repeat for each database you want to migrate.
GRANT CONNECT, CREATE ON DATABASE DATABASE_NAME TO MIGRATION_USER;

-- Grant schema-level usage.
-- Repeat for each schema in each database you want to migrate.
GRANT USAGE ON SCHEMA SCHEMA_NAME TO MIGRATION_USER;

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫MIGRATION_USER עם השם של חשבון המשתמש להעברה.
    • ‫DATABASE_NAME בשם מסד הנתונים שרוצים להעביר.
    • ‫SCHEMA_NAME בשם הסכימה במסד הנתונים שרוצים להעביר.
  3. למשתמש בחשבון ההעברה צריכה להיות גישת בעלות לטבלאות שאתם מעבירים. כדי לתת את רמת הגישה הזו, מבצעים אחת מהפעולות הבאות:
    • למקורות אחרים מלבד Cloud SQL ל-PostgreSQL בלבד: מקצים את SUPERUSER תפקיד PostgreSQL לחשבון ההעברה.
    • לכל המקורות: מוסיפים את חשבון המשתמש של ההעברה לקבוצת המשתמשים שבבעלותה הטבלאות. מריצים את הפקודה הבאה: 
      -- Grant table ownership.
GRANT TABLE_OWNER_GROUP_NAME TO MIGRATION_USER;

      מחליפים את מה שכתוב בשדות הבאים:

      • ‫TABLE_OWNER_GROUP_NAME עם שם קבוצת המשתמשים שהיא הבעלים של כל טבלה שרוצים להעביר.
      • ‫MIGRATION_USER עם השם של חשבון המשתמש להעברה.
  4. בטבלאות שאין להן מפתחות ראשיים: שירות Database Migration Service לא משכפל פעולות UPDATE או DELETE בטבלאות ללא מפתחות ראשיים במהלך השלב של סימון נתונים שהשתנו (CDC). אם רוצים לכלול פעולות כאלה בשכפול, צריך לשנות את הטבלאות בלי מפתחות ראשיים באמצעות REPLICA IDENTITY: 
    ALTER TABLE TABLE_NAME REPLICA IDENTITY FULL;
ALTER TABLE TABLE_NAME REPLICA IDENTITY USING INDEX INDEX_NAME;

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫TABLE_NAME הוא שם הטבלה שלא מוגדרים בה מפתחות ראשיים.
    • ‫INDEX_NAME הוא האינדקס הייחודי שיכול לעקוב אחרי שורות מטבלאות ללא מפתחות ראשיים.
  5. מגדירים את הגדרות השכפול באמצעות דגלים של מסד הנתונים.

    מקורות בניהול עצמי

    שמירת שינויים בדגלים של מסד הנתונים מחייבת הפעלה מחדש מלאה של מסד הנתונים. בדוגמאות הבאות נעשה שימוש בשאילתות SQL כדי לשנות ערכי דגלים. אם אתם לא יכולים להריץ שאילתות SQL ישירות, תוכלו לעיין במסמכי התיעוד של הספק כדי לקבל הוראות לשינוי הדגלים האלה.

    1. מגדירים את הפרמטר wal_level לערך logical. מריצים את הפקודה הבאה: 
      ALTER SYSTEM SET wal_level = 'logical';
    2. מגדירים את הפרמטר wal_sender_timeout לערך 0. הערך הזה משבית את מנגנון פסק הזמן שמשמש לסיום חיבורי רפליקציה לא פעילים. מריצים את הפקודה הבאה: 
      ALTER SYSTEM SET wal_sender_timeout = 0;
    3. מגדירים את המספר המקסימלי של משבצות השכפול באמצעות הפרמטר max_replication_slots. הערך של הפרמטר הזה צריך להיות לפחות מספר מסדי הנתונים שמעבירים בכל משימת העברה, בתוספת כמה מסדי נתונים לגיבוי לצורך סנכרון הטבלאות.

      לדוגמה, אם מעבירים 5 מסדי נתונים ונוצרו 2 משימות העברה עבור מופע המקור, מספר משבצות השכפול צריך להיות לפחות 5 * 2 = 10, ועוד מספר משבצות השכפול שכבר נמצאות בשימוש.

      כדי להגדיר את הפרמטר הזה, מריצים את הפקודה הבאה:

      ‫
      ALTER SYSTEM SET max_replication_slots = NUMBER_OF_SLOTS;
      כאשר NUMBER_OF_SLOTS מייצג את המספר המקסימלי של משבצות שכפול.
    4. מגדירים את הפרמטר max_wal_senders לערך שהוא לפחות זהה לערך של max_replication_slots, בתוספת מספר השולחים שכבר נמצאים בשימוש במופע.

      לדוגמה, אם הפרמטר max_replication_slots מוגדר לערך 10, ואתם כבר משתמשים ב-2 שולחים, מספר תהליכי השליחה של WAL שפועלים בו-זמנית יהיה 10 + 2 = 12.

      כדי להגדיר את הפרמטר הזה, מריצים את הפקודה הבאה:

      ‫
      ALTER SYSTEM SET max_wal_senders = NUMBER_OF_SENDERS;
      כאשר NUMBER_OF_SENDERS מייצג את מספר התהליכים של WAL sender שפועלים בו-זמנית.
    5. מגדירים את הערך של max_worker_processes למספר של לפחות מספר מסדי הנתונים שרוצים להעביר, ועוד מספר max_worker_processes שכבר נמצא בשימוש במופע. כדי להגדיר את הפרמטר הזה, מריצים את הפקודה הבאה: 
      ALTER SYSTEM SET max_worker_processes = NUMBER_OF_PROCESSES;
      כאשר NUMBER_OF_PROCESSES מייצג את מספר מסדי הנתונים שיועברו.

    מקורות Cloud SQL ל-PostgreSQL

    למקורות Cloud SQL, מגדירים את הדגלים של מסד הנתונים במסוף Google Cloud . כדי שההגדרה תיכנס לתוקף, צריך להפעיל מחדש את המופע אחרי שמשנים את הדגלים של מסד הנתונים. מידע נוסף על הגדרת דגלים של מסד נתונים ב-Cloud SQL זמין במאמר הגדרת דגלים של מסד נתונים במסמכי Cloud SQL.

    1. מגדירים את הדגל cloudsql.logical_decoding לערך on.
    2. מגדירים את הפרמטר wal_sender_timeout לערך 0. הערך הזה משבית את מנגנון פסק הזמן שמשמש לסיום חיבורי שכפול לא פעילים.
    3. מגדירים את המספר המקסימלי של משבצות השכפול באמצעות הפרמטר max_replication_slots. הפרמטר הזה צריך להיות מוגדר לפחות כמספר מסדי הנתונים שמעבירים בכל משימת העברה, בתוספת כמה עתודות לסנכרון הטבלאות.

      לדוגמה, אם מעבירים 5 מסדי נתונים ונוצרו 2 משימות העברה עבור מופע המקור, מספר משבצות השכפול צריך להיות לפחות 5 * 2 = 10, ועוד מספר משבצות השכפול שכבר נמצאות בשימוש.

    4. מגדירים את הפרמטר max_wal_senders לערך שהוא לפחות כמו max_replication_slots, בתוספת מספר השולחים שכבר נמצאים בשימוש במופע.

      לדוגמה, אם הפרמטר max_replication_slots מוגדר לערך 10, ואתם כבר משתמשים ב-2 שולחים, מספר תהליכי השליחה של WAL שפועלים בו-זמנית יהיה 10 + 2 = 12.

    5. מגדירים את max_worker_processes למספר שהוא לפחות מספר מסדי הנתונים שרוצים להעביר, ועוד מספר max_worker_processes שכבר נמצא בשימוש במופע.

יצירה והרצה של העברה מהירה

כשמשתמשים בהעברות מהירות, אפשר ליצור מכונה חדשה של Cloud SQL ולהעביר אליה את מסדי הנתונים, או להעביר מסדי נתונים למכונה שכבר קיימת.

העברות מהירות למופעים חדשים

כדי ליצור מכונה חדשה של Cloud SQL ל-PostgreSQL ולהעביר אליה את מסדי הנתונים באופן מיידי, פועלים לפי השלבים הבאים:

  1. עוברים לדף Instances (מופעים).

    כניסה לדף Instances

  2. לוחצים על Create instance (יצירת מופע) > From an existing database (ממסד נתונים קיים).
  3. בחלון העברת מסד נתונים קיים, בוחרים באפשרות העברה מהירה של PostgreSQL ולוחצים על המשך.

    ייפתח טופס להעברה מהירה של Database Migration Service.

  4. בקטע Configure migration (הגדרת ההעברה), מבצעים את הפעולות הבאות:
    1. בתפריט אזור היעד, בוחרים את האזור של מופע היעד של Cloud SQL ל-PostgreSQL.
    2. בתיבה Migration prefix (קידומת להעברה), מזינים מחרוזת ידידותית למשתמש שתתווסף לשמות של כל ישויות ההעברה שנוצרו להעברה המהירה: פרופילי חיבור, הגדרת קישוריות פרטית, רשת מצורפת ורשת המשנה שלה ועבודת ההעברה.
    3. בתפריט סוג ההגדרה, בוחרים באחת מהאפשרויות הבאות:
      1. הגדרת קישוריות קיימת: בוחרים באפשרות הזו אם כבר יש לכם קובץ מצורף עם הרשת והגדרת קישוריות פרטית שמשתמשת בשיטת הממשקים של Private Service Connect. האפשרות הזו מתאימה במיוחד אם השתמשתם בעבר בהעברות מהירות ואתם רוצים להשתמש מחדש באותם משאבי רשת.
      2. הגדרת קישוריות חדשה: בוחרים באפשרות הזו כדי ליצור קובץ מצורף חדש לרשת ואת רשת המשנה של הקובץ המצורף לרשת ברשת ה-VPC של מסד הנתונים של המקור. ההגדרה של הקישוריות הפרטית תיצור באותו פרויקט כמו מופע היעד.
      4. לוחצים על Continue.
  5. בקטע Connect source מבצעים את הפעולות הבאות:
    1. מזינים שם מארח או כתובת IP פרטית של מסד הנתונים של המקור. צריך שתהיה אפשרות להגיע לכתובת של מסד הנתונים של המקור מרשת ה-VPC של המקור.
    2. מזינים את היציאה שמשמשת לגישה למארח. יציאת ברירת המחדל של PostgreSQL היא 5432.
    3. מזינים את שם המשתמש והסיסמה של חשבון ההעברה הייעודי במסד הנתונים של המקור.
    4. בתפריט סוג ההצפנה, בוחרים אחת מהאפשרויות הבאות:
      • ללא: אם מסד הנתונים של המקור לא דורש חיבורים מוצפנים מסוג SSL/TLS.
      • חובה: אם מסד הנתונים של המקור דורש חיבורים מוצפנים באמצעות SSL/TLS. באפשרות הזאת לא נדרש אימות של אישורים.
    5. בתפריט Databases to migrate (מסדי נתונים להעברה), לוחצים על Customize (התאמה אישית). משתמשים בחלונית הצדדית כדי לבחור רק את מסדי הנתונים שרוצים להעביר ל-Cloud SQL ל-PostgreSQL.
      6. לוחצים על Continue.
  6. בקטע Configure destination (הגדרת היעד), מבצעים את הפעולות הבאות:
    1. בתפריט סוג היעד של המופע, בוחרים באפשרות מופע חדש.

      Database Migration Service משתמש בהגדרת ברירת המחדל של Cloud SQL ל-PostgreSQL עבור מכונה חדשה. לוחצים על Customize כדי לשנות את התכונות של המופע, כמו סוג המכונה, הזמינות האזורית או הגדרות ההגנה על הנתונים. מידע נוסף על הגדרת מופעים זמין במאמר בנושא יצירת מופעים.

      2. בשדה סיסמה, מזינים סיסמה למשתמש האדמין שמוגדר כברירת מחדל postgresql. Database Migration Service מתחבר כמשתמש הזה כדי להעביר את הנתונים.
  7. לוחצים על התחלת ההעברה.

    Database Migration Service יוצר עכשיו את משימת ההעברה ומתחיל את תהליך ההעברה. אפשר לעקוב אחרי התקדמות ההעברה בפרטי משימת ההעברה של Database Migration Service. מידע נוסף זמין במאמר בנושא ניהול משימות העברה במסמכי העזרה של Database Migration Service.

העברות מהירות של מופעים קיימים

כדי להעביר מסדי נתונים למכונת Cloud SQL קיימת, פועלים לפי השלבים הבאים:

  1. עוברים לדף Instances (מופעים).

    כניסה לדף Instances

  2. בוחרים את מופע Cloud SQL שאליו רוצים להעביר את מסדי הנתונים.
  3. בדף הפרטים של המכונה, לוחצים על העברת מסד הנתונים.

    ייפתח טופס להעברה מהירה של Database Migration Service.

  4. בקטע Configure migration (הגדרת ההעברה), מבצעים את הפעולות הבאות:
    1. בתפריט אזור היעד, בוחרים את האזור של מופע היעד של Cloud SQL ל-PostgreSQL.
    2. בתיבה Migration prefix (קידומת להעברה), מזינים מחרוזת ידידותית למשתמש שתתווסף לשמות של כל ישויות ההעברה שנוצרו להעברה המהירה: פרופילי חיבור, הגדרת קישוריות פרטית, רשת מצורפת ורשת המשנה שלה ועבודת ההעברה.
    3. בתפריט סוג ההגדרה, בוחרים באחת מהאפשרויות הבאות:
      1. הגדרת קישוריות קיימת: בוחרים באפשרות הזו אם כבר יש לכם קובץ מצורף עם הרשת והגדרת קישוריות פרטית שמשתמשת בממשקי Private Service Connect ברשת ה-VPC של מסד הנתונים של המקור. האפשרות הזו מתאימה במיוחד אם השתמשתם בעבר בהעברות מהירות ואתם רוצים להשתמש מחדש באותם משאבי רשת.
      2. New connectivity configuration (הגדרת קישוריות חדשה): בוחרים באפשרות הזו כדי ליצור קובץ מצורף חדש לרשת, תת-רשת של קובץ מצורף לרשת והגדרת קישוריות פרטית ברשת ה-VPC של מסד הנתונים של המקור.
      4. לוחצים על Continue.
  5. בקטע Connect source מבצעים את הפעולות הבאות:
    1. מזינים שם מארח או כתובת IP פרטית של מסד הנתונים של המקור. צריך שתהיה אפשרות להגיע לכתובת של מסד הנתונים של המקור מרשת ה-VPC של המקור.
    2. מזינים את היציאה שמשמשת לגישה למארח. יציאת ברירת המחדל של PostgreSQL היא 5432.
    3. מזינים את שם המשתמש והסיסמה של חשבון ההעברה הייעודי במסד הנתונים של המקור.
    4. בתפריט סוג ההצפנה, בוחרים אחת מהאפשרויות הבאות:
      • ללא: אם מסד הנתונים של המקור לא דורש חיבורים מוצפנים מסוג SSL/TLS.
      • חובה: אם מסד הנתונים של המקור דורש חיבורים מוצפנים באמצעות SSL/TLS. באפשרות הזאת לא נדרש אימות של אישורים.
    5. בתפריט Databases to migrate (מסדי נתונים להעברה), לוחצים על Customize (התאמה אישית). משתמשים בחלונית הצדדית כדי לבחור רק את מסדי הנתונים שרוצים להעביר ל-Cloud SQL ל-PostgreSQL.
  6. לוחצים על התחלת ההעברה.

    Database Migration Service יוצר עכשיו את משימת ההעברה ומתחיל את תהליך ההעברה. אפשר לעקוב אחרי התקדמות ההעברה בפרטי משימת ההעברה של Database Migration Service. מידע נוסף זמין במאמר בנושא ניהול משימות העברה במסמכי העזרה של Database Migration Service.

סיום ההעברה

כשמחליטים להעביר את האפליקציה למופע החדש של Cloud SQL, צריך להשלים את ההעברה לפי השלבים הבאים:

  1. מפסיקים את כל פעולות הכתיבה במסד הנתונים של המקור. אתם יכולים להעביר אותם למצב קריאה בלבד כדי לשמור על הפונקציונליות התפעולית.
  2. קידום עבודת ההעברה.
  3. אופציונלי: מאמתים את נתוני ההעברה כדי לוודא שהם מלאים.

המאמרים הבאים