שימוש בהעברות מהירות עם Database Migration Service

בדף הזה מוסבר איך לבצע העברות מהירות של נתונים מ-PostgreSQL הומוגני אל AlloyDB ל-PostgreSQL.

סקירה כללית

מיגרציות מהירות הן תהליך מיגרציה רציף וקל משקל לתרחישי PostgreSQL הומוגניים. בעזרת העברות מהירות, Database Migration Service יכול להגדיר באופן אוטומטי את כל מה שצריך כדי להעביר את מסדי הנתונים: רכיבי רשת (קבצים מצורפים לרשת, רשתות משנה, הגדרות קישוריות פרטית), פרופילי חיבור ועבודות העברה.

בעזרת העברות מהירות, אתם יכולים להעביר את הנתונים שלכם לאשכול קיים של AlloyDB ל-PostgreSQL, או ליצור אשכול חדש תוך כדי הגדרת ההעברה. העברות מהירות מתאימות במיוחד למקרים הבאים:

  • מיגרציות בסיסיות, שבהן לא צריך שליטה מדויקת בהגדרות של מקביליות dump הנתונים.
  • העברת מסד הנתונים מפרויקט Google Cloud אחד לפרויקט אחר. כשמגדירים העברה מהירה, אפשר ליצור את אשכול היעד בפרויקט אחר מזה של המקור, ולהגדיר את Database Migration Service (שירות העברת מסדי נתונים) כך שיצור את צירוף הרשת ואת רשת המשנה ברשת הענן הווירטואלי הפרטי (VPC) של פרויקט אחר.

  • מעבר ממקורות עם כתובת IP פרטית ברשת הענן הווירטואלי הפרטי (VPC) שלכם, כמו מסדי נתונים בניהול עצמי ב-Compute Engine או מופעים של Cloud SQL ל-PostgreSQL שמופעלת בהם רשת פרטית. Google Cloud

    יכול להיות שיהיה צורך ברכיבי רשת נוספים (כמו חיבור Cloud VPN) כדי להגיע למקורות שמארחים מחוץ ל- Google Cloud בכתובת IP פרטית ברשת ה-VPC.

  • השיטה היחידה שנתמכת לקישוריות למסד נתונים היא ממשקי Private Service Connect עם הגדרות קישוריות פרטיות של Database Migration Service. צריך להקצות לנתוני מסד הנתונים כתובת IP פרטית ברשת VPC. שיטות אחרות לחיבור למקור הומוגני (כמו רשימות היתרים של כתובות IP ציבוריות, מנהרות SSH הפוכות או VPC peering) לא נתמכות בהעברות מהירות.

מידע נוסף על העברות מהירות זמין במאמר בנושא העברות מהירות במסמכי התיעוד של Database Migration Service.

לפני שמתחילים

  1. כדאי לבדוק אם העברות מהירות יכולות לתמוך באופן מלא בתרחיש שלכם. אפשר לעיין במגבלות של העברות מהירות במסמכי התיעוד של Database Migration Service.
  2. נכנסים לחשבון Google.

    אם עדיין אין חשבון, יוצרים חשבון חדש.

  3. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  4. Verify that billing is enabled for your Google Cloud project.

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. מפעילים את ממשקי ה-API של Database Migration Service,‏ Compute Engine,‏ Network Connectivity Center ו-AlloyDB ל-PostgreSQL Admin.

    הפעלת ממשקי ה-API

התפקידים הנדרשים

כדי לקבל את ההרשאות שנדרשות להפעלת העברות מהירות ל-AlloyDB ל-PostgreSQL באמצעות Database Migration Service, צריך לבקש מהאדמין להקצות את תפקידי ה-IAM הנדרשים לחשבונות שמשתתפים בהעברה בפרויקטים הרלוונטיים. מידע נוסף על מתן תפקידים זמין במאמר ניהול גישה במסמכי ה-IAM.

תפקידים והרשאות בפרויקט המקור

מקצים לחשבונות ספציפיים את התפקידים הבאים ב Google Cloud פרויקט שבו נמצא מסד הנתונים של המקור:

  • לחשבון המשתמש שמבצע את ההעברה: אדמין של רשת מחשוב (roles/compute.networkAdmin)
  • עבור חשבון השירות של Database Migration Service בפרויקט היעד: צפייה ברשת Compute(roles/compute.networkViewer)

    חשבון השירות של Database Migration Service נוצר כשמפעילים את Database Migration Service API. כתובת האימייל שמשויכת לחשבון הזה נוצרת באופן אוטומטי ואי אפשר לשנות אותה. כתובת האימייל הזו מבוססת על הפורמט הבא: 

    service-DESTINATION_PROJECT_NUMBERservice-DESTINATION_PROJECT_NUMBER@gcp-sa-datamigration.iam.gserviceaccount.com

התפקידים המוגדרים מראש האלה מכילים את ההרשאות שנדרשות להגדרת קישוריות במסגרת פרויקט מסד הנתונים של המקור, כחלק מהעברה מהירה באמצעות Database Migration Service. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות (מקור):

ההרשאות הנדרשות (מקור)

כדי לבצע העברות מהירות והומוגניות באמצעות Database Migration Service, נדרשות ההרשאות הבאות:

עבור חשבון המשתמש שמבצע את ההעברה:

  • compute.networks.*
  • compute.subnetworks.*
  • compute.networkAttachments.*

עבור חשבון השירות של Database Migration Service בפרויקט היעד: compute.networkAttachments.get.

תפקידים והרשאות בפרויקט היעד

מקצים את התפקידים הבאים לחשבון המשתמש שמבצע את ההעברה בפרויקט ב- Google Cloud שבו נמצא מסד הנתונים של היעד:

התפקידים המוגדרים מראש האלה מכילים את ההרשאות שנדרשות כדי להגדיר את רכיבי ההעברה הנדרשים בפרויקט מסד הנתונים של יעד כחלק מהעברה מהירה באמצעות Database Migration Service. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות (יעד):

ההרשאות הנדרשות (יעד)

כדי לבצע העברות מהירות והומוגניות באמצעות Database Migration Service, נדרשות ההרשאות הבאות:

  • datamigration.*
  • alloydb.clusters.create
  • alloydb.clusters.get
  • alloydb.clusters.list
  • alloydb.clusters.update
  • alloydb.clusters.delete
  • alloydb.instances.create
  • alloydb.instances.get
  • alloydb.instances.list
  • alloydb.instances.update
  • alloydb.instances.delete
  • alloydb.instances.executeSql
  • alloydb.operations.get
  • alloydb.users.list
  • alloydb.users.get
  • alloydb.users.create
  • alloydb.users.update
  • alloydb.users.delete

הגדרת מסד הנתונים של המקור

כדי להגדיר את מסד הנתונים של PostgreSQL כמקור:

  1. יוצרים בחשבון משתמש ייעודי להעברה.
    • למקורות Cloud SQL ל-PostgreSQL, אפשר לעיין במאמר בנושא יצירת משתמש בתיעוד של Cloud SQL.
    • למקורות אחרים, אפשר לעיין במסמכי התיעוד של ספק מסד הנתונים או ליצור ולנהל משתמשים במסמכי התיעוד של PostgreSQL.
  2. מקצים את ההרשאות הנדרשות לחשבון המשתמש הייעודי להעברה. מריצים את הפקודות הבאות לכל מסד נתונים שרוצים להעביר: 
    -- Grant the REPLICATION attribute
ALTER ROLE MIGRATION_USER REPLICATION;

-- Grant database-level permissions.
-- Repeat for each database you want to migrate.
GRANT CONNECT, CREATE ON DATABASE DATABASE_NAME TO MIGRATION_USER;

-- Grant schema-level usage.
-- Repeat for each schema in each database you want to migrate.
GRANT USAGE ON SCHEMA SCHEMA_NAME TO MIGRATION_USER;

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫MIGRATION_USER עם השם של חשבון המשתמש להעברה.
    • ‫DATABASE_NAME בשם מסד הנתונים שרוצים להעביר.
    • ‫SCHEMA_NAME בשם הסכימה במסד הנתונים שרוצים להעביר.
  3. למשתמש בחשבון ההעברה צריכה להיות הרשאת גישה ברמת בעלים לטבלאות שמעבירים. כדי להעניק את רמת הגישה הזו, צריך לבצע אחת מהפעולות הבאות:
    • רק למקורות שאינם Cloud SQL ל-PostgreSQL: מקצים את SUPERUSER תפקיד PostgreSQL לחשבון ההעברה.
    • לכל המקורות: מוסיפים את חשבון המשתמש של ההעברה לקבוצת המשתמשים שבבעלותה הטבלאות. מריצים את הפקודה הבאה: 
      -- Grant table ownership.
GRANT TABLE_OWNER_GROUP_NAME TO MIGRATION_USER;

      מחליפים את מה שכתוב בשדות הבאים:

      • ‫TABLE_OWNER_GROUP_NAME עם שם קבוצת המשתמשים שהיא הבעלים של כל טבלה שרוצים להעביר.
      • ‫MIGRATION_USER עם השם של חשבון המשתמש להעברה.
  4. בטבלאות שאין להן מפתחות ראשיים: שירות Database Migration Service לא משכפל פעולות UPDATE או DELETE בטבלאות ללא מפתחות ראשיים במהלך השלב של סימון נתונים שהשתנו (CDC). אם רוצים לכלול פעולות כאלה בשכפול, צריך לשנות טבלאות ללא מפתחות ראשיים באמצעות REPLICA IDENTITY: 
    ALTER TABLE TABLE_NAME REPLICA IDENTITY FULL;
ALTER TABLE TABLE_NAME REPLICA IDENTITY USING INDEX INDEX_NAME;

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫TABLE_NAME הוא שם הטבלה שלא מוגדרים בה מפתחות ראשיים.
    • ‫INDEX_NAME הוא האינדקס הייחודי שיכול לעקוב אחרי שורות מטבלאות ללא מפתחות ראשיים.
  5. מגדירים את הגדרות השכפול באמצעות דגלים של מסד הנתונים.

    מקורות בניהול עצמי

    שמירת שינויים בדגלים של מסד הנתונים מחייבת הפעלה מחדש מלאה של מסד הנתונים. בדוגמאות הבאות נעשה שימוש בשאילתות SQL כדי לשנות ערכי דגלים. אם אתם לא יכולים להריץ שאילתות SQL ישירות, תוכלו לעיין במסמכי התיעוד של הספק כדי לקבל הוראות לשינוי הדגלים האלה.

    1. מגדירים את הפרמטר wal_level לערך logical. מריצים את הפקודה הבאה: 
      ALTER SYSTEM SET wal_level = 'logical';
    2. מגדירים את הפרמטר wal_sender_timeout לערך 0. הערך הזה משבית את מנגנון פסק הזמן שמשמש לסיום חיבורי רפליקציה לא פעילים. מריצים את הפקודה הבאה: 
      ALTER SYSTEM SET wal_sender_timeout = 0;
    3. מגדירים את המספר המקסימלי של משבצות שכפול באמצעות הפרמטר max_replication_slots. הפרמטר הזה צריך להיות לפחות כמספר מסדי הנתונים שמעבירים בכל משימת העברה, בתוספת כמה משבצות לסינכרון הטבלאות.

      לדוגמה, אם מעבירים 5 מסדי נתונים ונוצרו 2 משימות העברה עבור מופע המקור, מספר משבצות השכפול צריך להיות לפחות 5 * 2 = 10, ועוד מספר משבצות השכפול שכבר נמצאות בשימוש.

      כדי להגדיר את הפרמטר הזה, מריצים את הפקודה הבאה:

      ‫
      ALTER SYSTEM SET max_replication_slots = NUMBER_OF_SLOTS;
      כאשר NUMBER_OF_SLOTS מייצג את המספר המקסימלי של משבצות שכפול.
    4. מגדירים את הפרמטר max_wal_senders לערך שהוא לפחות זהה לערך של max_replication_slots, בתוספת מספר השולחים שכבר נמצאים בשימוש במופע.

      לדוגמה, אם הפרמטר max_replication_slots מוגדר לערך 10, ואתם כבר משתמשים ב-2 שולחים, מספר תהליכי השליחה של WAL שפועלים בו-זמנית יהיה 10 + 2 = 12.

      כדי להגדיר את הפרמטר הזה, מריצים את הפקודה הבאה:

      ‫
      ALTER SYSTEM SET max_wal_senders = NUMBER_OF_SENDERS;
      כאשר NUMBER_OF_SENDERS מייצג את מספר התהליכים של WAL sender שפועלים בו-זמנית.
    5. מגדירים את הערך של max_worker_processes למספר מסדי הנתונים שרוצים להעביר, ועוד מספר מסדי הנתונים של max_worker_processes שכבר נמצאים בשימוש במופע. כדי להגדיר את הפרמטר הזה, מריצים את הפקודה הבאה: 
      ALTER SYSTEM SET max_worker_processes = NUMBER_OF_PROCESSES;
      כאשר NUMBER_OF_PROCESSES מייצג את מספר מסדי הנתונים שיועברו.

    מקורות של Cloud SQL ל-PostgreSQL

    למקורות Cloud SQL, מגדירים את הדגלים של מסד הנתונים במסוף Google Cloud . כדי שההגדרה תיכנס לתוקף, צריך להפעיל מחדש את המופע אחרי שמשנים את הדגלים של מסד הנתונים. מידע נוסף על הגדרת דגלים של מסד נתונים ב-Cloud SQL זמין במאמר הגדרת דגלים של מסד נתונים במסמכי Cloud SQL.

    1. מגדירים את הדגל cloudsql.logical_decoding לערך on.
    2. מגדירים את הפרמטר wal_sender_timeout לערך 0. הערך הזה משבית את מנגנון פסק הזמן שמשמש לסיום חיבורי שכפול לא פעילים.
    3. מגדירים את המספר המקסימלי של משבצות שכפול באמצעות הפרמטר max_replication_slots. הערך של הפרמטר הזה צריך להיות לפחות כמספר מסדי הנתונים שמעבירים בכל משימת העברה, בתוספת כמה משבצות לגיבוי לסנכרון הטבלה.

      לדוגמה, אם מעבירים 5 מסדי נתונים ונוצרו 2 משימות העברה עבור מופע המקור, מספר משבצות השכפול צריך להיות לפחות 5 * 2 = 10, ועוד מספר משבצות השכפול שכבר נמצאות בשימוש.

    4. מגדירים את הפרמטר max_wal_senders לערך שהוא לפחות כמו max_replication_slots, בתוספת מספר השולחים שכבר נמצאים בשימוש במופע.

      לדוגמה, אם הפרמטר max_replication_slots מוגדר לערך 10, ואתם כבר משתמשים ב-2 שולחים, מספר תהליכי השליחה של WAL שפועלים בו-זמנית יהיה 10 + 2 = 12.

    5. מגדירים את max_worker_processes למספר שהוא לפחות מספר מסדי הנתונים שרוצים להעביר, ועוד מספר max_worker_processes שכבר נמצא בשימוש במופע.

יצירה והרצה של העברה מהירה

כשמשתמשים בהעברות מהירות, אפשר ליצור אשכול חדש של AlloyDB ל-PostgreSQL ולהעביר אליו את מסדי הנתונים, או להעביר מסדי נתונים לאשכול שכבר קיים.

העברות מהירות של אשכולות חדשים

כדי ליצור אשכול חדש של AlloyDB ל-PostgreSQL ולהעביר אליו את מסדי הנתונים באופן מיידי, פועלים לפי השלבים הבאים:

  1. עוברים לדף Clusters.

    מעבר אל Clusters

  2. לוחצים על יצירת אשכול > ממסד נתונים קיים.

    ייפתח טופס להעברה מהירה של Database Migration Service.

  3. בקטע Configure migration (הגדרת ההעברה), מבצעים את הפעולות הבאות:
    1. בתפריט אזור היעד, בוחרים את האזור של אשכול היעד של AlloyDB ל-PostgreSQL.
    2. בתיבה Migration prefix (קידומת להעברה), מזינים מחרוזת קריאה שתוסף לשמות של כל ישויות ההעברה שנוצרו להעברה מהירה: פרופילי חיבור, הגדרת קישוריות פרטית, רשת מצורפת ורשת המשנה שלה, ועבודת ההעברה.
    3. בתפריט סוג ההגדרה, בוחרים באחת מהאפשרויות הבאות:
      1. הגדרת קישוריות קיימת: בוחרים באפשרות הזו אם כבר יש קובץ מצורף לרשת והגדרת קישוריות פרטית שמשתמשת בשיטת הממשקים של Private Service Connect. האפשרות הזו מתאימה במיוחד אם השתמשתם בעבר בהעברות מהירות ואתם רוצים לעשות שימוש חוזר באותם משאבי רשת.
      2. הגדרת קישוריות חדשה: בוחרים באפשרות הזו כדי ליצור קובץ מצורף חדש לרשת ואת רשת המשנה של הקובץ המצורף לרשת ברשת ה-VPC של מסד הנתונים של המקור. הגדרת הקישוריות הפרטית תיצור באותו פרויקט כמו אשכול היעד.
      4. לוחצים על Continue.
  4. בקטע Connect source מבצעים את הפעולות הבאות:
    1. מזינים שם מארח או כתובת IP פרטית של מסד הנתונים של המקור. צריך שתהיה אפשרות להגיע לכתובת של מסד הנתונים של המקור מרשת ה-VPC של המקור.
    2. מזינים את היציאה שמשמשת לגישה למארח. יציאת ברירת המחדל של PostgreSQL היא 5432.
    3. מזינים את שם המשתמש והסיסמה של חשבון ההעברה הייעודי במסד הנתונים של המקור.
    4. בתפריט סוג ההצפנה, בוחרים אחת מהאפשרויות הבאות:
      • ללא: אם מסד הנתונים של המקור לא דורש חיבורים מוצפנים מסוג SSL/TLS.
      • נדרש: אם מסד הנתונים של המקור דורש חיבורים מוצפנים באמצעות SSL/TLS. האפשרות הזו לא דורשת אימות של אישורים.
    5. בתפריט Databases to migrate (מסדי נתונים להעברה), לוחצים על Customize (התאמה אישית). משתמשים בחלונית הצדדית כדי לבחור רק את מסדי הנתונים שרוצים להעביר ל-AlloyDB ל-PostgreSQL.
      6. לוחצים על Continue.
  5. בקטע Configure destination (הגדרת היעד), מבצעים את הפעולות הבאות:
    1. בתפריט סוג היעד של המופע, בוחרים באפשרות אשכול חדש.

      Database Migration Service משתמש בהגדרת ברירת המחדל של AlloyDB ל-PostgreSQL עבור אשכול חדש. לוחצים על התאמה אישית כדי לשנות את התכונות של האשכול, כמו סוג המכונה, הזמינות האזורית או הגדרות ההגנה על הנתונים. למידע נוסף על הגדרת אשכול, אפשר לעיין במאמר בנושא יצירה של אשכול ושל המופע הראשי שלו.

    2. בשדה סיסמה, מזינים סיסמה למשתמש האדמין שמוגדר כברירת מחדל postgresql. Database Migration Service מתחבר כמשתמש הזה כדי להעביר את הנתונים.
  6. לוחצים על התחלת ההעברה.

    שירות Database Migration Service יוצר עכשיו את משימת ההעברה ומתחיל את תהליך ההעברה. אתם יכולים לעקוב אחרי התקדמות ההעברה וגם אחרי תקינות אשכול היעד ב-AlloyDB ל-PostgreSQL. מידע נוסף זמין במאמר בנושא צפייה בפרטי האשכול.

העברות מהירות של אשכולות קיימים

כדי להעביר מסדי נתונים לאשכול קיים של AlloyDB ל-PostgreSQL, פועלים לפי השלבים הבאים:

  1. עוברים לדף Clusters.

    מעבר אל Clusters

  2. בוחרים את אשכול AlloyDB ל-PostgreSQL שאליו רוצים להעביר את מסדי הנתונים.
  3. בדף הפרטים של האשכול, לוחצים על העברת נתונים.
  4. בחלונית העברת נתונים, לוחצים על העברת מסד נתונים.

    ייפתח טופס להעברה מהירה של Database Migration Service.

  5. בקטע Configure migration (הגדרת ההעברה), מבצעים את הפעולות הבאות:
    1. בתפריט אזור היעד, בוחרים את האזור של אשכול היעד של AlloyDB ל-PostgreSQL.
    2. בתיבה Migration prefix (קידומת להעברה), מזינים מחרוזת קריאה שתוסף לשמות של כל ישויות ההעברה שנוצרו להעברה מהירה: פרופילי חיבור, הגדרת קישוריות פרטית, רשת מצורפת ורשת המשנה שלה, ועבודת ההעברה.
    3. בתפריט סוג ההגדרה, בוחרים באחת מהאפשרויות הבאות:
      1. הגדרת קישוריות קיימת: בוחרים באפשרות הזו אם כבר יש לכם קובץ מצורף עם הרשת והגדרת קישוריות פרטית שמשתמשת בממשקי Private Service Connect ברשת ה-VPC של מסד הנתונים של המקור. האפשרות הזו מתאימה במיוחד אם השתמשתם בעבר בהעברות מהירות ואתם רוצים להשתמש מחדש באותם משאבי רשת.
      2. New connectivity configuration (הגדרת קישוריות חדשה): בוחרים באפשרות הזו כדי ליצור צירוף רשת חדש, תת-רשת של צירוף רשת והגדרת קישוריות פרטית ברשת ה-VPC של מסד הנתונים של המקור.
      4. לוחצים על Continue.
  6. בקטע Connect source מבצעים את הפעולות הבאות:
    1. מזינים שם מארח או כתובת IP פרטית של מסד הנתונים של המקור. צריך שתהיה אפשרות להגיע לכתובת של מסד הנתונים של המקור מרשת ה-VPC של המקור.
    2. מזינים את היציאה שמשמשת לגישה למארח. יציאת ברירת המחדל של PostgreSQL היא 5432.
    3. מזינים את שם המשתמש והסיסמה של חשבון ההעברה הייעודי במסד הנתונים של המקור.
    4. בתפריט סוג ההצפנה, בוחרים אחת מהאפשרויות הבאות:
      • ללא: אם מסד הנתונים של המקור לא דורש חיבורים מוצפנים מסוג SSL/TLS.
      • נדרש: אם מסד הנתונים של המקור דורש חיבורים מוצפנים באמצעות SSL/TLS. האפשרות הזו לא דורשת אימות של אישורים.
    5. בתפריט Databases to migrate (מסדי נתונים להעברה), לוחצים על Customize (התאמה אישית). משתמשים בחלונית הצדדית כדי לבחור רק את מסדי הנתונים שרוצים להעביר ל-AlloyDB ל-PostgreSQL.
  7. לוחצים על התחלת ההעברה.

    שירות Database Migration Service יוצר עכשיו את משימת ההעברה ומתחיל את תהליך ההעברה. אתם יכולים לעקוב אחרי התקדמות ההעברה וגם אחרי תקינות אשכול היעד ב-AlloyDB ל-PostgreSQL. מידע נוסף זמין במאמר בנושא צפייה בפרטי האשכול.

סיום ההעברה

כשמחליטים להעביר את האפליקציה למכונת AlloyDB ל-PostgreSQL חדשה, צריך להשלים את ההעברה לפי השלבים הבאים:

  1. מפסיקים את כל פעולות הכתיבה במסד הנתונים של המקור. אתם יכולים להעביר אותם למצב קריאה בלבד כדי לשמור על הפונקציונליות התפעולית.
  2. קידום של עבודת ההעברה.
  3. אופציונלי: מאמתים את נתוני ההעברה כדי לוודא שהם מלאים.

המאמרים הבאים