יצירת מקור נתונים של AlloyDB באמצעות התהליך האוטומטי

בדף הזה מוסבר איך ליצור זרם AlloyDB ל-PostgreSQL באמצעות תהליך ההגדרה האוטומטי.

ההגדרה האוטומטית של הזרם מפשטת את תהליך העברת הנתונים מאשכולות של AlloyDB ל-PostgreSQL ל-BigQuery, כי היא מצמצמת את מספר השלבים שצריך לבצע. התהליך מאפשר ליצור מקור נתונים ישירות מדף הסקירה הכללית של אשכול AlloyDB ל-PostgreSQL.

פריסת AlloyDB ל-PostgreSQL מורכבת מאשכול ראשי שמכיל מכונה ראשית. הוא יכול לכלול גם אשכולות משניים ומופעים משניים. ‫Datastream תמיד יוצר את הזרם מהמופע הראשי באשכול הראשי.

‫Datastream מאפשר אוטומציה של אבטחת חיבור ה-VPC בין הזרם לבין אשכול המקור, ויוצר הגדרות של מסד הנתונים ומשאבי חיבור של הזרם.

תוכנית בחינם

‫Datastream מאפשר לכם להזרים נתונים מ-AlloyDB ל-PostgreSQL ל-BigQuery באמצעות התוכנית בחינם, ומספק לכם עד 100GiB של סימון נתונים שהשתנו (CDC) בחינם בכל חודש. מידע נוסף זמין במאמר בנושא תמחור של Datastream.

לפני שמתחילים

  1. מפעילים את ממשקי ה-API של Datastream,‏ Network Connectivity ו-Compute Engine.
  2. כדאי לוודא שיש לכם את ההרשאות הנדרשות לניהול זהויות והרשאות גישה (IAM) כדי ליצור ולנהל משאבי Datastream. פרטים נוספים מופיעים בקטע הבא.
  3. יוצרים ומגדירים אשכול AlloyDB ל-PostgreSQL כמקור לשכפול. מידע נוסף זמין במאמר בנושא הגדרת מסד נתונים של AlloyDB ל-PostgreSQL ל-CDC.

  4. מומלץ להפעיל שכפול לוגי באשכול לפני שיוצרים את הזרם. אם לא מפעילים שכפול לוגי, Datastream מפעיל אותו בשבילכם, מה שגורם להפעלה מחדש של מופע המקור.

    מידע על הפעלת שכפול לוגי באשכול AlloyDB ל-PostgreSQL זמין במאמר הגדרת מסד נתונים של AlloyDB ל-PostgreSQL ל-CDC.

  5. מוודאים שבאשכול המקור מוגדרת גישה לשירותים פרטיים.

ההרשאות הנדרשות

כדי להשתמש בתהליך האוטומטי ליצירת זרם, אתם צריכים את התפקידים או ההרשאות הבאים בממשק של ניהול הזהויות והרשאות הגישה (IAM):

  • ‫serviceusage.services.enable, compute.networkAdmin כדי להפעיל את ממשקי ה-API הנדרשים ולבצע משימות של הגדרת הרשת.
  • ‫alloydb.admin למשימות של הגדרת אשכול ומופע.
  • ‫datastream.admin למשימות ניהול ש-Datastream מבצע בשמכם.

אם בוחרים להתאים אישית את הגדרות הסטרימינג, למשתמש עם הרשאות אדמין במסד הנתונים צריך להיות גם GRANTהרשאות לסכימה שרוצים לשכפל, וגם הרשאות נוספות למשימות ניהוליות ומבניות במסד הנתונים של המקור. מתחברים למסד הנתונים של המקור ומריצים את הפקודה הבאה:

  GRANT alloydbsuperuser TO "USER_NAME";
  ALTER ROLE "USER_NAME" CREATEROLE;
  GRANT SELECT on ALL TABLES IN SCHEMA "SCHEMA_NAME" to "USER_NAME" WITH GRANT OPTION;
  ALTER DEFAULT PRIVILEGES
  IN SCHEMA "SCHEMA_NAME"
  GRANT SELECT ON TABLES TO "USER_NAME" WITH GRANT OPTION;
  GRANT CREATE ON DATABASE "DATABASE_NAME" TO "USER_NAME";

טבלאות עתידיות

טבלאות עתידיות יתווספו אוטומטית לזרם רק אם הן נוצרו על ידי המשתמש שסיפקתם את פרטי החשבון שלו כדי לאמת במהלך התהליך האוטומטי. אם משתמש אחר ייצור טבלה בעתיד, הוא יצטרך להעניק במפורש למשתמש הקורא של Datastream SELECT הרשאה לטבלה.

יצירה והתחלה של השידור

כדי ליצור ולהתחיל שידור:

המסוף

  1. עוברים לדף הסקירה הכללית של אשכולות המקור של AlloyDB ל-PostgreSQL.

    מעבר אל AlloyDB ל-PostgreSQL

  2. לוחצים על האשכול הראשי שממנו רוצים להזרים נתונים.

  3. אפשר ליצור ולהתחיל את השידור באופן אוטומטי באחת מהדרכים הבאות:

    1. בדף פרטי האשכול, בקטע שכפול נתונים, לוחצים על הפעלת מקור נתונים.
    2. בקטע Integrations (שילובים), לוחצים על Start stream (התחלת הזרמה) בקטע Replicate data to BigQuery (שכפול נתונים ב-BigQuery).
    3. בכרטיסייה מרכז הבקרה, בקטע שילוב חלק עם Google Cloud מוצרים אחרים, לוחצים על שכפול נתונים אל BigQuery.

  4. נפתחת החלונית Start stream to replicate data (הפעלת הזרם לשכפול נתונים).

  5. בקטע הגדרות השידור, בודקים את הגדרות ברירת המחדל של השידור שיוצרים.

  6. כדי לשנות את מסד הנתונים של המקור, מרחיבים את התפריט הנפתח המתאים ובוחרים ערך אחר.

  7. אם אתם מוכנים ליצור ולהתחיל את השידור, לוחצים על התחלת השידור.

אם רוצים לשנות את הגדרות הסטרים, לוחצים על התאמה אישית.

התאמה אישית של הגדרות השידור

כשלוחצים על התאמה אישית, מופיע הדף התאמה אישית של הגדרות השידור. חשוב לוודא שיש לכם את ההרשאות הנדרשות כדי להתאים אישית את הגדרות הסטרימינג.

קדימה, מתחילים

  1. בדף תחילת העבודה, מזינים את השם של מקור הנתונים בשדה שם מקור הנתונים. השדה מזהה מקור נתונים מתמלא באופן אוטומטי.

  2. בקטע Provide the instance user account details (הזנת פרטי חשבון המשתמש במופע), בוחרים את שיטת האימות:

    • אימות מסד נתונים של IAM: האפשרות הזו זמינה אם למשתמש שלכם מוקצה זהות של גורם מרכזי לניהול זהויות והרשאות גישה (IAM). מידע נוסף זמין במאמר חשבונות משתמשים ב-IAM. אם בוחרים באפשרות הזו, צריך להעניק למשתמש באופן ידני את התפקיד alloydbsuperuser ואת ההרשאה CREATEROLE:

      1. במסוף Google Cloud , עוברים לדף אשכולות AlloyDB ל-PostgreSQL.

      מעבר אל AlloyDB ל-PostgreSQL

      1. בוחרים את אשכול AlloyDB ל-PostgreSQL.
      2. בתפריט הניווט, לוחצים על AlloyDB ל-PostgreSQL Studio ונכנסים לחשבון.
      3. בחלונית Explorer, מריצים את השאילתה הבאה עבור המשתמש:
    GRANT alloydbsuperuser TO "USER_NAME";
ALTER ROLE "USER_NAME" CREATEROLE;
    • אימות מובנה של מסד הנתונים: צריך לספק את שם המשתמש והסיסמה של משתמש עם התפקיד alloydbsuperuser. אם למשתמש אין את התפקיד alloydbsuperuser, פועלים לפי השלבים שמתוארים בקטע בנושא אימות מסד נתונים של IAM כדי להעניק לו את התפקיד באופן ידני. אם בוחרים באימות מובנה של מסד נתונים, צריך גם לוודא שלמשתמש יש הרשאות GRANT בטבלאות שהוא רוצה לשכפל.

  3. בודקים פרטים נוספים על הזרם, כמו אזור, הצפנה ותוויות. מרחיבים את הקטע פרטים נוספים על השידור כדי לבצע שינויים, אם צריך.

  4. לוחצים על Continue.

הגדרת המקור

  1. בדף Configure source (הגדרת מקור), בוחרים את מסד הנתונים שממנו רוצים לשכפל נתונים.

  2. ברשימה אובייקטים נבחרים, כל האובייקטים הזמינים נבחרים כברירת מחדל. האובייקטים ברשימה הם האובייקטים שיש לכם הרשאות נדרשות להעביר בסטרימינג. כדי לשנות את האובייקטים שנבחרו, משנים את הבחירות ברשימה.

  3. בדיקת הגדרות מתקדמות של הזרם, כמו מצב מילוי חוסרים ומספר החיבורים המקסימלי למילוי חוסרים במקביל. מרחיבים את הקטע Advanced stream configurations (הגדרות מתקדמות של הזרמת נתונים) כדי להחיל שינויים, אם נדרש.

  4. לוחצים על Continue.

הגדרת יעד

  1. בדף Configure destination, משנים את הגדרות היעד של BigQuery לפי הצורך. מידע נוסף זמין במאמר בנושא הגדרת פרטים על היעד של הזרם.

יצירה והתחלה של השידור

  1. לוחצים על Create and start (יצירה והפעלה) כדי ליצור את מקור הנתונים ולהפעיל אותו, או על Create without starting (יצירה ללא הפעלה) כדי ליצור את מקור הנתונים ולהפעיל אותו מאוחר יותר ב-Datastream.

  2. אתם מקבלים התראה על המשימות שמבוצעות בשבילכם באופן אוטומטי:

    • ‫Datastream יוצר את המשאבים הנדרשים בענן הווירטואלי הפרטי (VPC), כמו טווח כתובות IP פנימיות, רשת משנה וחיבור לרשת.
    • מקור הנתונים מגדיר טבלאות ל-CDC, מגדיר משבצות שכפול, מגדיר פרסום לכל הטבלאות במסד הנתונים ויוצר משתמש ייעודי של Datastream.
    • ‫Datastream יוצר הגדרת קישוריות פרטית ופרופילים של חיבור למקור וליעד.

  3. מאשרים שרוצים ליצור את השידור ולהתחיל אותו.

מעקב אחרי השידור

אפשר לעקוב אחרי פרטים בסיסיים של הזרם מדף הסקירה הכללית של מופע המקור ב Google Cloud מסוף. בדף מוצג מידע כמו סטטוס הזרם, שם הזרם, מערך הנתונים ביעד ב-BigQuery ומזהה פרויקט היעד.

בדף הסקירה הכללית אפשר גם לבצע פעולות כמו הפעלה או השהיה של השידור. כדי לראות מידע מפורט יותר על המעקב, לוחצים על שם הזרם כדי לנווט אל Datastream.

מחיקת השידור

כשמוחקים זרם שיצרתם באמצעות התהליך האוטומטי, חלק מהמשאבים, כמו משבצת השכפול של PostgreSQL, נמחקים באופן אוטומטי. עם זאת, יש משאבים שצריך למחוק באופן ידני:

  • אתר החדשות. הפרסום נוצר באמצעות משתמש אדמין במסד הנתונים, ורק הבעלים שלו יכול למחוק אותו. לכן, כברירת מחדל, המשתמש שיצר אותו.
  • משתמש הקריאה של Datastream.
  • פרופילים של חיבורי מקור ויעד ב-Datastream
  • משאבי הקישוריות הפרטית.
  • כל משאבי הרשת שנוצרו במהלך התהליך האוטומטי, כמו רשת המשנה והרשת המצורפת.

המאמרים הבאים