הגדרת מסד נתונים של Cloud SQL ל-PostgreSQL ל-CDC

בדף הזה מוסבר איך להגדיר לכידת נתונים משתנים (CDC) כדי להזרים נתונים ממסד נתונים של Cloud SQL ל-PostgreSQL אל יעד נתמך, כמו BigQuery או Cloud Storage.

הפעלת שכפול לוגי

  1. עוברים אל Cloud SQL במסוף Google Cloud .

  2. פותחים את המכונה של Cloud SQL ולוחצים על EDIT (עריכה).

  3. עוברים לקטע דגלים.

  4. לוחצים על הוספת סימון.

  5. בוחרים את הדגל cloudsql.logical_decoding מהתפריט הנפתח.

  6. מגדירים את ערך הדגל ל-on.

  7. לוחצים על שמירה כדי לשמור את השינויים. כדי לעדכן את המופע עם השינויים, צריך להפעיל אותו מחדש.

  8. אחרי שמפעילים מחדש את המופע, מאשרים את השינויים בקטע Database flags (דגלים של מסד הנתונים) בדף Overview (סקירה כללית).

יצירה של אתר חדשות ושל משבצת שכפול

  1. מתחברים למסד הנתונים כמשתמש עם הרשאות מספיקות ליצירת משבצת שכפול. אם לא, מריצים את הפקודה הבאה:

    ALTER USER USER_NAME WITH REPLICATION;

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫USER_NAME: השם של המשתמש שרוצים לתת לו הרשאות שכפול.

  2. יוצרים אתר חדשות. מומלץ ליצור פרסום רק עבור הטבלאות שרוצים לשכפל. כך Datastream יכול לקרוא רק את הנתונים הרלוונטיים, והעומס על מסד הנתונים ועל Datastream יורד:

    CREATE PUBLICATION PUBLICATION_NAME
FOR TABLE SCHEMA1.TABLE1, SCHEMA2.TABLE2;

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫PUBLICATION_NAME: שם הפרסום. תצטרכו לספק את השם הזה כשתיצרו מקור נתונים באשף ליצירת מקורות נתונים ב-Datastream.
    • ‫SCHEMA: השם של הסכימה שמכילה את הטבלה.
    • ‫TABLE: השם של הטבלה שרוצים לשכפל.

    אפשר גם ליצור פרסום לכל הטבלאות במסד הנתונים. שימו לב: הגישה הזו מגדילה את העומס גם על מסד הנתונים של המקור וגם על Datastream:

    CREATE PUBLICATION PUBLICATION_NAME FOR ALL TABLES;

  3. יוצרים משבצת שכפול באמצעות פקודת ה-SQL הבאה: 

    SELECT PG_CREATE_LOGICAL_REPLICATION_SLOT('REPLICATION_SLOT_NAME', 'pgoutput');

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫REPLICATION_SLOT_NAME: השם של משבצת השכפול. תצטרכו לציין את השם הזה כשתיצרו מקור נתונים באשף ליצירת מקור נתונים של Datastream.

יצירת משתמש Datastream

  1. מתחברים למסד הנתונים באמצעות לקוח PostgreSQL.

  2. מזינים את הפקודה הבאה של PostgreSQL: 

    CREATE USER USER_NAME WITH REPLICATION LOGIN PASSWORD 'USER_PASSWORD';

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫USER_NAME: השם של משתמש Datastream שרוצים ליצור.
    • ‫USER_PASSWORD: סיסמת הכניסה של משתמש Datastream שרוצים ליצור.

  3. מעניקים למשתמש שיצרתם את ההרשאות הבאות:

    GRANT SELECT ON ALL TABLES IN SCHEMA SCHEMA_NAME TO USER_NAME;
GRANT USAGE ON SCHEMA SCHEMA_NAME TO USER_NAME;
ALTER DEFAULT PRIVILEGES IN SCHEMA SCHEMA_NAME
    GRANT SELECT ON TABLES TO USER_NAME;

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫SCHEMA_NAME: השם של הסכימה שרוצים לתת לה את ההרשאות.
    • ‫USER_NAME: המשתמש שרוצים להעניק לו את ההרשאות.

המאמרים הבאים