שינוי של מקור נתונים

אפשר לשנות את הפרטים הבאים של מקור נתונים:

• מידע כללי, כמו השם המוצג והתוויות של הזרם.

• פרטי ההגדרה של מסד הנתונים של המקור ושל היעד, כמו הטבלאות והסכימות במסד הנתונים של המקור ש-Datastream יעביר ליעד או שלא יעביר ליעד. ‫Datastream משתמש בפרטי ההגדרה האלה כדי להעביר את הנתונים הנכונים ממסד הנתונים של המקור ליעד.

  הערה: אי אפשר לשנות את סוג מסד הנתונים של המקור אחרי שיוצרים את המקור. כדי לשנות את סוג מסד הנתונים, צריך ליצור מקור נתונים חדש. מידע נוסף זמין במאמר בנושא יצירת מקור נתונים.

שינוי מידע ברמה גבוהה

1. נכנסים לדף Streams במסוף Google Cloud .

   מעבר לדף העדכונים

2. לוחצים על הזרם שרוצים לשנות.

3. בדף פרטי השידור, לוחצים על עריכה.

4. בתפריט שמופיע, בוחרים באפשרות עריכת הגדרות השידור.

5. משנים את השם לתצוגה או את התוויות של המקור.

   מידע נוסף על השם המוצג או התוויות של המקור לנתונים זמין במאמר הגדרת הגדרות למקור לנתונים.

6. אחרי שמבצעים את השינויים, לוחצים על שמירה.

שינוי פרטי ההגדרה של מסד הנתונים המקורי

1. נכנסים לדף Streams במסוף Google Cloud .

   מעבר לדף העדכונים

2. לוחצים על הזרם שרוצים לשנות.

3. בדף פרטי השידור, לוחצים על עריכה.

4. בתפריט שמופיע, בוחרים באפשרות עריכת הגדרות המקור.

5. בקטע Select objects to include, משתמשים בתפריט הנפתח Objects to include כדי לשנות את הטבלאות והסכימות במסד הנתונים של המקור ש-Datastream יעביר ליעד.

6. אפשר גם להרחיב את הצומת בחירת אובייקטים להחרגה. בשדה Objects to exclude (אובייקטים להחרגה), משנים את הטבלאות והסכימות במסד הנתונים של המקור שרוצים להגביל את ההעברה שלהם מ-Datastream ליעד. אם מוסיפים טבלאות לרשימה הזו, הן לא נמשכות יותר ליעד. עם זאת, הם לא מוסרים מהיעד.

   מידע נוסף על התפריט Objects to include או על השדה Objects to exclude זמין במאמר הגדרת מידע על מסד הנתונים של המקור לסטרימינג.

7. הערה: במקורות Oracle, אי אפשר לשנות את שיטת ה-CDC. עם זאת, אם בחרתם בסוג הגישה הזה לקובץ היומן, תוכלו לשנות את פרטי הספריות של מסד הנתונים.

8. אופציונלי: אפשר להרחיב את הצומת Choose backfill mode for historical data כדי לשנות את האופן שבו Datastream מבצע מילוי חוסרים (backfill) של נתונים היסטוריים, עדכניים ועתידיים מהמקור ליעד, או מעביר רק שינויים בנתונים האלה.

   • בוחרים באפשרות אוטומטי כדי להזרים את כל הנתונים הקיימים, בנוסף לשינויים בנתונים, מהמקור ליעד.

     אם בוחרים באפשרות הזו, בשדה Objects excluded from automatic backfill אפשר לשנות את הטבלאות והסכימות במסד הנתונים של המקור שרוצים למנוע מ-Datastream למלא מחדש בנתונים ביעד.

   • בוחרים באפשרות ידני כדי להזרים רק את השינויים בנתונים.

     מידע נוסף על הצומת Choose backfill mode for historical data זמין במאמר הגדרת מידע על מסד הנתונים של המקור עבור מקור הנתונים.

9. אחרי שמבצעים את השינויים, לוחצים על שמירה.

שינוי פרטי ההגדרה של היעד

1. נכנסים לדף Streams במסוף Google Cloud .

   מעבר לדף העדכונים

2. לוחצים על הזרם שרוצים לשנות.

3. בדף פרטי השידור, לוחצים על עריכה.

4. בתפריט שמופיע, בוחרים באפשרות עריכת הגדרות היעד.

5. בהתאם ליעד שבחרתם, משנים את ההגדרות הבאות לפי הצורך:

   יעדים ב-BigQuery:

   • בקטע הצפנה, משנים את סוג ההצפנה שרוצים להשתמש בו: Google-managed encryption key או מפתח של Cloud Key Management Service.
   • בקטע איזון בין עדכניות הנתונים לבין עלויות BigQuery, משנים את האפשרות מגבלת עדכניות.
   שימו לב: הגדרת מגבלת הטריות הנוכחית חלה רק על טבלאות חדשות ב-BigQuery שנוצרו על ידי Datastream. יכול להיות שלטבלאות שלכם תהיה מגבלת עדכניות שונה, בהתאם לתאריך שבו הן נוצרו. כדי לוודא שהגדרתם את מגבלת הטריות הנכונה בטבלאות הקיימות, מומלץ ליצור מחדש את הסטרים המתאים או לשנות כל טבלה באמצעות הצהרת ALTER TABLE.

   יעדים של טבלאות Apache Iceberg:

   • בקטע הצפנה, משנים את סוג ההצפנה שרוצים להשתמש בו: Google-managed encryption key או מפתח של Cloud Key Management Service.

   יעדים של Cloud Storage:

   • בשדה Stream path prefix (קידומת של נתיב מקור הנתונים), משנים את התיקייה של היעד שאליו Datastream יעביר סכימות, טבלאות ונתונים ממסד הנתונים של המקור.
     אם משנים את התיקייה, כל הקבצים החדשים ייכתבו בתיקייה החדשה. בנוסף, מידע נוסף על השדה קידומת של נתיב הזרם זמין במאמר הגדרת מידע על היעד של הזרם.
   • בתפריט פורמט פלט:
     • בוחרים את פורמט הקבצים שנכתבים ב-Cloud Storage. ‫Datastream תומך בשני פורמטים של פלט: Avro ו-JSON.
     • אם בוחרים בפורמט JSON, מסמנים או מבטלים את הסימון בתיבות הסימון Include a Unified Types schema file in the file path (הכללת קובץ סכימה של סוגים מאוחדים בנתיב הקובץ) ו-Enable gzip compression (הפעלת דחיסת gzip).
       מידע נוסף על תיבות הסימון האלה זמין במאמר הגדרת פרטים על היעד של הזרם.

6. לוחצים על שמירה כדי להחיל את השינויים ולהתחיל את השידור. כל שינוי שתבצעו במקורות נתונים פעילים יתעדכן אוטומטית על ידי Datastream.

המאמרים הבאים

• מידע נוסף על סטרימינג זמין במאמר בנושא מחזור החיים של סטרימינג.
• מידע נוסף על מעקב אחרי שידור זמין במאמר מעקב אחרי שידור.
• במאמר איך רואים את המידע על השידור מוסבר איך רואים את המידע על השידור.
• איך משחזרים סטרימינג שנכשל
• כאן מוסבר איך מוחקים זרם קיים.