יצירת שידור

בקטע הזה מוסבר איך ליצור זרם. ‫Datastream משתמש בזרם הזה כדי להעביר נתונים ממסד נתונים של Oracle,‏ MySQL,‏ SQL Server,‏ PostgreSQL או Spanner אל BigQuery או Cloud Storage.

יצירת מקור נתונים כוללת:

• הגדרת ההגדרות של השידור.
• בוחרים את פרופיל החיבור שיצרתם עבור Oracle, ‏ MySQL, ‏ SQL Server, ‏ PostgreSQL, ‏ Spanner, ‏ MongoDB או Salesforce או מקור (פרופיל חיבור המקור), או יוצרים פרופיל חיבור מקור אם עדיין לא יצרתם כזה.
• הגדרת מידע על מסד הנתונים של המקור עבור הזרם על ידי ציון הטבלאות והסכימות במסד הנתונים של המקור ש-Datastream:
  • אפשר להעביר את המספר ליעד.
  • מוגבלת מהעברה ליעד.

• האם Datastream יבצע מילוי חוזר של נתונים היסטוריים, וגם ישדר שינויים שוטפים ליעד, או ישדר רק שינויים בנתונים. כשמפעילים מילוי היסטורי, אפשר לציין סכימות וטבלאות במסד הנתונים של המקור ש-Datastream לא אמור למלא ביעד.

• בוחרים את פרופיל החיבור שיצרתם ל-BigQuery או ל-Cloud Storage (פרופיל החיבור ליעד), או יוצרים פרופיל חיבור ליעד אם לא יצרתם כזה.

• הגדרת פרטים על היעד של הנתונים. המידע כולל:

  • ל-BigQuery:
    • מערכי הנתונים שאליהם Datastream ישכפל סכימות, טבלאות ונתונים ממסד נתונים של מקור.
  • ל-Cloud Storage:
    • התיקייה בדלי היעד שאליה Datastream יעביר סכימות, טבלאות ונתונים ממסד נתונים של מקור.

• מבצעים אימות של הסטרימינג כדי לוודא שהוא יפעל בצורה תקינה. במהלך אימות של שידור נבדקים הדברים הבאים:

  • האם המקור מוגדר בצורה נכונה כדי לאפשר ל-Datastream להזרים ממנו נתונים.
  • האם אפשר לחבר את הזרם גם למקור וגם ליעד.
  • ההגדרה מקצה לקצה של מקור הנתונים.

מקור הנתונים מגיע עם אשף שעוזר ליצור מקור נתונים. האשף כולל שש חלוניות: Get started (תחילת העבודה), Define & test source (הגדרת מקור ובדיקתו), Configure source (הגדרת המקור), Define destination (הגדרת היעד), Configure destination (הגדרת היעד) ו-Review & create (בדיקה ויצירה). בקטעים השונים בדף הזה מוסבר איך לאכלס כל חלונית.

לפני שמתחילים

• מוודאים שהגדרתם את מסד הנתונים של המקור לשכפול. מידע על השלבים הנדרשים לכל סוג מקור נתמך זמין במאמר הגדרת מקורות.
• כאן אפשר לבדוק אילו שלבים נדרשים כדי להגדיר את היעד שבחרתם. מידע נוסף זמין במאמר בנושא הגדרת יעדים.

הגדרת ההגדרות של השידור

1. נכנסים לדף Streams במסוף Google Cloud .

   מעבר לדף העדכונים

2. לוחצים על יצירת מקור נתונים.

3. משתמשים בטבלה הבאה כדי למלא את השדות בקטע הגדרת פרטי עדכון התוכן בדף יצירת עדכון תוכן:

   שדה	תיאור
   שם מקור הנתונים	מזינים את השם המוצג של מקור הנתונים.
   מזהה מקור הנתונים	השדה הזה מאוכלס אוטומטית על ידי Datastream על סמך שם הסטרים שמזינים. אפשר להשאיר את המזהה שנוצר אוטומטית או לשנות אותו.
   אזור	בוחרים את האזור שבו הזרם מאוחסן. סטרימינג, כמו כל המשאבים, נשמר באזור. בחירת האזור לא משפיעה על האפשרות של הזרם להתחבר למסד הנתונים של המקור או ליעד, אבל היא יכולה להשפיע על הזמינות אם יש השבתה באזור. כדי לשפר את העלות והביצועים, מומלץ לשמור את כל המשאבים של הזרם באותו אזור שבו נמצאים נתוני המקור.
   סוג המקור	בוחרים את סוג הפרופיל שציינתם כשייצרתם פרופיל חיבור למקור Oracle, ‏ MySQL, ‏ SQL Server, ‏ PostgreSQL, ‏ Spanner, ‏ Salesforce או MongoDB. לחלופין, אם לא יצרתם פרופיל חיבור למסד הנתונים של המקור, אתם יכולים ליצור אותו עכשיו.
   סוג היעד	בוחרים את סוג הפרופיל שציינתם כשיצרתם פרופיל חיבור ליעד BigQuery או Cloud Storage. לחלופין, אם עדיין לא יצרתם פרופיל חיבור ליעד, אתם יכולים ליצור אותו עכשיו.
   הצפנה	כברירת מחדל, הנתונים שלכם מוצפנים באמצעות מפתח שמנוהל על ידי Google Cloud. אם רוצים לנהל את ההצפנה, אפשר להשתמש במפתח הצפנה בניהול הלקוח (CMEK): מסמנים את תיבת הסימון מפתח Cloud KMS. בתפריט הנפתח סוג מפתח, בוחרים באפשרות Cloud KMS ואז בוחרים את מפתח ה-CMEK. אם המפתח לא מופיע, לוחצים על ENTER KEY RESOURCE NAME (הזנת שם משאב של מפתח) כדי לספק את שם המשאב של המפתח שרוצים להשתמש בו. לדוגמה, אפשר להזין projects/my-project-name/locations/my-location/keyRings/my-keyring/cryptoKeys/my-key בשדה שם משאב המפתח ואז ללחוץ על שמירה. במסגרת יצירת הזרם, Datastream יוודא שמפתח ה-CMEK קיים ושיש ל-Datastream הרשאות להשתמש במפתח. מידע נוסף על יצירת CMEK או על מתן הרשאות ל-Datastream לגשת למפתח זמין במאמר שימוש במפתחות הצפנה בניהול הלקוח (CMEK).

4. אפשר גם להשתמש בתוויות כדי לארגן את המשאבים של Datastream.

   1. כדי ליצור תווית, לוחצים על הוספת תווית ומזינים את צמד המפתח/ערך של התווית.
   2. כדי להסיר את התווית, לוחצים על סמל פח האשפה משמאל לשורה שמכילה את התווית.
   הערה: אם המקור שלכם הוא SQL Server, אתם יכולים להגדיר את הזרם כך שישכפל עמודות שנוספו לסכימת המקור אחרי יצירת הזרם, על ידי הוספת התווית enable_ddl_support_for_ct. מידע נוסף זמין במאמר בנושא איך Datastream מטפל בשינויים ב-DDL בסכימת המקור.

5. אפשר גם להוסיף מדיניות התראות לזרם. מדיניות התראות מגדירה מתי ואיך רוצים לקבל התראות על כשלים בסטרימינג.

   1. כדי ליצור מדיניות התראות, לוחצים על הוספת מדיניות התראות.
   2. יופיע הדף Create alerting policy ב-Cloud Monitoring. בדף הזה מגדירים את מדיניות ההתראות למקרה שהסטרימינג ייכשל.

   מידע נוסף על מדיניות התראות זמין במאמר ניהול מדיניות התראות שמבוססת על מדדים.

6. בודקים את התנאים המוקדמים הנדרשים שנוצרים באופן אוטומטי כדי להבין איך צריך להכין את הסביבה לשידור. הדרישות המוקדמות האלה יכולות לכלול מידע על אופן ההגדרה של מסד הנתונים של המקור ועל אופן החיבור שלו ליעד. מומלץ להשלים את הדרישות המוקדמות האלה בשלב הזה, אבל אפשר להשלים אותן בכל שלב לפני שבודקים את הזרם או מתחילים אותו. מידע נוסף על הדרישות המוקדמות האלה זמין במאמר בנושא מקורות.

7. לוחצים על המשך. מופיעה החלונית הגדרת פרופיל חיבור בדף יצירת מקור נתונים של סוג מסד הנתונים של המקור.

   הערה: אם סוג מסד הנתונים של המקור הוא Oracle, שם החלונית הוא הגדרת פרופיל חיבור של Oracle. אם בוחרים מסד נתונים אחר כמקור, השם של מסד הנתונים הזה יופיע בשם של החלונית.

ציון מידע על פרופיל החיבור למקור

1. אם יצרתם פרופיל חיבור למקור ל-Oracle, ל-MySQL, ל-SQL Server, ל-PostgreSQL, ל-Spanner, ל-Salesforce או ל-MongoDB, בוחרים אותו מרשימת פרופילי החיבור.

   אם לא יצרתם פרופיל לחיבור מקור, תוכלו ליצור אותו בלחיצה על יצירת פרופיל לחיבור בתחתית הרשימה הנפתחת, ואז לבצע את אותם השלבים כמו ביצירת פרופילים לחיבור.

2. לוחצים על הפעלת בדיקה כדי לוודא שניתן ליצור תקשורת בין מסד הנתונים של המקור לבין Datastream.

   אם הבדיקה נכשלת, הבעיה שמשויכת לפרופיל החיבור מופיעה. בדף הזה מפורטים שלבים לפתרון בעיות. מבצעים את השינויים הנדרשים כדי לתקן את הבעיה, ואז בודקים שוב.

3. לוחצים על המשך. מופיעה החלונית Configure stream source בדף Create stream.

הגדרת מידע על מסד הנתונים של המקור עבור הזרם

הגדרת מסד נתונים של PostgreSQL כמקור

1. מגדירים את מאפייני השכפול למסד הנתונים של PostgreSQL. בקטע Replication properties (מאפייני שכפול), מציינים את המאפיינים הבאים:
1. בשדה Replication slot name (שם משבצת השכפול), מזינים את שם המשבצת שיצרתם במיוחד בשביל הזרם הזה. שרת מסד הנתונים משתמש במשבצת הזו כדי לשלוח אירועים ל-Datastream.
2. בשדה שם אתר החדשות, מזינים את שם אתר החדשות שיצרתם במסד הנתונים. פרסום הוא קבוצה של כל הטבלאות שרוצים לשכפל מהן שינויים באמצעות הזרם הזה.
2. בקטע Select objects to include (בחירת אובייקטים להכללה), משתמשים בתפריט הנפתח Objects to include (אובייקטים להכללה) כדי לציין את הטבלאות והסכימות במסד הנתונים של המקור ש-Datastream יכול להעביר ליעד.
אם במסד הנתונים יש יותר מ-5,000 אובייקטים, התפריט לא יטען את רשימת הטבלאות והסכימות.
• אם רוצים ש-Datastream יעביר את כל הטבלאות והסכימות, בוחרים באפשרות All tables from all schemas (כל הטבלאות מכל הסכימות).
• אם רוצים ש-Datastream יעביר רק טבלאות וסכימות ספציפיות, בוחרים באפשרות Specific schemas and tables (סכימות וטבלאות ספציפיות) ומסמנים את תיבות הסימון של הסכימות והטבלאות שרוצים ש-Datastream ישלוף.

לכל סכימה שבוחרים יש תיבת סימון Future tables (טבלאות עתידיות).

• אם תיבת הסימון הזו מסומנת, כל טבלה בסכימה שתוסיפו למקור אחרי יצירת הזרם תועבר ליעד באופן אוטומטי.
• אם לא מסמנים את תיבת הסימון הזו, אחרי שיוצרים את מקור הנתונים, Datastream לא מעביר טבלאות חדשות של הסכימה מהמקור ליעד.

כברירת מחדל, תיבת הסימון Future tables מסומנת לכל סכימה.

לכל טבלת סכימה שבוחרים, יש לחצן SELECT COLUMNS (בחירת עמודות). לוחצים על הלחצן הזה כדי לסנן עמודות בטבלה שרוצים להחריג מהזרמה ממקור ליעד. כל העמודות שמנקים מוחרגות מהעדכונים.

כברירת מחדל, תיבות הסימון של כל העמודות בטבלה מסומנות.

• אם רוצים לספק הגדרה טקסטואלית של הטבלאות והסכימות שרוצים ש-Datastream יעביר, בוחרים באפשרות Custom (מותאם אישית) ואז בשדה Object matching criteria (קריטריונים להתאמת אובייקטים) מזינים את הסכימות והטבלאות שרוצים ש-Datastream ישלוף. אם במסד הנתונים שלכם יש מספר גדול של טבלאות וסכימות, מומלץ להשתמש באפשרות Custom כי יכול להיות שחלק מהטבלאות והסכימות לא ייכללו ברשימת האובייקטים שיש לשלוף.

  מזינים סכימות וטבלאות כרשימה מופרדת בפסיקים, בפורמט [schema].[table], כאשר גם הסכימה וגם הטבלה יכולות להיות תו כללי (כוכבית). אי אפשר להשתמש בתווים כלליים חלקיים לחיפוש.

3. אם היעד הוא BigQuery, אפשר להגדיר חלוקה למחיצות ויצירת אשכולות לטבלאות:
   1. לכל טבלה שרוצים להגדיר עבורה חלוקה למחיצות או אשכולות, לוחצים על בחירת עמודות.
   2. כדי להגדיר חלוקה למחיצות, בקטע חלוקה למחיצות בוחרים באחת מהאפשרויות הבאות:
      • ללא חלוקה למחיצות: אם בוחרים באפשרות הזו, לא מתבצעת חלוקה למחיצות בטבלאות.
      • חלוקה למחיצות לפי זמן ההטמעה: כשבוחרים באפשרות הזו, הנתונים מאורגנים במחיצות לפי זמן. בוחרים ערך מהרשימה Partitioning type כדי להגדיר את רמת הפירוט של החלוקה למחיצות. האפשרויות הזמינות הן לפי שעה, יום, חודש או שנה. רמת הפירוט שמוגדרת כברירת מחדל היא 'יומית'.
      • Partitioning by field: כשבוחרים באפשרות הזו, צריך לבחור את עמודת המקור שלפיה רוצים לבצע את החלוקה למחיצות בטבלה, ואת סוג החלוקה למחיצות. אפשר לבחור רק עמודות מקור עם סוגי נתונים נתמכים. מידע על סוגי נתוני המקור הנתמכים וסוגי החלוקה הזמינים מופיע במאמר הגדרת חלוקה לאזורים ואשכולות ליעד ב-BigQuery.

      אפשר גם לבחור באפשרות Partitioning filter (מסנן חלוקה). אם בוחרים באפשרות הזו, נדרש מסנן מחיצה בכל השאילתות של הטבלה הזו. מסנן מחיצות יכול להפחית את העלות ולשפר את הביצועים. מידע נוסף זמין במאמר בנושא הגדרת דרישות לסינון מחיצות.

      אפשר להשתמש במסנני חלוקה למחיצות רק במצב כתיבה של הוספה בלבד.
   3. כדי להגדיר אשכולות, בקטע אשכולות, בוחרים את השדות שלפיהם רוצים לאשכול את הטבלה. אפשר לבחור עד ארבעה שדות. הסדר שבו מוסיפים את שדות האשכול קובע את סדר המיון של הנתונים. אם לא מציינים הגדרות אשכול לטבלה, Datastream משתמש כברירת מחדל בעד ארבעה מפתחות ראשיים מטבלת המקור כמפתחות האשכול ב-BigQuery.
   חלוקה למחיצות (partitioning) וסידור באשכולות חלים רק על טבלאות חדשות ב-BigQuery. אם רוצים להגדיר או לשנות הגדרות של חלוקה למחיצות ושל אשכולות בטבלה שכבר קיימת, צריך קודם למחוק אותה מ-BigQuery, ואז להגדיר או לשנות את ההגדרות שלה ב-Datastream.
   4. לוחצים על שמירה כדי לשמור את ההגדרות.

   מידע נוסף על חלוקה למחיצות ועל אשכולות זמין במאמר הגדרת חלוקה למחיצות ואשכולות.

4. אפשר גם להרחיב את הצומת בחירת אובייקטים להחרגה. בשדה Objects to exclude (אובייקטים להחרגה), מזינים את הטבלאות והסכימות במסד הנתונים של המקור שרוצים להגביל את השליפה שלהם על ידי Datastream. הרשימה אובייקטים להחרגה מקבלת עדיפות על פני הרשימה אובייקטים להכללה. אם אובייקט עומד בקריטריונים של רשימת ההכללה וגם של רשימת ההחרגה, הוא מוחרג מהזרם.
   אתם מגדירים את הסכימות והטבלאות האלה באמצעות אותה לוגיקה של ערכים מופרדים בפסיקים שבה אתם משתמשים כשאתם מציינים סכימות וטבלאות שאתם רוצים ש-Datastream ישלוף.
5. אופציונלי: מרחיבים את הצומת בחירת מצב מילוי חוסרים לנתונים היסטוריים ואז בוחרים באחת מהאפשרויות הבאות:
• בוחרים באפשרות אוטומטי כדי להזרים את כל הנתונים הקיימים, בנוסף לשינויים בנתונים, מהמקור ליעד. בשדה Objects excluded from automatic backfill (אובייקטים שמוחרגים ממילוי אוטומטי), מזינים את הטבלאות והסכימות במסד הנתונים של המקור שרוצים להגביל את Datastream כך שלא ימלא אותם באופן אוטומטי ביעד.
• בוחרים באפשרות ידני כדי להזרים רק את השינויים בנתונים אל היעד.
6. לוחצים על המשך. מופיע החלונית Define connection profile (הגדרת פרופיל חיבור) בדף Create stream (יצירת מקור נתונים) עבור סוג היעד.

הגדרה של מסד נתונים של MySQL כמקור

1. בקטע Select objects to include (בחירת אובייקטים להכללה), משתמשים בתפריט הנפתח Objects to include (אובייקטים להכללה) כדי לציין את הטבלאות והסכימות במסד הנתונים של המקור ש-Datastream יכול להעביר ליעד.
אם במסד הנתונים יש יותר מ-5,000 אובייקטים, התפריט לא יטען את רשימת הטבלאות והסכימות.
• אם רוצים ש-Datastream יעביר את כל הטבלאות והסכימות, בוחרים באפשרות All tables from all schemas (כל הטבלאות מכל הסכימות).
• אם רוצים ש-Datastream יעביר רק טבלאות וסכימות ספציפיות, בוחרים באפשרות Specific schemas and tables (סכימות וטבלאות ספציפיות) ומסמנים את תיבות הסימון של הסכימות והטבלאות שרוצים ש-Datastream ישלוף.

לכל סכימה שבוחרים יש תיבת סימון Future tables (טבלאות עתידיות).

• אם תיבת הסימון הזו מסומנת, כל טבלה בסכימה שתוסיפו למקור אחרי יצירת הזרם תועבר ליעד באופן אוטומטי.
• אם לא מסמנים את תיבת הסימון הזו, אחרי שיוצרים את מקור הנתונים, Datastream לא מעביר טבלאות חדשות של הסכימה מהמקור ליעד.

כברירת מחדל, תיבת הסימון Future tables מסומנת לכל סכימה.

לכל טבלת סכימה שבוחרים, יש לחצן SELECT COLUMNS (בחירת עמודות). לוחצים על הלחצן הזה כדי לסנן עמודות בטבלה שרוצים להחריג מהזרמה ממקור ליעד. כל העמודות שמנקים מוחרגות מהעדכונים.

כברירת מחדל, תיבות הסימון של כל העמודות בטבלה מסומנות.

• אם רוצים לספק הגדרה טקסטואלית של הטבלאות והסכימות שרוצים ש-Datastream יעביר, בוחרים באפשרות Custom (מותאם אישית) ואז בשדה Object matching criteria (קריטריונים להתאמת אובייקטים) מזינים את הסכימות והטבלאות שרוצים ש-Datastream ישלוף. אם במסד הנתונים שלכם יש מספר גדול של טבלאות וסכימות, מומלץ להשתמש באפשרות Custom כי יכול להיות שחלק מהטבלאות והסכימות לא ייכללו ברשימת האובייקטים שיש לשלוף.

  מזינים סכימות וטבלאות כרשימה מופרדת בפסיקים, בפורמט [schema].[table], כאשר גם הסכימה וגם הטבלה יכולות להיות תו כללי (כוכבית). אי אפשר להשתמש בתווים כלליים חלקיים לחיפוש.

2. אם היעד הוא BigQuery, אפשר להגדיר חלוקה למחיצות ויצירת אשכולות לטבלאות:
   1. לכל טבלה שרוצים להגדיר עבורה חלוקה למחיצות או אשכולות, לוחצים על בחירת עמודות.
   2. כדי להגדיר חלוקה למחיצות, בקטע חלוקה למחיצות בוחרים באחת מהאפשרויות הבאות:
      • ללא חלוקה למחיצות: אם בוחרים באפשרות הזו, לא מתבצעת חלוקה למחיצות בטבלאות.
      • חלוקה למחיצות לפי זמן ההטמעה: כשבוחרים באפשרות הזו, הנתונים מאורגנים במחיצות לפי זמן. בוחרים ערך מהרשימה Partitioning type כדי להגדיר את רמת הפירוט של החלוקה למחיצות. האפשרויות הזמינות הן לפי שעה, יום, חודש או שנה. רמת הפירוט שמוגדרת כברירת מחדל היא 'יומית'.
      • חלוקה למחיצות לפי שדה: כשבוחרים באפשרות הזו, צריך לבחור את עמודת המקור שלפיה רוצים לחלק את הטבלה למחיצות, ואת סוג החלוקה למחיצות. אפשר לבחור רק עמודות מקור עם סוגי נתונים נתמכים. מידע על סוגי נתוני המקור הנתמכים וסוגי החלוקה הזמינים מופיע במאמר הגדרת חלוקה לאזורים ואשכולות ליעד ב-BigQuery.

      אפשר גם לבחור באפשרות Partitioning filter (מסנן חלוקה). אם בוחרים באפשרות הזו, נדרש מסנן מחיצה בכל השאילתות של הטבלה הזו. מסנן מחיצות יכול להפחית את העלות ולשפר את הביצועים. מידע נוסף זמין במאמר בנושא הגדרת דרישות לסינון מחיצות.

      אפשר להשתמש במסנני חלוקה למחיצות רק במצב כתיבה של הוספה בלבד.
   3. כדי להגדיר אשכולות, בקטע אשכולות, בוחרים את השדות שלפיהם רוצים לאשכול את הטבלה. אפשר לבחור עד ארבעה שדות. הסדר שבו מוסיפים את שדות האשכול קובע את סדר המיון של הנתונים. אם לא מציינים הגדרות אשכול לטבלה, Datastream משתמש כברירת מחדל בעד ארבעה מפתחות ראשיים מטבלת המקור כמפתחות האשכול ב-BigQuery.
   חלוקה למחיצות (partitioning) וסידור באשכולות חלים רק על טבלאות חדשות ב-BigQuery. אם רוצים להגדיר או לשנות הגדרות של חלוקה למחיצות ושל אשכולות בטבלה שכבר קיימת, צריך קודם למחוק אותה מ-BigQuery, ואז להגדיר או לשנות את ההגדרות שלה ב-Datastream.
   4. לוחצים על שמירה כדי לשמור את ההגדרות.

   מידע נוסף על חלוקה למחיצות ועל אשכולות זמין במאמר הגדרת חלוקה למחיצות ואשכולות.

3. אפשר גם להרחיב את הצומת בחירת אובייקטים להחרגה. בשדה Objects to exclude (אובייקטים להחרגה), מזינים את הטבלאות והסכימות במסד הנתונים של המקור שרוצים למנוע מ-Datastream לשלוף. הרשימה אובייקטים להחרגה מקבלת עדיפות על פני הרשימה אובייקטים להכללה. אם אובייקט עומד בקריטריונים של רשימת ההכללה וגם של רשימת ההחרגה, הוא מוחרג מהזרם.
   אתם מגדירים את הסכימות והטבלאות האלה באמצעות אותה לוגיקה של ערכים מופרדים בפסיקים שבה אתם משתמשים כשאתם מציינים סכימות וטבלאות שאתם רוצים ש-Datastream ישלוף.
4. מציינים את שיטת ה-CDC של מקור הנתונים:
• שכפול מבוסס GTID (מזהי טרנזקציות גלובליים): בוחרים בשיטה הזו אם רוצים ש-Datastream יתמוך במעבר לגיבוי ויספק שכפול חלק ללא קשר לשינויים באשכול מסד הנתונים.
• שכפול מבוסס-Binlog: בוחרים בשיטה הזו כדי לקרוא ולשכפל שינויים ישירות מקובצי ה-Binlog של מופע מסד נתונים נבחר. אי אפשר להעביר סטרימינג פעיל למופע מקור אחר או לשכפול באמצעות שיטת ה-CDC הזו.
5. אופציונלי: מרחיבים את הצומת בחירת מצב מילוי חוסרים לנתונים היסטוריים ואז בוחרים באחת מהאפשרויות הבאות:
• בוחרים באפשרות אוטומטי כדי להזרים את כל הנתונים הקיימים, בנוסף לשינויים בנתונים, מהמקור ליעד. בשדה Objects excluded from automatic backfill (אובייקטים שמוחרגים ממילוי אוטומטי), מזינים את הטבלאות והסכימות במסד הנתונים של המקור שרוצים להגביל את Datastream כך שלא ימלא אותם באופן אוטומטי ביעד.
• בוחרים באפשרות ידני כדי להזרים רק את השינויים בנתונים אל היעד.
6. לוחצים על המשך. מופיע החלונית Define connection profile (הגדרת פרופיל חיבור) בדף Create stream (יצירת מקור נתונים) עבור סוג היעד.

הגדרת מסד נתונים של Oracle כמקור

1. בקטע Select objects to include (בחירת אובייקטים להכללה), משתמשים בתפריט הנפתח Objects to include (אובייקטים להכללה) כדי לציין את הטבלאות והסכימות במסד הנתונים של המקור ש-Datastream יכול להעביר ליעד.
אם במסד הנתונים יש יותר מ-5,000 אובייקטים, התפריט לא יטען את רשימת הטבלאות והסכימות.
• אם רוצים ש-Datastream יעביר את כל הטבלאות והסכימות, בוחרים באפשרות All tables from all schemas (כל הטבלאות מכל הסכימות).
• אם רוצים ש-Datastream יעביר רק טבלאות וסכימות ספציפיות, בוחרים באפשרות Specific schemas and tables (סכימות וטבלאות ספציפיות) ומסמנים את תיבות הסימון של הסכימות והטבלאות שרוצים ש-Datastream ישלוף.

לכל סכימה שבוחרים יש תיבת סימון Future tables (טבלאות עתידיות).

• אם תיבת הסימון הזו מסומנת, כל טבלה בסכימה שתוסיפו למקור אחרי יצירת הזרם תועבר ליעד באופן אוטומטי.
• אם לא מסמנים את תיבת הסימון הזו, אחרי שיוצרים את מקור הנתונים, Datastream לא מעביר טבלאות חדשות של הסכימה מהמקור ליעד.

כברירת מחדל, תיבת הסימון Future tables מסומנת לכל סכימה.

לכל טבלת סכימה שבוחרים, יש לחצן SELECT COLUMNS (בחירת עמודות). לוחצים על הלחצן הזה כדי לסנן עמודות בטבלה שרוצים להחריג מהזרמה ממקור ליעד. כל העמודות שמנקים מוחרגות מהעדכונים.

כברירת מחדל, תיבות הסימון של כל העמודות בטבלה מסומנות.

• אם רוצים לספק הגדרה טקסטואלית של הטבלאות והסכימות שרוצים ש-Datastream יעביר, בוחרים באפשרות Custom (מותאם אישית) ואז בשדה Object matching criteria (קריטריונים להתאמת אובייקטים) מזינים את הסכימות והטבלאות שרוצים ש-Datastream ישלוף. אם במסד הנתונים שלכם יש מספר גדול של טבלאות וסכימות, מומלץ להשתמש באפשרות Custom כי יכול להיות שחלק מהטבלאות והסכימות לא ייכללו ברשימת האובייקטים שיש לשלוף.

  מזינים סכימות וטבלאות כרשימה מופרדת בפסיקים, בפורמט [schema].[table], כאשר גם הסכימה וגם הטבלה יכולות להיות תו כללי (כוכבית). אי אפשר להשתמש בתווים כלליים חלקיים לחיפוש. אלא אם צוין במפורש, הסכימות והטבלאות המוגדרות מראש של Oracle לא נמשכות אל היעד.

2. אם היעד הוא BigQuery, אתם יכולים להגדיר חלוקה למחיצות וסידור באשכולות לטבלאות:
   1. לכל טבלה שרוצים להגדיר עבורה חלוקה למחיצות או אשכולות, לוחצים על בחירת עמודות.
   2. כדי להגדיר חלוקה למחיצות, בקטע חלוקה למחיצות בוחרים באחת מהאפשרויות הבאות:
      • ללא חלוקה למחיצות: אם בוחרים באפשרות הזו, לא מתבצעת חלוקה למחיצות בטבלאות.
      • חלוקה למחיצות לפי זמן ההטמעה: כשבוחרים באפשרות הזו, הנתונים מאורגנים במחיצות לפי זמן. בוחרים ערך מהרשימה Partitioning type כדי להגדיר את רמת הפירוט של החלוקה למחיצות. האפשרויות הזמינות הן לפי שעה, יום, חודש או שנה. רמת הפירוט שמוגדרת כברירת מחדל היא 'יומית'.
      • חלוקה למחיצות לפי שדה: כשבוחרים באפשרות הזו, צריך לבחור את עמודת המקור שלפיה רוצים לחלק את הטבלה למחיצות, ואת סוג החלוקה למחיצות. אפשר לבחור רק עמודות מקור עם סוגי נתונים נתמכים. מידע על סוגי נתוני המקור הנתמכים וסוגי החלוקה הזמינים מופיע במאמר הגדרת חלוקה לאזורים ואשכולות ליעד ב-BigQuery.

      אפשר גם לבחור באפשרות Partitioning filter (מסנן חלוקה). אם בוחרים באפשרות הזו, נדרש מסנן מחיצה בכל השאילתות של הטבלה הזו. מסנן מחיצות יכול להפחית את העלות ולשפר את הביצועים. מידע נוסף זמין במאמר בנושא הגדרת דרישות לסינון מחיצות.

      אפשר להשתמש במסנני חלוקה למחיצות רק במצב כתיבה של הוספה בלבד.
   3. כדי להגדיר אשכולות, בקטע אשכולות, בוחרים את השדות שלפיהם רוצים לאשכול את הטבלה. אפשר לבחור עד ארבעה שדות. הסדר שבו מוסיפים את שדות האשכול קובע את סדר המיון של הנתונים. אם לא מציינים הגדרות אשכול לטבלה, Datastream משתמש כברירת מחדל בעד ארבעה מפתחות ראשיים מטבלת המקור כמפתחות האשכול ב-BigQuery.
   חלוקה למחיצות (partitioning) וסידור באשכולות חלים רק על טבלאות חדשות ב-BigQuery. אם רוצים להגדיר או לשנות הגדרות של חלוקה למחיצות ושל אשכולות בטבלה שכבר קיימת, צריך קודם למחוק אותה מ-BigQuery, ואז להגדיר או לשנות את ההגדרות שלה ב-Datastream.
   4. לוחצים על שמירה כדי לשמור את ההגדרות.

   מידע נוסף על חלוקה למחיצות ועל אשכולות זמין במאמר הגדרת חלוקה למחיצות ואשכולות.

3. אפשר גם להרחיב את הצומת בחירת אובייקטים להחרגה. בשדה Objects to exclude (אובייקטים להחרגה), מזינים את הטבלאות והסכימות במסד הנתונים של המקור שרוצים להגביל את השליפה שלהם על ידי Datastream. הרשימה אובייקטים להחרגה מקבלת עדיפות על פני הרשימה אובייקטים להכללה. אם אובייקט עומד בקריטריונים של רשימת ההכללה וגם של רשימת ההחרגה, הוא מוחרג מהזרם.
   אתם מגדירים את הסכימות והטבלאות האלה באמצעות אותה לוגיקה של ערכים מופרדים בפסיקים שבה אתם משתמשים כשאתם מציינים סכימות וטבלאות שאתם רוצים ש-Datastream ישלוף.
4. מציינים את שיטת ה-CDC של מקור הנתונים:
• ‫LogMiner: בוחרים בשיטה הזו כדי להריץ שאילתות על יומני ביצוע מחדש בארכיון באמצעות LogMiner API. ‫LogMiner תומך ברוב האפשרויות שזמינות ל-Oracle, כמו אפשרויות הצפנה ודחיסה.
• Binary reader (תצוגה מקדימה): בוחרים בשיטה הזו כדי לחלץ שינויים ישירות מיומני Oracle. כך אפשר לבצע רפליקציה מהירה יותר של מסדי נתונים גדולים של Oracle, ולקצר את זמן האחזור ואת התקורה. כשבוחרים באפשרות הזו, מוצג תפריט נפתח נוסף. בוחרים את הדרך שבה רוצים לגשת לקובצי היומן של Oracle:
• ‫ניהול אחסון אוטומטי (ASM): בוחרים באפשרות הזו אם מסד הנתונים משתמש ב-ASM. מוודאים שסימנתם את התיבה Enable ASM access for binary reader (הפעלת גישה ל-ASM עבור קורא בינארי) ומילאתם את הפרטים של מופע ה-ASM בפרופיל חיבור המקור.
• ספריות מסד נתונים: בוחרים באפשרות הזו אם לא משתמשים ב-ASM לאחסון קובצי היומן. אם בוחרים בספריות של מסדי נתונים, צריך לספק את השמות של יומן Redo ושל ספריית היומנים שנשמרו בארכיון.
5. אופציונלי: מרחיבים את הצומת בחירת מצב מילוי חוסרים לנתונים היסטוריים ואז בוחרים באחת מהאפשרויות הבאות:
• בוחרים באפשרות אוטומטי כדי להזרים את כל הנתונים הקיימים, בנוסף לשינויים בנתונים, מהמקור ליעד. בשדה Objects excluded from automatic backfill (אובייקטים שמוחרגים ממילוי אוטומטי), מזינים את הטבלאות והסכימות במסד הנתונים של המקור שרוצים להגביל את Datastream כך שלא ימלא אותם באופן אוטומטי ביעד.
• בוחרים באפשרות ידני כדי להזרים רק את השינויים בנתונים אל היעד.
6. לוחצים על המשך. מופיע החלונית Define connection profile (הגדרת פרופיל חיבור) בדף Create stream (יצירת מקור נתונים) עבור סוג היעד.

הגדרת מסד נתונים של SQL Server כמקור

1. בקטע Select objects to include (בחירת אובייקטים להכללה), משתמשים בתפריט הנפתח Objects to include (אובייקטים להכללה) כדי לציין את הטבלאות והסכימות במסד הנתונים של המקור ש-Datastream יכול להעביר ליעד.
אם במסד הנתונים יש יותר מ-5,000 אובייקטים, התפריט לא יטען את רשימת הטבלאות והסכימות.
• אם רוצים ש-Datastream יעביר את כל הטבלאות והסכימות, בוחרים באפשרות All tables from all schemas (כל הטבלאות מכל הסכימות).
• אם רוצים ש-Datastream יעביר רק טבלאות וסכימות ספציפיות, בוחרים באפשרות Specific schemas and tables (סכימות וטבלאות ספציפיות) ומסמנים את תיבות הסימון של הסכימות והטבלאות שרוצים ש-Datastream ישלוף.

לכל סכימה שבוחרים יש תיבת סימון Future tables (טבלאות עתידיות).

• אם תיבת הסימון הזו מסומנת, כל טבלה בסכימה שתוסיפו למקור אחרי יצירת הזרם תועבר ליעד באופן אוטומטי.
• אם לא מסמנים את תיבת הסימון הזו, אחרי שיוצרים את מקור הנתונים, Datastream לא מעביר טבלאות חדשות של הסכימה מהמקור ליעד.

כברירת מחדל, תיבת הסימון Future tables מסומנת לכל סכימה.

לכל טבלת סכימה שבוחרים, יש לחצן SELECT COLUMNS (בחירת עמודות). לוחצים על הלחצן הזה כדי לסנן עמודות בטבלה שרוצים להחריג מהזרמה ממקור ליעד. כל העמודות שמנקים מוחרגות מהעדכונים.

כברירת מחדל, תיבות הסימון של כל העמודות בטבלה מסומנות.

• אם רוצים לספק הגדרה טקסטואלית של הטבלאות והסכימות שרוצים ש-Datastream יעביר, בוחרים באפשרות Custom (מותאם אישית) ואז בשדה Object matching criteria (קריטריונים להתאמת אובייקטים) מזינים את הסכימות והטבלאות שרוצים ש-Datastream ישלוף. אם במסד הנתונים שלכם יש מספר גדול של טבלאות וסכימות, מומלץ להשתמש באפשרות Custom כי יכול להיות שחלק מהטבלאות והסכימות לא ייכללו ברשימת האובייקטים שיש לשלוף.

  מזינים סכימות וטבלאות כרשימה מופרדת בפסיקים, בפורמט [schema].[table], כאשר גם הסכימה וגם הטבלה יכולות להיות תו כללי (כוכבית). אי אפשר להשתמש בתווים כלליים חלקיים לחיפוש.

2. אם היעד הוא BigQuery, אפשר להגדיר חלוקה למחיצות ויצירת אשכולות לטבלאות:
   1. לכל טבלה שרוצים להגדיר עבורה חלוקה למחיצות או אשכולות, לוחצים על בחירת עמודות.
   2. כדי להגדיר חלוקה למחיצות, בקטע חלוקה למחיצות בוחרים באחת מהאפשרויות הבאות:
      • ללא חלוקה למחיצות: אם בוחרים באפשרות הזו, לא מתבצעת חלוקה למחיצות בטבלאות.
      • חלוקה למחיצות לפי זמן ההטמעה: כשבוחרים באפשרות הזו, הנתונים מאורגנים במחיצות לפי זמן. בוחרים ערך מהרשימה Partitioning type כדי להגדיר את רמת הפירוט של החלוקה למחיצות. האפשרויות הזמינות הן לפי שעה, יום, חודש או שנה. רמת הפירוט שמוגדרת כברירת מחדל היא 'יומית'.
      • Partitioning by field: כשבוחרים באפשרות הזו, צריך לבחור את עמודת המקור שלפיה רוצים לבצע את החלוקה למחיצות בטבלה, ואת סוג החלוקה למחיצות. אפשר לבחור רק עמודות מקור עם סוגי נתונים נתמכים. מידע על סוגי נתוני המקור הנתמכים וסוגי החלוקה הזמינים מופיע במאמר הגדרת חלוקה לאזורים ואשכולות ליעד ב-BigQuery.

      אפשר גם לבחור באפשרות Partitioning filter (מסנן חלוקה). אם בוחרים באפשרות הזו, נדרש מסנן מחיצה בכל השאילתות של הטבלה הזו. מסנן מחיצות יכול להפחית את העלות ולשפר את הביצועים. מידע נוסף זמין במאמר בנושא הגדרת דרישות לסינון מחיצות.

      אפשר להשתמש במסנני חלוקה למחיצות רק במצב כתיבה של הוספה בלבד.
   3. כדי להגדיר אשכולות, בקטע אשכולות, בוחרים את השדות שלפיהם רוצים לאשכול את הטבלה. אפשר לבחור עד ארבעה שדות. הסדר שבו מוסיפים את שדות האשכול קובע את סדר המיון של הנתונים. אם לא מציינים הגדרות אשכול לטבלה, Datastream משתמש כברירת מחדל בעד ארבעה מפתחות ראשיים מטבלת המקור כמפתחות האשכול ב-BigQuery.
   חלוקה למחיצות (partitioning) וסידור באשכולות חלים רק על טבלאות חדשות ב-BigQuery. אם רוצים להגדיר או לשנות הגדרות של חלוקה למחיצות ושל אשכולות בטבלה שכבר קיימת, צריך קודם למחוק אותה מ-BigQuery, ואז להגדיר או לשנות את ההגדרות שלה ב-Datastream.
   4. לוחצים על שמירה כדי לשמור את ההגדרות.

   מידע נוסף על חלוקה למחיצות ועל אשכולות זמין במאמר הגדרת חלוקה למחיצות ואשכולות.

3. אפשר גם להרחיב את הצומת בחירת אובייקטים להחרגה. בשדה Objects to exclude (אובייקטים להחרגה), מזינים את הטבלאות והסכימות במסד הנתונים של המקור שרוצים להגביל את השליפה שלהם על ידי Datastream. הרשימה אובייקטים להחרגה מקבלת עדיפות על פני הרשימה אובייקטים להכללה. אם אובייקט עומד בקריטריונים של רשימת ההכללה וגם של רשימת ההחרגה, הוא מוחרג מהזרם.
   אתם מגדירים את הסכימות והטבלאות האלה באמצעות אותה לוגיקה של ערכים מופרדים בפסיקים שבה אתם משתמשים כשאתם מציינים סכימות וטבלאות שאתם רוצים ש-Datastream ישלוף.
4. מציינים את שיטת ה-CDC של מקור הנתונים:
• יומני עסקאות: בוחרים בשיטה הזו כדי לעבד שינויים ישירות מיומני מסד הנתונים. השיטה הזו מספקת את הביצועים הכי טובים והיא יעילה יותר, אבל נדרשים בה שלבי הגדרה נוספים.
• שינוי טבלאות: בוחרים בשיטה הזו כדי לעבד שינויים מטבלאות שינויים ייעודיות. השיטה הזו קלה יותר להגדרה ויש לה פחות מגבלות, אבל היא תומכת בנפח נתונים נמוך יותר ומייצרת עומס גבוה יותר על מסד הנתונים שלכם בהשוואה לשיטה של יומני העסקאות.
5. אופציונלי: מרחיבים את הצומת בחירת מצב מילוי חוסרים לנתונים היסטוריים ואז בוחרים באחת מהאפשרויות הבאות:
• בוחרים באפשרות אוטומטי כדי להזרים את כל הנתונים הקיימים, בנוסף לשינויים בנתונים, מהמקור ליעד. בשדה Objects excluded from automatic backfill (אובייקטים שמוחרגים ממילוי אוטומטי), מזינים את הטבלאות והסכימות במסד הנתונים של המקור שרוצים להגביל את Datastream כך שלא ימלא אותם באופן אוטומטי ביעד.
• בוחרים באפשרות ידני כדי להזרים רק את השינויים בנתונים אל היעד.
6. לוחצים על המשך. מופיע החלונית Define connection profile (הגדרת פרופיל חיבור) בדף Create stream (יצירת מקור נתונים) עבור סוג היעד.

הגדרת ארגון Salesforce כמקור

1. בקטע Select objects to include (בחירת אובייקטים להכללה), משתמשים בתפריט הנפתח Objects to include (אובייקטים להכללה) כדי לציין את האובייקטים והשדות בארגון שרוצים ש-Datastream יעביר ליעד.
אם יש יותר מ-5,000 אובייקטים, התפריט לא יטען את הרשימה.
• אם רוצים ש-Datastream יעביר את כל האובייקטים, בוחרים באפשרות All objects (כל האובייקטים).
• אם רוצים ש-Datastream יעביר רק אובייקטים ספציפיים, בוחרים באפשרות אובייקטים ספציפיים ומסמנים את תיבות הסימון של האובייקטים שרוצים ש-Datastream ישלוף.

לכל אובייקט שתבחרו, יופיע לחצן Select fields (בחירת שדות). לוחצים על הלחצן הזה כדי לסנן שדות של האובייקט שרוצים להחריג מהזרמת הנתונים ממקור ליעד. כל השדות שתנקו יוחרגו מהפיד.

כברירת מחדל, תיבות הסימון של כל השדות באובייקט מסומנות.

• אם רוצים לספק הגדרה טקסטואלית של האובייקטים שרוצים ש-Datastream יעביר, בוחרים באפשרות Custom (מותאם אישית) ואז בשדה Object matching criteria (קריטריונים להתאמת אובייקטים) מזינים את האובייקטים שרוצים ש-Datastream ישלוף. מזינים את האובייקטים כרשימה מופרדת בפסיקים, בפורמט [object].[field]. אם במסד הנתונים שלכם יש מספר גדול של אובייקטים, מומלץ להשתמש באפשרות Custom כי יכול להיות שחלק מהטבלאות והסכימות לא ייכללו ברשימת האובייקטים שאפשר לשלוף.
2. מגדירים את הערך של מרווח הזמן בין בדיקות הזמינות בדקות. מערכת Datastream משתמשת בערך הזה כדי לבדוק אם יש שינויים בנתונים בארגון Salesforce. ככל שהערך גבוה יותר, כך העלות והעומס על הארגון נמוכים יותר. ככל שהערך נמוך יותר, כך הנתונים ביעד עדכניים יותר.
3. אם היעד הוא BigQuery, אפשר להגדיר חלוקה למחיצות וסידור באשכולות לאובייקטים:
   1. לכל אובייקט שרוצים להגדיר עבורו חלוקה למחיצות או אשכולות, לוחצים על בחירת שדות.
   2. כדי להגדיר חלוקה למחיצות, בקטע חלוקה למחיצות בוחרים באחת מהאפשרויות הבאות:
      • ללא חלוקה למחיצות: כשבוחרים באפשרות הזו, לא מתבצעת חלוקה למחיצות באובייקטים.
      • חלוקה למחיצות לפי זמן ההטמעה: כשבוחרים באפשרות הזו, הנתונים מאורגנים במחיצות לפי זמן. בוחרים ערך מהרשימה Partitioning type כדי להגדיר את רמת הפירוט של החלוקה למחיצות. האפשרויות הזמינות הן לפי שעה, יום, חודש או שנה. רמת הפירוט שמוגדרת כברירת מחדל היא 'יומית'.
      • Partitioning by field (חלוקה למחיצות לפי שדה): כשבוחרים באפשרות הזו, צריך לבחור את שדה המקור שלפיו רוצים לחלק את האובייקט למחיצות, ואת סוג החלוקה למחיצות. אפשר לבחור רק שדות עם סוגי נתונים נתמכים. מידע על סוגי נתונים נתמכים במקור ועל סוגי חלוקה למחיצות שזמינים מופיע במאמר בנושא חלוקה למחיצות וחלוקה לקלאסטרים של טבלאות ב-BigQuery.

      אפשר גם לבחור באפשרות Partitioning filter (מסנן חלוקה). אם בוחרים באפשרות הזו, צריך להגדיר מסנן מחיצה בכל השאילתות של האובייקט הזה. מסנן מחיצות יכול להפחית את העלות ולשפר את הביצועים. מידע נוסף זמין במאמר בנושא הגדרת דרישות לסינון מחיצות.

      אפשר להשתמש במסנני חלוקה למחיצות רק במצב כתיבה של הוספה בלבד.
   3. כדי להגדיר אשכולות, בקטע Clustering, בוחרים את השדות שלפיהם רוצים לאשכול את האובייקט. אפשר לבחור עד ארבעה שדות. הסדר שבו מוסיפים את שדות האשכול קובע את סדר המיון של הנתונים. אם לא מציינים הגדרות של אשכולות לאובייקט, Datastream משתמש כברירת מחדל בעד ארבעה מפתחות ראשיים מאובייקט המקור כמפתחות האשכולות ב-BigQuery.
   חלוקה למחיצות (partitioning) וסידור באשכולות חלים רק על טבלאות חדשות ב-BigQuery. אם רוצים להגדיר או לשנות הגדרות של חלוקה למחיצות ושל אשכולות בטבלה שכבר קיימת, צריך קודם למחוק אותה מ-BigQuery, ואז להגדיר או לשנות את ההגדרות שלה ב-Datastream.
   4. לוחצים על שמירה כדי לשמור את ההגדרות.

   מידע נוסף על חלוקה למחיצות וסידור באשכולות זמין במאמר חלוקה למחיצות וסידור באשכולות של טבלאות ב-BigQuery.

4. אפשר גם להרחיב את הצומת בחירת אובייקטים להחרגה. בשדה אובייקטים להחרגה, מזינים את האובייקטים והשדות בארגון המקור שרוצים להגביל את השליפה שלהם על ידי Datastream. הרשימה אובייקטים להחרגה מקבלת עדיפות על פני הרשימה אובייקטים להכללה. אם אובייקט עומד בקריטריונים של רשימת ההכללה וגם של רשימת ההחרגה, הוא מוחרג מהזרם.
   מגדירים את האובייקטים והשדות האלה באמצעות אותה לוגיקה של ערכים מופרדים בפסיקים שמשמשת להכללת אובייקטים.
5. אופציונלי: מרחיבים את הצומת בחירת מצב מילוי חוסרים לנתונים היסטוריים ואז בוחרים באחת מהאפשרויות הבאות:
• בוחרים באפשרות אוטומטי כדי לשכפל את כל הנתונים הקיימים, בנוסף לשינויים בנתונים, מהמקור ליעד. בשדה Objects excluded from automatic backfill (אובייקטים שלא נכללים במילוי אוטומטי של נתונים חסרים), מזינים את האובייקטים בארגון המקור שרוצים למנוע ממקור הנתונים למלא עבורם נתונים חסרים ביעד.
• בוחרים באפשרות ידני כדי לשכפל רק את השינויים בנתונים ליעד.
6. לוחצים על המשך. מופיע החלונית Define connection profile (הגדרת פרופיל חיבור) בדף Create stream (יצירת מקור נתונים) עבור סוג היעד.

הגדרה של מסד נתונים של MongoDB כמקור

1. בקטע Select objects to include (בחירת אובייקטים להכללה), משתמשים בתפריט הנפתח Objects to include (אובייקטים להכללה) כדי לציין את מסדי הנתונים והאוספים שרוצים ש-Datastream יעביר ליעד.
אם יש יותר מ-5,000 אובייקטים, התפריט לא יטען את הרשימה.
• אם רוצים ש-Datastream יעביר את כל האוספים, בוחרים באפשרות All databases and collections (כל מסדי הנתונים והאוספים).
• אם רוצים ש-Datastream יעביר רק אוספים ספציפיים, בוחרים באפשרות Specific databases and collections (מסדי נתונים ואוספים ספציפיים) ואז מסמנים את תיבות הסימון של האוספים שרוצים ש-Datastream ישלוף.

לכל אוסף שבוחרים יש לחצן בחירת שדות. לוחצים על הלחצן הזה כדי לסנן שדות של האובייקט שרוצים להחריג מהזרמת הנתונים ממקור ליעד. כל השדות שתנקו יוחרגו מהפיד.

כברירת מחדל, תיבות הסימון של כל השדות באובייקט מסומנות.

• אם רוצים לספק הגדרה טקסטואלית של האוספים שרוצים ש-Datastream יעביר, בוחרים באפשרות Custom (בהתאמה אישית) ואז בשדה Object matching criteria (קריטריונים להתאמת אובייקטים) מזינים את האוספים שרוצים ש-Datastream ישלוף. מזינים את האובייקטים כרשימה מופרדת בפסיקים, בפורמט [collection].[field]. אם במסד הנתונים שלכם יש מספר גדול של אובייקטים, מומלץ להשתמש באפשרות Custom כי יכול להיות שחלק מהטבלאות והסכימות לא ייכללו ברשימת האובייקטים שאפשר לשלוף.
2. אם היעד הוא BigQuery, אתם יכולים להגדיר חלוקה למחיצות עבור האוספים:
   1. לכל אוסף שרוצים להגדיר לו חלוקה למחיצות, לוחצים על בחירת שדות.
   2. בקטע חלוקה למחיצות, בוחרים באחת מהאפשרויות הבאות:
      • ללא חלוקה למחיצות: כשבוחרים באפשרות הזו, לא מתבצעת חלוקה למחיצות באוספים.
      • חלוקה למחיצות לפי זמן ההטמעה: כשבוחרים באפשרות הזו, הנתונים מאורגנים במחיצות לפי זמן. בוחרים ערך מהרשימה Partitioning type כדי להגדיר את רמת הפירוט של החלוקה למחיצות. האפשרויות הזמינות הן לפי שעה, יום, חודש או שנה. רמת הפירוט שמוגדרת כברירת מחדל היא 'יומית'.

      אפשר גם לבחור באפשרות Partitioning filter (מסנן חלוקה). אם בוחרים באפשרות הזו, נדרש מסנן מחיצה בכל השאילתות של האוסף הזה. מסנן מחיצות יכול להפחית את העלות ולשפר את הביצועים. מידע נוסף זמין במאמר בנושא הגדרת דרישות לסינון מחיצות.

      אפשר להשתמש במסנני חלוקה למחיצות רק במצב כתיבה של הוספה בלבד.
   חלוקה למחיצות חלה רק על טבלאות חדשות ב-BigQuery. אם רוצים להגדיר או לשנות את הגדרות החלוקה למחיצות של טבלה שכבר קיימת, צריך קודם למחוק אותה מ-BigQuery, ואז להגדיר או לשנות את ההגדרות שלה ב-Datastream.
   3. לוחצים על שמירה כדי לשמור את ההגדרות.

   מידע נוסף על חלוקה למחיצות וסידור באשכולות זמין במאמר חלוקה למחיצות וסידור באשכולות של טבלאות ב-BigQuery.

3. אופציונלי: מרחיבים את הצומת בחירת מצב מילוי חוסרים לנתונים היסטוריים ואז בוחרים באחת מהאפשרויות הבאות:
• בוחרים באפשרות אוטומטי כדי לשכפל את כל הנתונים הקיימים, בנוסף לשינויים בנתונים, מהמקור ליעד. בשדה Objects excluded from automatic backfill (אובייקטים שלא נכללים במילוי אוטומטי של נתונים חסרים), מזינים את האובייקטים בארגון המקור שרוצים למנוע ממקור הנתונים למלא עבורם נתונים חסרים ביעד.
• בוחרים באפשרות ידני כדי לשכפל רק את השינויים בנתונים ליעד.
4. לוחצים על המשך. מופיע החלונית Define connection profile (הגדרת פרופיל חיבור) בדף Create stream (יצירת מקור נתונים) עבור סוג היעד.

הגדרה של מסד נתונים ב-Spanner כמקור

1. בקטע Select objects to include (בחירת אובייקטים להכללה), משתמשים בתפריט הנפתח Objects to include (אובייקטים להכללה) כדי לציין את הטבלאות והסכימות במסד הנתונים של המקור ש-Datastream יכול להעביר ליעד.
אם במסד הנתונים יש יותר מ-5,000 אובייקטים, התפריט לא יטען את רשימת הטבלאות והסכימות.
• אם רוצים ש-Datastream יעביר את כל הטבלאות והסכימות, בוחרים באפשרות All tables from all schemas (כל הטבלאות מכל הסכימות).
• אם רוצים ש-Datastream יעביר רק טבלאות וסכימות ספציפיות, בוחרים באפשרות Specific schemas and tables (סכימות וטבלאות ספציפיות) ומסמנים את תיבות הסימון של הסכימות והטבלאות שרוצים ש-Datastream ישלוף.

לכל סכימה שבוחרים יש תיבת סימון Future tables (טבלאות עתידיות).

• אם תיבת הסימון הזו מסומנת, כל טבלה בסכימה שתוסיפו למקור אחרי יצירת הזרם תועבר ליעד באופן אוטומטי.
• אם לא מסמנים את תיבת הסימון הזו, אחרי שיוצרים את מקור הנתונים, Datastream לא מעביר טבלאות חדשות של הסכימה מהמקור ליעד.

כברירת מחדל, תיבת הסימון Future tables מסומנת לכל סכימה.

לכל טבלת סכימה שבוחרים, יש לחצן SELECT COLUMNS (בחירת עמודות). לוחצים על הלחצן הזה כדי לסנן עמודות בטבלה שרוצים להחריג מהזרמה ממקור ליעד. כל העמודות שמנקים מוחרגות מהעדכונים.

כברירת מחדל, תיבות הסימון של כל העמודות בטבלה מסומנות.

• אם רוצים לספק הגדרה טקסטואלית של הטבלאות והסכימות שרוצים ש-Datastream יעביר, בוחרים באפשרות Custom (מותאם אישית) ואז בשדה Object matching criteria (קריטריונים להתאמת אובייקטים) מזינים את הסכימות והטבלאות שרוצים ש-Datastream ישלוף. אם במסד הנתונים שלכם יש מספר גדול של טבלאות וסכימות, מומלץ להשתמש באפשרות Custom כי יכול להיות שחלק מהטבלאות והסכימות לא ייכללו ברשימת האובייקטים שיש לשלוף.

  מזינים סכימות וטבלאות כרשימה מופרדת בפסיקים, בפורמט [schema].[table], כאשר גם הסכימה וגם הטבלה יכולות להיות תו כללי (כוכבית). אי אפשר להשתמש בתווים כלליים חלקיים לחיפוש.

2. בשדה שם מקור הנתונים של השינויים, מזינים את השם של מקור הנתונים של השינויים ב-Spanner שיצרתם. מקור הנתונים קורא את זרם השינויים הזה כדי לשכפל שינויים ממסד הנתונים של המקור.
3. אופציונלי: בשדה Objects to exclude (אובייקטים להחרגה), מזינים את הטבלאות והסכימות במסד הנתונים של המקור שרוצים להגביל את השליפה שלהם על ידי Datastream. הרשימה אובייקטים להחרגה מקבלת עדיפות על פני הרשימה אובייקטים להכללה. אם אובייקט עומד בקריטריונים של רשימת ההכללה וגם של רשימת ההחרגה, הוא מוחרג מהזרם.
   אתם מגדירים את הסכימות והטבלאות האלה באמצעות אותה לוגיקה של ערכים מופרדים בפסיקים שבה אתם משתמשים כשאתם מציינים סכימות וטבלאות שאתם רוצים ש-Datastream ישלוף.
4. בקטע Choose backfill mode for historical data (בחירת מצב מילוי חוסרים לנתונים היסטוריים), בוחרים את מצב מילוי החוסרים:
• בוחרים באפשרות אוטומטי כדי להזרים את כל הנתונים הקיימים, בנוסף לשינויים בנתונים, מהמקור ליעד. בשדה Objects excluded from automatic backfill (אובייקטים שמוחרגים ממילוי אוטומטי), מזינים את הטבלאות והסכימות במסד הנתונים של המקור שרוצים להגביל את Datastream כך שלא ימלא אותם באופן אוטומטי ביעד.
• בוחרים באפשרות ידני כדי להזרים רק את השינויים בנתונים אל היעד.
5. אפשר לציין את המספר המקסימלי של משימות CDC ומילוי חוסרים בו-זמניות בשדות המתאימים.
   הגדרת המספר המקסימלי של קריאות בו-זמניות לשאילתות של שינוי נתונים (המגבלה על מקביליות של CDC) עשויה להגדיל את זמן האחזור של הסטרימינג. הסיבה לכך היא שסנכרון שינויים בזרמי נתונים מחולק למחיצות, והגבלת בו-זמניות (concurrency) מונעת מ-Datastream לקרוא כמה מחיצות בו-זמנית. מומלץ להגדיר את הערך הזה רק אם זיהיתם שימוש משמעותי במעבד.
6. בתפריט הנפתח RPC priority, בוחרים את remote procedure call priority עבור בקשות Spanner:
   • נמוכה
   • בינונית
   • גבוהה
7. בשדה FGAC role (תפקיד FGAC), מציינים את תפקיד בקרת הגישה הפרטנית עבור בקשות Spanner.
8. מסמנים את התיבה Backfill Data Boost enabled (הפעלת Data Boost למילוי חוסרים בנתונים) אם רוצים להשתמש ב-Data Boost למילוי חוסרים בנתונים. כדי להשתמש באפשרות הזו, צריך להפעיל את Data Boost במסד הנתונים. מידע נוסף מופיע במאמר סקירה כללית על Data Boost.
9. לוחצים על המשך. מופיע החלונית Define connection profile (הגדרת פרופיל חיבור) בדף Create stream (יצירת מקור נתונים) עבור סוג היעד.

בחירת פרופיל חיבור ליעד

1. אם יצרתם פרופיל חיבור ליעד, בוחרים אותו מתוך רשימת פרופילי החיבור.

   אם לא יצרתם פרופיל חיבור ליעד, תוכלו ליצור אותו על ידי לחיצה על יצירת פרופיל חיבור בתחתית הרשימה הנפתחת, ואז לבצע את אותם השלבים כמו ביצירת פרופילי חיבור.

   הערה: כדי להשתמש בטבלאות Apache Iceberg כיעד, צריך להשתמש בפרופיל חיבור ל-BigQuery או ליצור פרופיל כזה.

2. לוחצים על המשך. מופיעה החלונית Configure stream destination בדף Create stream.

הגדרת מידע על היעד של מקור הנתונים

בקטע הזה מוסבר איזה מידע צריך לספק כדי להגדיר את יעד הייצוא ב-BigQuery או ב-Cloud Storage.

יעד ב-BigQuery

1. בקטע Specify how Datastream should stream into a BigQuery dataset (ציון אופן ההזרמה של Datastream למערך נתונים ב-BigQuery), בוחרים אחת מהאפשרויות הבאות מתוך התפריט הנפתח Schema grouping (קיבוץ סכימות):

   • מערך נתונים לכל סכימה: Datastream יוצר מערך נתונים ב-BigQuery לכל סכימת מקור, על סמך שם הסכימה.

     אם בוחרים באפשרות הזו, לכל סכימה במסד הנתונים של המקור, Datastream יוצר מערך נתונים בפרויקט שמכיל את מקור הנתונים.

     בנוסף, אם בוחרים באפשרות מערך נתונים לכל סכימה, צריך לספק את הפרטים הבאים:

     1. בקטע Location type, מציינים איפה רוצים לאחסן את הנתונים ב-BigQuery. בוחרים באפשרות Region כדי לציין מיקום גיאוגרפי יחיד, או באפשרות Multi-region כדי לציין אזור גדול יותר שמכיל שני אזורים או יותר. אם העדיפות שלכם היא אופטימיזציה של העלויות והביצועים, בוחרים באפשרות אזור ושומרים את מערכי הנתונים לצד Google Cloud משאבים אחרים שאתם מנהלים. כדי ליהנות ממכסות גדולות יותר, אפשר לבחור באפשרות מספר אזורים כדי לאפשר ל-BigQuery להשתמש בכמה אזורים בתוך קבוצה. כשבוחרים באפשרות אזור, השדה מוגדר כברירת מחדל לאזור שנבחר לשידור.
     2. (אופציונלי) בשדה Dataset prefix (קידומת של מערך הנתונים), מגדירים קידומת למערך הנתונים שנוצר על ידי המקור. המחרוזת שאתם מציינים מתווספת לשם סכימת המקור. לדוגמה, אם הסכימה נקראת <mySchema> והגדרתם את הקידומת של מערך הנתונים כ-<myPrefix>,‏ Datastream יוצר מערך נתונים בשם <myPrefix><mySchema>.
     3. מרחיבים את הקטע הצגת אפשרויות מתקדמות להצפנה.

     4. מציינים איך רוצים להצפין את הנתונים ב-BigQuery על ידי בחירה במפתח הצפנה שמנוהל על ידי Google או במפתח הצפנה בניהול הלקוח.

        הערה: האפשרות מערך נתונים לכל סכימה לא נתמכת במקורות של Salesforce.

   • מערך נתונים יחיד לכל הסכימות: Datastream יוצר את כל הטבלאות בתוך מערך הנתונים הקיים ב-BigQuery שאתם מציינים. לכל טבלה ש-Datastream יוצר יש שם שמורכב משם הסכימה של המקור ושם הטבלה, מופרדים באמצעות קו תחתון (לדוגמה, <mySchemaName>_<myTableName>). מערכי הנתונים הזמינים מקובצים לפי אזור. אפשר גם ליצור מערך נתונים חדש.

2. מציינים את מצב הכתיבה של מקור הנתונים. בוחרים את מצב הכתיבה כדי להגדיר איך הנתונים ייכתבו ויעובדו ב-BigQuery:

   • מיזוג: בוחרים באפשרות הזו אם רוצים שהנתונים יסונכרנו עם המקור.
   • הוספה בלבד: בוחרים באפשרות הזו אם רוצים לשמור את כל הנתונים ההיסטוריים של אירועי השינוי.

3. מציינים את מגבלת הטריות של הנתונים. האפשרות הזו זמינה רק כשבוחרים במצב מיזוג בשלב הקודם. כדי לאזן בין ביצועי השאילתות ב-BigQuery לבין העלות ועדכניות הנתונים, צריך לבחור מגבלה. המערכת של BigQuery מחילה את השינויים ברקע באופן שוטף, או בזמן ההרצה של השאילתה, בהתאם למגבלת הטריות. הפחתת רמת הטריות (נתונים עדכניים יותר) עשויה להגדיל את עלויות העיבוד ב-BigQuery.

   אם בוחרים באפשרות 0 דקות, ‏ BigQuery מחזיר תמיד את תוצאות השאילתה על סמך הנתונים העדכניים ביותר. התוצאה היא העלות הכי גבוהה של השאילתה.

4. לוחצים על המשך. מופיעה החלונית בדיקת פרטי מקור הנתונים ויצירה בדף יצירת מקור נתונים.

יעד לטבלאות Apache Iceberg

1. בקטע Specify how Datastream should stream into a BigQuery dataset (הגדרה של אופן ההזרמה של Datastream למערך נתונים ב-BigQuery), בוחרים בתפריט הנפתח Schema grouping (קיבוץ סכימות) את האופן שבו רוצים ש-Datastream ייצור סכימות וטבלאות חדשות:

   • מערך נתונים לכל סכימה: Datastream יוצר מערך נתונים ב-BigQuery לכל סכימת מקור, על סמך שם הסכימה.

     אם בוחרים באפשרות הזו, לכל סכימה במסד הנתונים של המקור, Datastream יוצר מערך נתונים בפרויקט שמכיל את מקור הנתונים.

     בנוסף, אם בוחרים באפשרות מערך נתונים לכל סכימה, צריך לספק את הפרטים הבאים:

     1. בקטע Location type, מציינים איפה רוצים לאחסן את הנתונים ב-BigQuery. בוחרים באפשרות Region כדי לציין מיקום גיאוגרפי יחיד, או באפשרות Multi-region כדי לציין אזור גדול יותר שמכיל שני אזורים או יותר. אם העדיפות שלכם היא אופטימיזציה של העלויות והביצועים, בוחרים באפשרות אזור ושומרים את מערכי הנתונים לצד Google Cloud משאבים אחרים שאתם מנהלים. כדי ליהנות ממכסות גדולות יותר, אפשר לבחור באפשרות מספר אזורים כדי לאפשר ל-BigQuery להשתמש בכמה אזורים בתוך קבוצה. כשבוחרים באפשרות אזור, השדה מוגדר כברירת מחדל לאזור שנבחר לשידור.
     2. (אופציונלי) בשדה Dataset prefix (קידומת של מערך הנתונים), מגדירים קידומת למערך הנתונים שנוצר על ידי המקור. המחרוזת שאתם מציינים מתווספת לשם סכימת המקור. לדוגמה, אם הסכימה נקראת <mySchema> והגדרתם את הקידומת של מערך הנתונים כ-<myPrefix>,‏ Datastream יוצר מערך נתונים בשם <myPrefix><mySchema>.
     3. מרחיבים את הקטע הצגת אפשרויות מתקדמות להצפנה.

     4. מציינים איך רוצים להצפין את הנתונים ב-BigQuery על ידי בחירה במפתח הצפנה שמנוהל על ידי Google או במפתח הצפנה בניהול הלקוח.

        הערה: האפשרות מערך נתונים לכל סכימה לא נתמכת במקורות של Salesforce.

   • מערך נתונים יחיד לכל הסכימות: Datastream יוצר את כל הטבלאות בתוך מערך הנתונים הקיים ב-BigQuery שאתם מציינים. לכל טבלה ש-Datastream יוצר יש שם שמורכב משם הסכימה של המקור ושם הטבלה, מופרדים באמצעות קו תחתון (לדוגמה, <mySchemaName>_<myTableName>). מערכי הנתונים הזמינים מקובצים לפי אזור. אפשר גם ליצור מערך נתונים חדש.

2. בקטע Define Datastream connection to Apache Iceberg tables (הגדרת חיבור Datastream לטבלאות Apache Iceberg), מספקים את הפרטים הבאים:

   • בתפריט הנפתח מזהה החיבור, בוחרים את המזהה של חיבור BigQuery שיצרתם ושבו אתם רוצים להשתמש בשביל הזרם. מידע על יצירת חיבור למשאב ב-Cloud ב-BigQuery זמין במאמר הגדרת טבלאות Apache Iceberg ב-BigQuery.

     הערה: כדי למנוע כשל בסטרימינג, צריך לוודא שלמזהה החיבור יש הרשאות כתיבה לקטגוריה הבסיסית של Cloud Storage.

   • מזינים או בוחרים את כתובת ה-URI של הקטגוריה שיצרתם ב-Cloud Storage. מידע על יצירת קטגוריה של Cloud Storage זמין במאמר יצירת קטגוריה.

3. בודקים את פורמט הקובץ ואת פורמט הטבלה. ‫Datastream תומך בפורמט הקובץ Parquet ובפורמט הטבלה Iceberg.

4. בודקים את מצב הכתיבה של הסטרימינג. ‫Datastream תומך במצב כתיבה Append-only בלבד כשמבצעים סטרימינג לטבלאות Apache Iceberg.

5. לוחצים על המשך. מופיעה החלונית בדיקת פרטי מקור הנתונים ויצירה בדף יצירת מקור נתונים.

יעד ב-Cloud Storage

1. אופציונלי: בשדה Stream path prefix (קידומת של נתיב מקור הנתונים), מזינים את התיקייה של יעד ה-bucket שאליו Datastream יעביר סכימות, טבלאות ונתונים ממסד נתונים של מקור.

   לדוגמה, אם רוצים ש-Datastream יעביר נתונים ממסד הנתונים של המקור לתיקייה /root/example בדלי היעד, מזינים /root/example בשדה קידומת של נתיב מקור הנתונים.

2. בשדה פורמט הפלט, בוחרים את פורמט הקבצים שנכתבים ב-Cloud Storage.

   ‫
   Datastream תומך בשני פורמטים של פלט: Avro ו-JSON.

3. זה שינוי אופציונלי. אם בוחרים בפורמט JSON, מופיעות שתי תיבות סימון:

   1. הוספת קובץ סכימה של סוגים מאוחדים לנתיב הקובץ: אם מסמנים את התיבה הזו, Datastream כותב שני קבצים ל-Cloud Storage: קובץ נתונים בפורמט JSON וקובץ סכימה בפורמט Avro. קובץ הסכימה נקרא באותו שם כמו קובץ הנתונים, עם הסיומת .schema. אם לא מסמנים את תיבת הסימון הזו, Datastream כותב רק את קובץ נתוני ה-JSON ב-Cloud Storage. כברירת מחדל, תיבת הסימון הזו לא מסומנת.
   2. הפעלת דחיסת gzip: אם מסמנים את תיבת הסימון הזו, Datastream משתמש בכלי gzip כדי לדחוס את הקבצים ש-Datastream כותב ל-Cloud Storage. אם לא מסמנים את התיבה הזו, Datastream כותב את הקבצים ב-Cloud Storage בלי לדחוס אותם. תיבת הסימון הזו מסומנת כברירת מחדל.

4. לוחצים על המשך. מופיעה החלונית בדיקת פרטי מקור הנתונים ויצירה בדף יצירת מקור נתונים.

יצירת מקור הנתונים

1. בודקים את הפרטים של הזרם, וגם את פרופילי החיבור של המקור והיעד שבהם הזרם ישתמש כדי להעביר נתונים ממסד נתונים של מקור אל יעד.

2. לוחצים על הפעלת אימות כדי לאמת את הזרם. באימות של זרם, Datastream בודק שהמקור מוגדר בצורה תקינה, מוודא שהזרם יכול להתחבר גם למקור וגם ליעד, ומאמת את ההגדרה מקצה לקצה של הזרם.

   1. אם מסד הנתונים של המקור הוא Oracle, ‏ Datastream מבצע את הבדיקות הבאות:

      המחאה	תיאור
      תוקף של רשימת אובייקטים	‫Datastream מוודא שרשימת ההחרגות לא כוללת את רשימת ההכללות.
      העברת קישוריות של מנהרת SSH	‫Datastream מאמתת שהיא יכולה להתחבר ליעד מבוצר (bastion host) דרך מנהרת SSH.
      קישוריות למסד נתונים של Oracle	‫Datastream מוודא שהוא יכול להתחבר למסד הנתונים של Oracle כמקור.
      הרשאות משתמשים ב-Oracle	‫Datastream מוודא שלמשתמש שבו הוא משתמש כדי להתחבר למסד הנתונים של המקור יש את כל ההרשאות הנדרשות לאחזור סכימות, טבלאות ונתונים ממסד הנתונים, כדי ש-Datastream יוכל להזרים את המידע הזה ליעד.
      הגדרת מצב רישום ביומן	‫Datastream מוודא שמצב הרישום ביומן של מסד הנתונים של Oracle מוגדר ל-ARCHIVELOG.
      הגדרת רישום משלים ביומן	הכלי Datastream מוודא שהרישום המשלים מופעל עבור טבלאות מסד הנתונים שמוזרמות מהמקור ליעד.
      הגדרת Oracle CDC	ב-Datastream מתבצע אימות של שיטת ה-CDC שבחרתם כדי לוודא שהיא תואמת להגדרות של מסד הנתונים.
      הגדרת קובצי יומן לארכיון	‫Datastream מוודא שרישום בארכיון מוגדר במקור, ושיש קובצי יומן רישום בארכיון.
      הרשאות ב-Cloud Storage (ליעדים ב-Cloud Storage)	‫Datastream מוודא שיש לו את ההרשאות הנדרשות לכתיבה לקטגוריית היעד ב-Cloud Storage.

   2. אם מסד הנתונים של המקור הוא MySQL, ‏ Datastream מבצע את הבדיקות הבאות:

      המחאה	תיאור
      הרשאות שכפול	‫Datastream מוודא שיש לו הרשאות לשכפל מסד נתונים של MySQL.
      גרסת מסד הנתונים	‫Datastream מוודא שיש תמיכה בגרסת מסד הנתונים של MySQL. מידע על מהדורות נתמכות זמין במאמר בנושא גרסאות.
      הגדרה של פורמט יומן בינארי	‫Datastream מוודא שפורמט היומן הבינארי של מסד הנתונים MySQL מוגדר ל-ROW.
      הרישום ביומן בינארי מופעל	הכלי Datastream מוודא שקבצי היומן הבינאריים מוגדרים בצורה נכונה ושיש קבצי יומן.
      הגדרת תמונת שורה ביומן בינארי	‫Datastream מוודא שתמונת השורה של ה-binlog מוגדרת ל-FULL.
      הדחיסה של Binlog מושבתת	‫Datastream מוודא שהדחיסה של binlog מושבתת.
      העדכונים של העותק או של השרת המשני ביומן מופעלים	הכלי Datastream מוודא שהעדכונים של העותק או של העבד של היומן מופעלים.
      הגדרת מצב GTID ‏ (applies only to GTID-based CDC)	אם משתמשים בשכפול מבוסס-GTID, Datastream מוודא שמצב ה-GTID מוגדר ל-ON.
      ‫GtidSet לא מכיל GTID מתויגים (applies only to GTID-based CDC)	הכלי Datastream מוודא שקבוצת ה-GTID לא מכילה GTID מתויג.
      הרשאות ב-Cloud Storage (ליעדים ב-Cloud Storage)	‫Datastream מוודא שיש לו את ההרשאות הנדרשות לכתיבה לקטגוריית היעד ב-Cloud Storage.

      בדיקת אזהרות	תיאור
      הגדרה של Expire logs days (תפוגה של יומני רישום בימים), Expire logs seconds (תפוגה של יומני רישום בשניות) או Binlog retention hours (שעות שמירה של יומני רישום בינאריים)	ב-Datastream מוודאים שהערכים של expire_logs_days, binlog_expire_logs_seconds ו-binlog retention hours גדולים מ-7, 604800 ו-168, בהתאמה.
      הגדרת מספר מקסימלי של חבילות מותרות	ב-Datastream מוודאים שהערך של max_allowed_packet מוגדר ל-1GB.
      אכיפה של עקביות GTID או מצב קפדני של GTID (applies only to GTID-based CDC)	הכלי Datastream מוודא שהעקביות של GTID או המצב הקפדני של GTID מופעלים.

   3. אם מסד הנתונים של המקור הוא PostgreSQL, ‏ Datastream מבצע את הבדיקות הבאות:

      המחאה	תיאור
      קישוריות למסד נתונים של PostgreSQL	‫Datastream מוודא שהוא יכול להתחבר למסד הנתונים של PostgreSQL.
      פענוח לוגי מופעל	‫Datastream מוודא שהפרמטר wal_level של מסד הנתונים PostgreSQL מוגדר לערך logical.
      הגדרת משבצת שכפול	‫Datastream בודק אם משבצת השכפול של PostgreSQL קיימת ופעילה, אם ל-Datastream יש את ההרשאות הנדרשות כדי לגשת אליה ואם היא מוגדרת בצורה נכונה.
      הגדרת אתר החדשות	הכלי Datastream מוודא שהפרסום קיים ושהטבלאות לשכפול עבור הזרם כלולות בפרסום.
      הרשאות למילוי חוסרים	‫Datastream מוודא שהטבלאות שנדרשות למילוי חוזר של נתונים היסטוריים קיימות ושיש לו את ההרשאות הנדרשות לקריאתן.

   4. אם מסד הנתונים של המקור הוא SQL Server, ‏ Datastream מבצע את הבדיקות הבאות:

      המחאה	תיאור
      מהדורת SQL Server	‫Datastream מוודא שמהדורת מסד הנתונים של SQL Server נתמכת. מידע על מהדורות נתמכות זמין במאמר בנושא גרסאות.
      הרשאות משתמשים ב-SQL Server	‫Datastream מוודא שלמשתמש יש את ההרשאות הנדרשות לגישה למסד הנתונים של SQL Server.
      התכונה SQL Server CDC מופעלת	הכלי Datastream בודק אם CDC מופעל במסד הנתונים ובכל הטבלאות שנכללות בזרם.
      אימותים של מסד נתונים של SQL Server	‫Datastream בודק אם מסד הנתונים של המקור מוגדר בצורה נכונה, אם כל הדרישות לשכפול מתקיימות ואם אין עמודות עם סוגי נתונים שלא נתמכים.
      הרשאות ב-Cloud Storage או ב-BigQuery	‫Datastream מוודא שלמשתמש יש את ההרשאות הנדרשות לכתיבה ביעד.

   5. אם מסד הנתונים של המקור הוא Salesforce, ‏ Datastream מבצע את הבדיקות הבאות:

      המחאה	תיאור
      כניסה באמצעות פרטי כניסה	שירות Datastream מאמת שהוא יכול לבצע אימות מול ארגון Salesforce של הלקוח באמצעות פרטי הכניסה שסופקו.
      Bulk API	‫Datastream מוודא שיש לו את ההרשאות הנדרשות כדי לגשת ל-Salesforce Bulk API 2.0. כדי לקרוא כמות גדולה של נתונים, צריך להשתמש ב-Bulk API 2.0.

      בדיקת אזהרות	תיאור
      מגבלות על API	‫Datastream מחשב אומדן של השימוש הצפוי ב-API על סמך מספר האובייקטים ומרווח התשאול שנבחרו. אם מספר הבקשות היומי הצפוי גבוה מהמגבלה שנאכפת על ידי Salesforce, ‏ Datastream מציג אזהרה. אפשר ליצור ולהפעיל את הסטרים גם אם בדיקת האימות לא עוברת.

   6. אם מסד הנתונים של המקור הוא MongoDB, ‏ Datastream מבצע את הבדיקות הבאות:

      המחאה	תיאור
      הרשאות של משתמשים	‫Datastream מוודא שהתפקיד readAnyDatabase הוקצה למשתמש.
      הגדרות חיבור	‫Datastream משתמש בפקודה hello כדי לוודא שהגדרות החיבור תקינות.
      גרסת MongoDB	הכלי Datastream מוודא שגרסת MongoDB היא 5.0 ואילך.
      הרשאות ב-Cloud Storage או ב-BigQuery	‫Datastream מוודא שלמשתמש יש את ההרשאות הנדרשות לכתיבה ביעד.

   7. אם מסד הנתונים של המקור הוא Spanner, ‏ Datastream מבצע את הבדיקות הבאות:

      המחאה	תיאור
      ‫Spanner API מופעל	‫Datastream מוודא ש-Spanner API מופעל.
      מסד הנתונים קיים	‫Datastream מוודא שמסד הנתונים של Spanner קיים.
      הרשאות IAM	‫Datastream מוודא שלסוכן השירות שלו יש את הרשאות ה-IAM הנדרשות במסד נתוני המקור.
      שינוי השידור החי קיים	מקור הנתונים מוודא שזרם השינויים שצוין קיים במסד הנתונים.
      סוג לכידת הערך	הכלי Datastream מוודא שסוג הלכידה של הערך NEW_ROW מוגדר בזרם השינויים.

   אם בדיקת האימות עוברת, מופיע סמל של סימן וי מימין לבדיקת האימות.

   אם בדיקת האימות נכשלת, מופיע סימן קריאה מימין לבדיקה, ומתחת לבדיקה מופיע הלחצן הצגת פרטי השגיאה. לוחצים על הכפתור ומופיע חלון דו-שיח עם הסבר למה הבדיקה לא עברה ומידע על מה צריך לעשות כדי לפתור את הבעיה. אחרי שמבצעים את התיקונים המתאימים, לוחצים על אימות מחדש.

   מידע נוסף על פתרון בעיות בבדיקות אימות שלא עברו זמין במאמר אבחון בעיות.

3. אחרי שכל בדיקות האימות עוברות, לוחצים על יצירה והתחלה כדי ליצור את הסטרימינג ולהתחיל אותו מיד, או על יצירה כדי ליצור את הסטרימינג בלי להתחיל אותו מיד.

   אם לא מתחילים את השידור עכשיו, אפשר להתחיל אותו בדף שידורים בלחיצה על התחלה.

   הערה: תהליך יצירת הזרם עשוי להגדיל את העומס על מסד הנתונים של המקור. כדי לדחות את הטעינה, יוצרים את הסטרימינג בלי להתחיל אותו, וחוזרים להתחיל את הסטרימינג כשהטעינה יכולה להתבצע.

אחרי שיוצרים מקור נתונים, אפשר לראות מידע כללי ומפורט לגביו.

יצירת סטרימינג באמצעות התהליך האוטומטי

אתם יכולים להשתמש בהגדרה אוטומטית של סטרימינג כדי ליצור סטרימינג ישירות מדף הסקירה הכללית של Cloud SQL ב- Google Cloud. התהליך האוטומטי מפשט את תהליך יצירת הזרם, ואפשר להשתמש בו אם אתם משכפלים ל-BigQuery ממופע של Cloud SQL ל-PostgreSQL, ‏ Cloud SQL ל-MySQL או Cloud SQL ל-SQL Server.

במאמר יצירת שידור באמצעות התהליך האוטומטי מוסבר איך להשתמש בתהליך האוטומטי להגדרת שידור.

המאמרים הבאים

• מידע נוסף על סטרימינג זמין במאמר בנושא מחזור החיים של סטרימינג.
• איך מריצים שידור
• במאמר שינוי של שידור מוסבר איך משנים את השידורים.
• מידע נוסף על שחזור סטרימינג זמין במאמר שחזור סטרימינג.