בדף הזה מוסבר איך לקבל מידע על הערוצים שלכם.
כדי לראות מידע כללי ומפורט על מקור נתונים:
נכנסים לדף Streams במסוף Google Cloud .
לוחצים על מקור הנתונים שרוצים לראות את המידע המפורט שלו. המידע הזה מופיע בדף פרטי מקור הנתונים.
צפייה במידע כללי
מידע כללי על מקור נתונים כולל:
- השם והסטטוס של השידור.
- פרופילי החיבור של המקור והיעד שמשמשים את הסטרים להעברת נתונים ממסד נתונים של מקור אל יעד.
- סוגי הפרופילים של פרופילי החיבור.
צפייה במידע מפורט
בנוסף למידע הכללי על מקור נתונים, אפשר ללחוץ על מקור נתונים כדי לראות מידע נוסף, כולל:
- האזור שבו השידור מאוחסן. סטרימינג, כמו כל המשאבים, נשמר באזור. בשידורים אפשר להשתמש רק בפרופילים של חיבורים ובהגדרות של קישוריות פרטית שנמצאים באותו אזור.
- מתי נוצר, עודכן או שוחזר הפיד.
- כל התוויות שנוספו לסטרימינג. התוויות האלה משמשות לארגון הפיד.
- בהתאם למסד הנתונים של המקור, שיטת ה-CDC שבחרתם למקור הנתונים.
- הטבלאות והסכימות במסד הנתונים של המקור ש-Datastream צריך לכלול כשמעבדים את הזרם.
- הטבלאות והסכימות במסד הנתונים של המקור ש-Datastream צריך להחריג כשמעבדים את הזרם.
- לכל המקורות חוץ מ-PostgreSQL, שיטת ה-CDC מוגדרת לשידור.
- למקורות Oracle: שיטת הגישה לקובץ היומן.
- האם מילוי היסטורי מופעל או מושבת בשידור.
- אם האפשרות הזו מופעלת, כמה סכימות וטבלאות במסד הנתונים של המקור מוחרגות מהמילוי החוזר.
ליעדים ב-BigQuery:
- האם מערך נתוני היעד הוא מערך נתונים דינמי או מערך נתונים שמוגדר כברירת מחדל.
- האם מצב הכתיבה של הזרם מוגדר למיזוג או להוספה בלבד.
- אם בחרתם באפשרות מצב מיזוג, הגדרת מגבלת הטריות תחול על הטבלאות החדשות ב-BigQuery שנוצרו על ידי Datastream.
בנוסף, ליעדים של טבלאות Apache Iceberg:
- המזהה של חיבור BigQuery שבו אתם משתמשים לזרם.
- מזהה המשאב האחיד (URI) של הקטגוריה ב-Cloud Storage שבה מאוחסנים הנתונים.
ליעדים ב-Cloud Storage:
- המיקום של היעד שאליו המקור מעביר סכימות, טבלאות ונתונים ממסד נתונים.
- הפורמט של הקבצים שנכתבים ביעד. Datastream תומך בשני פורמטים של פלט: Avro ו-JSON.
האם הנתונים מוצפנים באמצעות מפתח שמנוהל על ידי Google (מנוהל על ידי Google) או על ידיכם (מנוהל על ידי הלקוח).
קישור ונתיב למפתח ההצפנה שבניהול הלקוח (אם אתם מנהלים את ההצפנה).
קישור ליצירת מדיניות התראות לזרם.
סטטוס שמציין כמה מילויים חוזרים מתבצעים, בהמתנה או נכשלו.
מספר האירועים שעברו עיבוד ונפרסו ליעד על ידי Datastream ב-7 הימים האחרונים.
מספר האירועים ש-Datastream לא הצליח לעבד ב-7 הימים האחרונים.
- תרשים עדכניות הנתונים. בתרשים הזה מוצג פער הזמן בין הנתונים שנמצאים במקור לבין הנתונים שמועברים ליעד באמצעות הזרם. החישוב מתבצע לפי הזמן שחלף מאז ש-Datastream בדק לאחרונה אם יש נתונים חדשים במקור.
מידע נוסף על הגרף הזה זמין במאמר בנושא מעקב אחרי סטרימינג.
המאמרים הבאים
- מידע נוסף על סטרימינג זמין במאמר בנושא מחזור החיים של סטרימינג.
- במאמר שינוי של שידור מוסבר איך משנים את השידורים.
- מידע נוסף על מעקב אחרי שידור זמין במאמר מעקב אחרי שידור.
- כאן מוסבר איך מוחקים זרם קיים.