העברת שינויים בנתונים בסטרימינג כמעט בזמן אמת באמצעות Datastream

איך משכפלים נתונים ממסד נתונים של Oracle כמקור לקטגוריה ב-Cloud Storage באמצעות Datastream.

לפני שמתחילים

  1. נכנסים לחשבון Google Cloud . אם אתם משתמשים חדשים ב- Google Cloud, צרו חשבון כדי שתוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  5. Verify that billing is enabled for your Google Cloud project.

  6. מפעילים את Datastream API.

    תפקידים שנדרשים להפעלת ממשקי API

    כדי להפעיל ממשקי API, צריך את תפקיד ה-IAM 'אדמין של Service Usage' (roles/serviceusage.serviceUsageAdmin), שכולל את ההרשאה serviceusage.services.enable. איך מקצים תפקידים

    להפעלת ה-API

  7. מוודאים שחשבון המשתמש שלכם כולל את תפקיד האדמין של Datastream.

    כניסה לדף IAM

אם רוצים ליצור הגדרת קישוריות פרטית לרשת VPC רגילה או משותפת, צריך להשלים דרישות מוקדמות נוספות. מידע נוסף זמין במאמר בנושא יצירת הגדרת קישוריות פרטית.

דרישות

ב-Datastream יש מגוון אפשרויות למקורות, ליעדים ולשיטות של קישוריות לרשת.

במדריך למתחילים הזה אנחנו מניחים שאתם משתמשים במסד נתונים עצמאי של Oracle ובשירות Cloud Storage כיעד. במסד הנתונים של המקור, אמורה להיות לכם אפשרות להגדיר את הרשת כדי להוסיף כלל חומת אש לתעבורה נכנסת. מסד הנתונים של המקור יכול להיות מקומי או אצל ספק שירותי ענן. מכיוון שיעד ההעברה הוא Cloud Storage, הוא צריך להיות ספק שירותי הענן של Google.

אנחנו לא יכולים לדעת את הפרטים הספציפיים של הסביבה שלכם, ולכן אנחנו לא יכולים לספק שלבים מפורטים בנוגע להגדרת הרשת.

במדריך למתחילים הזה, בוחרים באפשרות IP allowlisting כשיטת הקישוריות. הרשימה הלבנה של כתובות IP היא תכונת אבטחה שמשמשת לעיתים קרובות להגבלת הגישה לנתונים במסד הנתונים של המקור ולשליטה בה, כך שרק משתמשים מהימנים יוכלו לגשת אליהם. אתם יכולים להשתמש ברשימות של כתובות IP מותרות כדי ליצור רשימות של כתובות IP או טווחי כתובות IP מהימנים, שמהם המשתמשים שלכם ושירותי Cloud אחרים כמו Datastream יכולים לגשת לנתונים האלה. כדי להשתמש ברשימות היתרים של כתובות IP, צריך לפתוח את מסד הנתונים או את חומת האש של המקור לחיבורים נכנסים מ-Datastream.

יצירת פרופילי חיבור

כשיוצרים פרופילים של חיבורים למסד נתונים של מקור ולמסד נתונים של יעד, נוצרים רשומות שמכילות מידע על המקור ועל היעד.

במדריך הזה, בוחרים באפשרות Oracle כסוג הפרופיל של פרופיל חיבור המקור, ובאפשרות Cloud Storage כסוג הפרופיל של פרופיל חיבור היעד. ‫Datastream משתמש במידע בפרופילים של החיבור כדי להעביר נתונים ממסד הנתונים של Oracle במקור אל קטגוריית היעד ב-Cloud Storage.

יצירת פרופיל לחיבור למקור נתונים למסד נתונים של Oracle

  1. עוברים לדף Connection profiles (פרופילים של חיבורים) ב-Datastream במסוףGoogle Cloud .

    מעבר לדף Connection profiles

  2. לוחצים על יצירת פרופיל.

  3. בדף Create a connection profile (יצירת פרופיל חיבור), לוחצים על סוג הפרופיל Oracle (כי רוצים ליצור פרופיל חיבור למקור נתונים של מסד נתונים של Oracle).

  4. בקטע Define connection settings (הגדרת פרטי החיבור) בדף Create Oracle profile (יצירת פרופיל Oracle), מציינים את הפרטים הבאים:

    • מזינים My Source Connection Profile בתור שם פרופיל החיבור למסד הנתונים של המקור.
    • משאירים את מזהה פרופיל החיבור שנוצר אוטומטית.
    • בוחרים את האזור שבו יישמר פרופיל החיבור.
    • מזינים את פרטי החיבור:
    • בשדה שם מארח או כתובת IP, מזינים שם מארח או כתובת IP ציבורית ש-Datastream יכול להשתמש בהם כדי להתחבר למסד הנתונים של Oracle כמקור. אתם מספקים כתובת IP ציבורית כי רשימת כתובות IP להיתר תשמש כשיטה לקישוריות רשת במדריך הזה להפעלה מהירה.
    • בשדה יציאה, מזינים את מספר היציאה ששמור למסד הנתונים של המקור. במסד נתונים של Oracle, יציאת ברירת המחדל היא בדרך כלל 1521.
    • מזינים שם משתמש וסיסמה כדי לבצע אימות למסד הנתונים של המקור.
    • בשדה System identifier (SID) (מזהה מערכת), מזינים את ה-SID או את שם השירות שמזהה את מופע מסד הנתונים. במסדי נתונים של Oracle, הערך הזה הוא בדרך כלל ORCL.

  5. בקטע הגדרת הגדרות החיבור, לוחצים על המשך. הקטע Define connectivity method בדף Create Oracle profile פעיל.

  6. בוחרים את שיטת הרשת שרוצים להשתמש בה כדי ליצור קישוריות בין Datastream לבין מסד הנתונים של המקור. במדריך הזה, משתמשים בתפריט הנפתח Connectivity method (שיטת הקישוריות) כדי לבחור באפשרות IP allowlisting (הוספת כתובות IP לרשימת ההיתרים) כשיטת הרשת.

  7. מגדירים את מסד הנתונים של המקור כך שיאפשר חיבורים נכנסים מכתובות ה-IP הציבוריות של Datastream שמופיעות.

  8. בקטע Define connectivity method (הגדרת שיטת הקישוריות), לוחצים על CONTINUE (המשך). הקטע Test connection profile (בדיקת פרופיל החיבור) בדף Create Oracle profile (יצירת פרופיל Oracle) פעיל.

הגדרת ההגדרות של השידור

  1. נכנסים לדף Streams של Datastream במסוף Google Cloud.

    מעבר לדף העדכונים

  2. לוחצים על יצירת מקור נתונים.

  3. בחלונית הגדרת פרטים של עדכון התוכן בדף יצירת עדכון תוכן, מזינים את הפרטים הבאים:

    • מזינים My Stream בשדה שם מקור הנתונים.
    • משאירים את מזהה מקור הנתונים שנוצר אוטומטית.
    • בתפריט Region, בוחרים את האזור שבו יצרתם את פרופיל חיבור המקור.
    • בתפריט סוג המקור, בוחרים את סוג הפרופיל Oracle.
    • בתפריט סוג היעד, בוחרים את סוג הפרופיל Cloud Storage.

  4. בודקים את התנאים המוקדמים שנוצרים באופן אוטומטי כדי להבין איך צריך להכין את הסביבה לשידור. הדרישות המוקדמות האלה יכולות לכלול את אופן ההגדרה של מסד הנתונים של המקור ואת אופן החיבור של Datastream לקטגוריית היעד ב-Cloud Storage.

  5. לוחצים על המשך. מופיעה החלונית Define Oracle connection profile (הגדרת פרופיל קישור ל-Oracle) בדף Create stream (יצירת זרם).

ציון מידע על פרופיל החיבור למקור

  1. בתפריט Source connection profile (פרופיל קישור למקור), בוחרים את פרופיל הקישור למקור עבור מסד נתונים של Oracle.

  2. לוחצים על הפעלת בדיקה כדי לוודא שניתן ליצור תקשורת בין מסד הנתונים של המקור לבין Datastream.

    אם הבדיקה נכשלת, הבעיה שמשויכת לפרופיל החיבור מופיעה. בדף לפתרון בעיות מפורטים שלבים לפתרון בעיות. מבצעים את השינויים הנדרשים כדי לתקן את הבעיה, ואז בודקים מחדש.

  3. לוחצים על המשך. מופיעה החלונית Configure stream source בדף Create stream.

הגדרת מידע על מסד הנתונים של המקור עבור הזרם

  1. בתפריט Objects to include (אובייקטים להכללה), מציינים את הטבלאות והסכימות במסד הנתונים של המקור ש-Datastream יכול להעביר לתיקייה בקטגוריית היעד ב-Cloud Storage. התפריט נטען רק אם במסד הנתונים יש עד 5,000 אובייקטים.

    במדריך למתחילים הזה, רוצים ש-Datastream יעביר את כל הטבלאות והסכימות. לכן, בתפריט בוחרים באפשרות All tables from all schemas (כל הטבלאות מכל הסכימות).

  2. מציינים את שיטת ה-CDC. במדריך הזה, בוחרים באפשרות Logminer.

  3. לוחצים על המשך. מופיעה החלונית Define Cloud Storage connection profile (הגדרת פרופיל חיבור ל-Cloud Storage) בדף Create stream (יצירת זרם).

בחירת פרופיל חיבור ליעד

  1. בתפריט פרופיל חיבור ליעד, בוחרים את פרופיל החיבור ליעד של Cloud Storage.

  2. לוחצים על המשך. מופיעה החלונית Configure stream destination בדף Create stream.

הגדרת מידע על היעד של מקור הנתונים

  1. בשדה קידומת של נתיב מקור הנתונים, מזינים את התיקייה של יעד ה-Bucket שאליו Datastream יעביר סכימות, טבלאות ונתונים ממסד נתונים של Oracle.

    במדריך הזה, אתם רוצים ש-Datastream יעביר נתונים ממסד הנתונים של המקור לתיקייה /root/tutorial בקטגוריית היעד של Cloud Storage. לכן, מזינים /root/tutorial בשדה קידומת של נתיב השידור.

  2. בשדה פורמט פלט, בוחרים את פורמט הקבצים שנכתבים ב-Cloud Storage. במדריך למתחילים הזה, פורמט הקובץ הוא Avro.

  3. לוחצים על המשך. מופיעה החלונית בדיקת פרטי מקור הנתונים ויצירה בדף יצירת מקור נתונים.

יצירת מקור הנתונים

  1. בודקים את הפרטים של הזרם, וגם את פרופילי החיבור של המקור והיעד שהזרם ישתמש בהם כדי להעביר נתונים ממסד נתונים של Oracle במקור לקטגוריית יעד ב-Cloud Storage.

  2. לוחצים על הפעלת אימות כדי לאמת את הזרם. כשמאמתים זרם, Datastream בודק שהמקור מוגדר בצורה תקינה, מוודא שהזרם יכול להתחבר גם למקור וגם ליעד, ומאמת את ההגדרה מקצה לקצה של הזרם.

  3. אחרי שכל בדיקות האימות עוברות בהצלחה, לוחצים על יצירה.

  4. בתיבת הדו-שיח יצירת מקור נתונים?, לוחצים על יצירה.

אחרי שיוצרים שידור, אפשר להתחיל אותו.

התחלת השידור

בקטע הקודם של המדריך לתחילת העבודה, יצרתם שידור אבל לא התחלתם אותו. אפשר לעשות את זה עכשיו.

במדריך הזה ליצירת שידור מהיר, יוצרים ומתחילים שידור בנפרד, למקרה שתהליך יצירת השידור יגרום לעומס מוגבר על מסד הנתונים של המקור. כדי לדחות את הטעינה, יוצרים את הזרם בלי להתחיל אותו, ואז מתחילים את הזרם כשהטעינה יכולה להתבצע.

אחרי שמפעילים את מקור הנתונים, Datastream יכול להעביר נתונים, סכימות וטבלאות ממסד הנתונים של המקור אל היעד.

  1. נכנסים לדף Streams של Datastream במסוף Google Cloud.

    מעבר לדף העדכונים

  2. מסמנים את התיבה שמשמאל לשידור שרוצים להתחיל. במדריך למתחילים הזה, השם הוא השידור שלי.

  3. לוחצים על התחלה.

  4. בתיבת הדו-שיח, לוחצים על התחלה. הסטטוס של הזרם משתנה מNot started לStarting לRunning.

אחרי שמתחילים להזרים נתונים, אפשר לוודא ש-Datastream העביר נתונים ממסד הנתונים של המקור ליעד.

אימות השידור

בקטע הזה מאשרים ש-Datastream מעביר את הנתונים מכל הטבלאות במסד הנתונים של Oracle במקור אל התיקייה /root/tutorial בקטגוריית היעד ב-Cloud Storage.

  1. נכנסים לדף Streams של Datastream במסוף Google Cloud.

    מעבר לדף העדכונים

  2. לוחצים על מקור הנתונים שיצרתם. במדריך למתחילים הזה, השם הוא My Stream.

  3. בדף פרטי המקור, לוחצים על הקישור שמופיע מתחת לשדה נתיב הכתיבה של היעד. הדף Bucket details של Cloud Storage נפתח בכרטיסייה נפרדת.

  4. מוודאים שמוצגות תיקיות שמייצגות טבלאות במסד הנתונים של Oracle.

  5. לוחצים על אחת מהתיקיות בטבלה ומעמיקים את החיפוש עד שמוצגים נתונים שמשויכים לטבלה.

הסרת המשאבים

כדי לא לצבור חיובים לחשבון Google Cloud על המשאבים שבהם השתמשתם בדף הזה, פועלים לפי השלבים הבאים:

  1. אפשר להשתמש במסוף Google Cloud כדי למחוק את הפרויקט, את מקור הנתונים ואת פרופילי החיבור של Datastream, ואת קטגוריית היעד ב-Cloud Storage.

אם תנקו את המשאבים שיצרתם ב-Datastream, הם לא יתפסו מכסה ולא תחויבו עליהם בעתיד. בסעיפים הבאים מוסבר איך למחוק או להשבית את המשאבים האלו.

מחיקת פרויקט

הדרך הקלה ביותר לבטל את החיוב היא למחוק את הפרויקט שיצרתם בשביל המדריך למתחילים.

  1. במסוף Google Cloud , נכנסים לדף Manage resources.

    כניסה לדף Manage resources

  2. ברשימת הפרויקטים, בוחרים את הפרויקט שרוצים למחוק ולוחצים על Delete.

  3. כדי למחוק את הפרויקט, כותבים את מזהה הפרויקט בתיבת הדו-שיח ולוחצים על Shut down.

מחיקת השידור

  1. נכנסים לדף Streams של Datastream במסוף Google Cloud.

    מעבר לדף העדכונים

  2. לוחצים על הזרם שרוצים למחוק. במדריך למתחילים הזה, השם הוא My Stream.

  3. לוחצים על השהיה.

  4. בתיבת הדו-שיח, לוחצים על השהיה.

  5. בחלונית סטטוס מקור הנתונים בדף פרטי מקור הנתונים, מוודאים שהסטטוס של מקור הנתונים הוא Paused.

  6. לוחצים על מחיקה.

  7. בתיבת הדו-שיח, מזינים Delete בשדה הטקסט ולוחצים על DELETE.

מחיקת פרופילי הקישור

  1. עוברים לדף Connection profiles (פרופילים של חיבורים) ב-Datastream במסוףGoogle Cloud .

    מעבר לדף Connection profiles

  2. מסמנים את התיבה לצד כל פרופיל חיבור שרוצים למחוק. במדריך הזה, מסמנים את תיבות הסימון My Source Connection Profile ו-My Destination Connection Profile.

  3. לוחצים על מחיקה.

  4. בתיבת הדו-שיח, לוחצים על מחיקה.

מחיקת קטגוריית היעד של Cloud Storage

  1. נכנסים לדף Browser של Cloud Storage במסוף Google Cloud.

    כניסה לדף Browser

  2. מסמנים את התיבה שמשמאל לדלי ולוחצים על מחיקה.

  3. בתיבת הדו-שיח, מזינים DELETE בשדה הטקסט ולוחצים על DELETE.

המאמרים הבאים