שיטות מומלצות לשימוש ב-Oracle ב-Bare Metal Solution

אנחנו יודעים שכאשר מטמיעים מסדי נתונים של אורקל ב-Bare Metal Solution, המטרה היא להפעיל את הסביבה בקלות ועם כמה שפחות בעיות. כדי לעזור לכם להשיג את המטרה הזו, אספנו משוב מלקוחות, מארכיטקטים של פתרונות ומצוות התמיכה שלנו שהטמיעו מסדי נתונים של Oracle ב-Bare Metal Solution. המידע הבא כולל המלצות של מומחים שעזרו לנו להפיק את המרב מהשימוש ב-Bare Metal Solution כדי להפעיל סביבת מסד נתונים של אורקל.

פריסת תוכנה

כדי להצליח לפרוס תוכנה של אורקל, מומלץ להשתמש בערכת הכלים של Bare Metal Solution. ערכת הכלים מספקת כמה סקריפטים של Ansible ו-JSON שיעזרו לכם לבצע את ההתקנה של תוכנת Oracle ב-Bare Metal Solution. מידע נוסף על Bare Metal Solution Toolkit ועל התקנת מסדי נתונים של אורקל בסביבת Bare Metal Solution זמין במדריך למשתמש של ערכת הכלים.

מערכת הפעלה

כשמגדירים את מערכת ההפעלה בשרת Bare Metal Solution, מומלץ לבצע את הפעולות הבאות.

אימות שרתי ה-NTP

כל השרתים של Bare Metal Solution צריכים להיות מסונכרנים עם מקור זמן. בוחרים את האפשרות של שרת NTP, פיזי או וירטואלי, שהכי מתאימה לצרכים שלכם.

הערה: אם בוחרים להשתמש במקור זמן ציבורי, צריך להגדיר שער NAT במכונה וירטואלית ב-Compute Engine כדי לספק קישוריות בין סביבת Bare Metal Solution לבין שרת NTP.

כשהשרתים משתמשים ב-NTP לסנכרון הזמן, משתמשים בפקודה timedatectl או ntpstat כדי לראות אם השרת מסונכרן עם מקור זמן. בדוגמאות הבאות אפשר לראות את הפלט של הפקודות האלה עבור שרת שמסתנכרן בהצלחה:

timedatectl show -p NTPSynchronized
NTPSynchronized=yes

synchronised to NTP server (216.239.35.8) at stratum 3
   time correct to within 49 ms
   polling server every 1024 s

הצגת מספר המעבדים (CPU) ופרטי הזיכרון של Oracle VM

כדי לראות מידע על מארח Oracle VM ‏ (OVM), כולל פרטים על מעבד וזיכרון, משתמשים בפקודה xm info. לדוגמה:

/usr/sbin/xm info

מידע נוסף זמין במאמרי העזרה של Oracle בנושא הצגת פרטי המארח

בודקים את ההגדרות של /etc/fstab כדי לראות מהן אפשרויות ההרכבה הנכונות

כדי למנוע את מצב התקנת המערכת שבו תהליך האתחול נתקע, צריך תמיד להגדיר את נקודות הטעינה שאינן בסיסיות שיוצרים (כמו /u01 ו-/u02) עם אפשרות הטעינה nofail במקום הגדרות ברירת המחדל. במקרים נדירים, יכול להיות שמכשירי האחסון הבסיסיים לא יהיו זמינים כשהמארח יופעל מחדש. הגדרת אפשרות ההרכבה nofail מאפשרת לתהליך האתחול להימשך כשהשרת לא יכול לראות את מכשירי האחסון.

בדוגמה הבאה מוצגות ההגדרות המומלצות לנקודות הטעינה /u01 ו-/u02 בקובץ /etc/fstab:

/dev/mapper/3600a098038314352513f4f765339624c1 /u01 xfs nofail 0 0
/dev/mapper/3600a374927591837194d4j371563816c1 /u02 xfs nofail 0 0

אפשר לשנות את אפשרות ההרכבה מ-defaults ל-nofail בלי להשפיע על מערכת ההפעלה. עם זאת, כדי להחיל את ההגדרות החדשות, צריך להפעיל מחדש את השרת.

אישור הגדרות המגבלה של מעטפת

ערכת הכלים של Bare Metal Solution מגדירה את מגבלות המעטפת שנדרשות להגדרת Oracle RAC. אפשר לדלג על האימות הזה אם השתמשתם בערכת הכלים של Bare Metal Solution ולא שיניתם את המגבלות של המעטפת. צריך להגדיר מגבלות של מעטפת לכל החשבונות במערכת ההפעלה שיש להם בעלות על תוכנת Oracle, כולל Grid Infrastructure. ‫Oracle ממליצה על ההגדרות הבאות ל-Linux:

מגבלה	ערך רך	ערך קבוע
פתיחת קבצים	1024	65536
מספר התהליכים המקסימלי למשתמש	16384	16384
גודל הערימה	10240	32768
זיכרון נעול מקסימלי	לפחות 90% מהזיכרון	לפחות 90% מהזיכרון

משתמשים בפקודה ulimit כדי לוודא מהן המגבלות של המעטפת הרכה והמעטפת הקשיחה. לדוגמה, מזינים את הפקודה הבאה כדי לאמת את המגבלה של המעטפת הרכה:

ulimit -S -n -u -s -l

הפלט הבא מציג את הגדרות המגבלה הנכונות של soft shell למערכת עם זיכרון של 384GB:

open files                      (-n) 1024
max user processes              (-u) 16384
stack size              (kbytes, -s) 10240
max locked memory       (kbytes, -l) 355263678

כדי לבדוק את המגבלות של המעטפת הקשיחה, משתמשים בפקודה הבאה:

ulimit -H -n -u -s -l

בפלט הבא מוצגות המגבלות הנכונות של מעטפת קשיחה למערכת עם זיכרון של 384‎ GB:

open files                      (-n) 65536
max user processes              (-u) 16384
stack size              (kbytes, -s) 32768
max locked memory       (kbytes, -l) 355263678

אם אחד מהערכים של מגבלות המעטפת לא מוגדר בצורה נכונה, משנים את הערכים בקובץ /etc/security/limits.conf, כמו בדוגמה הבאה:

oracle  soft  nofile  1024
oracle  hard  nofile  65536
oracle  soft  nproc   2047
oracle  hard  nproc   16384
oracle  soft  stack   10240
oracle  hard  stack   32768
oracle  soft  memlock 355263678
oracle  hard  memlock 355263678

grid    soft  nofile  1024
grid    hard  nofile  65536
grid    soft  nproc   2047
grid    hard  nproc   16384
grid    soft  stack   10240
grid    hard  stack   32768
grid    soft  memlock 355263678
grid    hard  memlock 355263678

הערה: יכול להיות שהערך memlock שנוצר אוטומטית לא מתאים. כפתרון עקיף, אפשר למצוא את נפח הזיכרון הכולל באמצעות הפקודה הבאה, ולהכפיל אותו ב-90% כדי ליצור ערך סביר של memlock שייכלל בקובץ /etc/security/limits.conf.

grep MemTotal /proc/meminfo
MemTotal:       16092952 kB

לא מומלץ לשנות את ההגדרות של נתיבים מרובים

הערה: בדרך כלל לא מומלץ לשנות את הגדרות הריבוי של הנתיבים. חשוב לעדכן את ההגדרות של multipath.conf רק אחרי ששוקלים את כל האפשרויות. שינויים בקובץ multipath.conf עלולים לגרום לאובדן של עמידות האחסון במקרה של כשל בחומרה.

אם בוחרים לשנות את ההגדרות של נתיבים מרובים, לא מגדירים את המאפיין [path_grouping_policy] אם משתמשים ב-multipath.conf כדי ליצור שמות עם כינויים למכשירים. שינוי כזה מבטל את המדיניות שמוגדרת כברירת מחדל בקטע ההגדרה של devices.

בפעולה רגילה, הפקודה multipath -ll אמורה להציג סטטוס שדומה לדוגמה הבאה. כל מכשיר כולל שתי דרכים פעילות שנמצאות במצב מוכן.

3600a0980383143524f2b50476d59554e dm-7 NETAPP  ,LUN C-Mode
size=xxxG features='4 queue_if_no_path pg_init_retries 50 retain_attached_hw_handle' hwhandler='1 alua' wp=rw
|-+- policy='service-time 0' prio=50 status=active
| |- 14:0:3:2 sdf                8:80   active ready running
| `- 16:0:5:2 sdv                65:80  active ready running
`-+- policy='service-time 0' prio=10 status=enabled
  |- 14:0:2:2 sdc                8:32   active ready running
  `- 16:0:3:2 sdq                65:0   active ready running

שימוש במסגרות ג'מבו

כדי למנוע פיצול של מנות נתונים כשהן עוברות משרת אחד לשרת אחר בסביבת RAC, ‏ Oracle ממליצה להגדיר את ממשקי השרת עם מסגרות ג'מבו. למסגרות ג'מבו יש גודל MTU של 9,000 בייט, והן גדולות מספיק כדי לתמוך בגדלים של בלוקים במסד נתונים של Oracle של 8,192 בייט.

הערה:

• תמיד צריך להגדיר מסגרות ג'מבו בשרתי Bare Metal Solution לפני שמתקינים את Oracle RAC.
• מוודאים שההגדרה משתמשת במסגרות ג'מבו בכל השרתים באשכול.
• ‫Partner Interconnect לא תומך ב-jumbo frames, לכן אל תפעילו jumbo frames בין פרויקט Google Cloud לסביבת Bare Metal Solution.
• טווח כתובות ה-IP של השירותים משתמש בגודל MTU רגיל של 1,500 בייט ולא משתמש בפריימים גדולים.

כדי להגדיר מסגרות ג'מבו בשרתי Bare Metal Solution ל-Oracle RAC:

1. כדי לוודא שהוגדרו מסגרות ג'מבו, צריך לעיין בהגדרות של הרשת הפרטית של Bare Metal Solution:

   gcloud bms networks describe NETWORK_NAME --project=PROJECT_ID --region=REGION | grep jumboFramesEnabled
   

   פלט לדוגמה:

   jumboFramesEnabled: true
   

2. מזהים את ממשקי הרשת ואת הגודל שלהם mtu:

   ip link show | grep mtu
   

   פלט לדוגמה:

   1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000
   2: enp55s0f1: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc mq state DOWN mode DEFAULT group default qlen 1000
   3: enp55s0f2: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc mq state DOWN mode DEFAULT group default qlen 1000
   4: enp55s0f3: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc mq state DOWN mode DEFAULT group default qlen 1000
   5: enp17s0f0: <BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP> mtu 1500 qdisc mq master bond0 state UP mode DEFAULT group default qlen 1000
   6: enp17s0f1: <BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP> mtu 1500 qdisc mq master bond1 state UP mode DEFAULT group default qlen 1000
   7: enp173s0f0: <BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP> mtu 1500 qdisc mq master bond0 state UP mode DEFAULT group default qlen 1000
   8: enp173s0f1: <BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP> mtu 1500 qdisc mq master bond1 state UP mode DEFAULT group default qlen 1000
   9: bond1: <BROADCAST,MULTICAST,MASTER,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP mode DEFAULT group default qlen 1000
   10: bond1.117@bond1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP mode DEFAULT group default qlen 1000
   11: bond0: <BROADCAST,MULTICAST,MASTER,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP mode DEFAULT group default qlen 1000
   12: bond0.118@bond0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP mode DEFAULT group default qlen 1000
   13: virbr0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN mode DEFAULT group default qlen 1000
   14: virbr0-nic: <BROADCAST,MULTICAST> mtu 1500 qdisc pfifo_fast master virbr0 state DOWN mode DEFAULT group default qlen 1000
   

3. באמצעות הרשאות ברמת הבסיס, מוסיפים את MTU=9000 לקובץ ההגדרות של הממשק לכל השרתים בסביבת Bare Metal Solution שמשתמשים ב-jumbo frames. הקובץ נמצא בכתובת /etc/sysconfig/network-scripts/ifcfg-interface_name.

   פלט לדוגמה:

   BONDING_OPTS="lacp_rate=1 miimon=100 mode=802.3ad xmit_hash_policy=1"
   TYPE=Bond
   BONDING_MASTER=yes
   PROXY_METHOD=none
   BROWSER_ONLY=no
   DEFROUTE=yes
   IPV4_FAILURE_FATAL=no
   IPV6INIT=no
   IPV6_AUTOCONF=yes
   IPV6_DEFROUTE=yes
   IPV6_FAILURE_FATAL=no
   IPV6_ADDR_GEN_MODE=stable-privacy
   NAME=bond1
   UUID=0e7da685-64bf-44f3-812f-9846d747a801
   DEVICE=bond1
   ONBOOT=yes
   AUTOCONNECT_SLAVES=yes
   MTU=9000
   

4. מפעילים מחדש את שירותי הרשת כדי שהשינויים ייכנסו לתוקף:

   service network restart
   

5. מריצים את הפקודה ping כדי לבדוק את הגדרת ה-MTU החדשה:

    ping -c 2 -M do -s 8972 svr001
    PING svr001 (172.16.1.10) 8972(9000) bytes of data.
    8980 bytes from svr001 (172.16.1.10): icmp_seq=1 ttl=64 time=0.153 ms
    8980 bytes from svr001 (172.16.1.10): icmp_seq=2 ttl=64 time=0.151 ms
   
   --- svr001 ping statistics ---
   2 packets transmitted, 2 received, 0% packet loss, time 1001ms
   rtt min/avg/max/mdev = 0.151/0.152/0.153/0.001 ms
   

גיבויים של Oracle RMAN והשפעה על זמן האחזור

אם תהליך הגיבוי של Oracle RMAN לא מוגבל על ידי הפרמטר RATE, הוא יכול להגדיל את נפח האחסון או את מספר פעולות הקלט/פלט לשנייה עד למגבלת הביצועים של נפח האחסון. הדבר גורם להגבלת קצב העברת הנתונים של נפח האחסון, וכך מגדיל את זמן האחזור של נפח האחסון.

מומלץ להטמיע את RATE פרמטר הערוץ כדי להגביל את כמות רוחב הפס או התפוקה ש-Oracle RMAN יכול להשתמש בהם.

מידע נוסף זמין במסמכי Oracle: ‏23.2.1.4 RATE Channel Parameter

Oracle Automatic Storage Management

צוות Cloud Customer Care וכמה לקוחות של Bare Metal Solution הוסיפו את Oracle Automatic Storage Management ‏ (ASM) לסביבות Bare Metal Solution שלהם. בעזרת הניסיון והידע המשותפים שלהם, ריכזנו את רשימת השיטות המומלצות הבאה שתעזור לכם להתקין בהצלחה קבוצת דיסקים של ASM. המטרה שלנו היא לעזור לכם להשיג את ביצועי האחסון הטובים ביותר בסביבת Bare Metal Solution.

• שימוש בגודל LUN אחיד
• יצירה של עד שתי קבוצות דיסקים של ASM
• קבוצות דיסקים של Stripe ASM בכל ה-LUN בכל הנפחים
• שימוש ב-LUN ובנפחי אחסון עם מאפייני ביצועים זהים באותה קבוצת דיסקים
• אין לשתף נפחי אחסון בין כמה אשכולות RAC
• מהם ה-IOPS וקיבולת התפוקה הנדרשים לפני שיוצרים קבוצות דיסקים של ASM
• להשאיר את הגדרת ה-multipath כמו שהיא
• הגדרת הגדרות חשובות ב-ASM
• יצירת קבוצת דיסקים של ASM עם יתירות חיצונית
• הפעלה מחדש של השרתים ב-Bare Metal Solution אחרי יצירת דיסק ASM

שימוש בגודל LUN אחיד

גודל ה-LUN שבוחרים צריך לייצג את יחידת הצמיחה. ‫ASM פועל בצורה הכי טובה עם יחידות LUN בגודל שווה ועם מאפייני ביצועים דומים. כדי לשפר את הביצועים של מסדי נתונים גדולים מאוד, מומלץ להגדיר גודל LUN של 2TB.

יצירת עד שתי קבוצות דיסקים של ASM

צריך לשלוח קובצי נתונים ועותק אחד של יומני REDO לדיסק DATA אחד. אפשר גם ליצור קבוצת דיסקים שנייה FRA כדי לאחסן גיבויים בתוך הדיסק ויומני ארכיון. כשמאחסנים יומנים בREDOאחסון עם חוסן גבוה, לא צריך שיהיו שני עותקים.

הכתיבה של יומנים ב-REDO רגישה לזמן האחזור. לכן, כדאי לעיין ביומני REDOmultiplexing רק אם פרופיל הביצועים של קבוצת הדיסקים FRA תואם לפרופיל הביצועים של קבוצת הדיסקים DATA.

‫Stripe ASM disk groups across all LUNs in all volumes

כשיוצרים קבוצות דיסקים של ASM, צריך לבצע פספוס של קבוצת הדיסקים בכל ה-LUN של כל הנפחים. אם יחידות ה-LUN שייכות לנפח אחסון יחיד, צריך לכלול את כל יחידות ה-LUN בנפח האחסון כשיוצרים קבוצת דיסקים. לדוגמה, אם לנפח יש X מספרים של LUN, צריך להשתמש בכל המספרים של LUN כשיוצרים את קבוצת הדיסקים.X

ההנחיות האלה רלוונטיות גם לשימוש בכמה אמצעי אחסון, כי אנחנו מספקים מגבלות של QoS על אמצעי אחסון. אם משתמשים בכמה אמצעי אחסון כדי להגדיל את קצב העברת הנתונים (>900 Mbps), צריך לכלול את כל מספרי ה-LUN מכל אמצעי אחסון כשיוצרים את קבוצת הדיסקים כדי להשיג את הביצועים הנדרשים.

הערה: אל תשתמשו בחלק מהנפח כדי ליצור קבוצת דיסקים של ASM.

שימוש ב-LUNs ובנפחי אחסון עם מאפייני ביצועים זהים באותה קבוצת דיסקים

אם משתמשים בכמה אמצעי אחסון כדי לשפר את קצב העברת הנתונים, צריך להשתמש באותו גודל של אמצעי האחסון ובאותן מאפייני ביצועים כשיוצרים קבוצות דיסקים של ASM.

אל תערבבו LUNים מנפחי אחסון עם מאפייני ביצועים שונים. אם כוללים LUN ונפחים עם פרופילי ביצועים שונים באותה קבוצת דיסקים, יכול להיות שלדיסקים שמבצעים פעולות קלט/פלט יהיה סף ביצועים נמוך בהרבה, ושהם יגרמו לעליות פתאומיות בזמן האחזור.

לדוגמה, אם יוצרים קבוצת דיסקים של ASM עם 2 נפחים לא שווים (1 X 16 TiB ו-1 X 5 TiB), פעולות הקלט/פלט שמבוצעות על ידי הדיסקים בנפח של 5TB עלולות לגרום לזמן אחזור גבוה. התפוקה של נפח האחסון של 5TiB נמוכה בהרבה, וגם מספר פעולות הקלט/פלט לשנייה (IOPS) מוגבל, ולכן הוא יגיע לרמת ההגבלה הרבה לפני נפח האחסון של 16TiB.

אין לשתף נפחי אחסון בין כמה אשכולות RAC

לכל אשכול RAC, צריך להקצות נפח אחסון ייחודי. אל תשתפו את אותו נפח אחסון בין כמה אשכולות RAC. מכיוון שמכשירי אחסון מחילים QoS ברמת עוצמת הקול, השיטה הזו מצמצמת את הסיכוי ששכנים רועשים יתחרו על מאגר יחיד של IOPS ושל קצב העברת נתונים.

לדוגמה, אם יש לכם נפח אחסון יחיד עם 8 יחידות LUN, אל תקצו חלק מהיחידות לאשכול מסד נתונים אחד של RAC ואת שאר היחידות לאשכול מסד נתונים אחר של RAC. במקום זאת, צריך להקצות שני נפחי אחסון נפרדים ולהקצות כל נפח לאשכול RAC נפרד וייעודי לכל נפח.

כדאי לדעת את ה-IOPS הנדרש ואת קיבולת התפוקה לפני שיוצרים קבוצות דיסקים של ASM

חשוב להכיר את מספרי הביצועים המקסימליים של הסביבה המקומית. כדי למצוא את המידע הזה, צריך ליצור דוחות AWR בשעות של עומסי עבודה גבוהים כדי לתעד את ערכי ה-IOPS והתפוקה המקסימליים של המערכת. אפשר גם להשתמש בכלי להערכת מסד נתונים של Oracle כדי לאסוף את נתוני הביצועים המקסימליים.

כדאי להשתמש בנתוני הביצועים שלכם בפתרון המקומי ולעיין בטבלת ביצועי האחסון של Bare Metal Solution כדי לחשב את נפח האחסון שצריך להקצות לקבוצות הדיסקים של ASM כדי להשיג את הביצועים הנדרשים. אם יש לכם דרישות משופרות של קצב העברת נתונים (>‎768 Mbps), אתם יכולים ליצור כמה אמצעי אחסון ולבצע פספוס של קבוצת הדיסקים של ASM בכל ה-LUN ובכל אמצעי האחסון.

השארת ההגדרה של נתיבים מרובים ללא שינוי

אין לשנות את ברירת המחדל group_pathing_policy בקובץ /etc/multipath.conf. כדי למנוע הוצאה של צומת RAC במקרה של כשלים בנתיב האחסון, תמיד צריך להשתמש בערך ברירת המחדל group_pathing_policy=group_by_prio.

פרטים נוספים על השארת הגדרת הנתיבים המרובים ללא שינוי זמינים במאמר בנושא איך להימנע משינוי הגדרות הנתיבים המרובים.

הגדרת הגדרות חשובות ב-ASM

אם אתם משתמשים ב-Oracle Grid Infrastructure 12.1.0.2 ואילך ב-Linux, צריך להגדיר את ASM עם ASMFD או UDEV.

בגרסאות קודמות של Oracle Grid Infrastructure, צריך להשתמש ב-ASMLib.

• כדי למנוע מ-Oracle ASM לבחור קודם את מכשיר ה-ASM של הנתיב היחיד, צריך להגדיר את סדר הסריקה באופן הבא:

  ORACLEASM_SCANORDER="dm"
  ORACLEASM_SCANEXCLUDE="sd"
  

  אנחנו דורשים את ההגדרה הזו כי בסביבת האחסון של Bare Metal Solution נעשה שימוש במכשירי DM שאפשר לראות ב-/proc/partitions.

• כדי לבדוק אם ASMLib מוגדר לניהול הדיסקים של ASM, מריצים את הפקודה הבאה כמשתמש root:

  /usr/sbin/oracleasm configure | grep SCAN
  

  אם אתם משתמשים ב-ASMLib, הפלט אמור להיראות כך:

  ORACLEASM_SCANBOOT=true
  ORACLEASM_SCANORDER="dm"
  ORACLEASM_SCANEXCLUDE="sd"
  ORACLEASM_SCAN_DIRECTORIES=""
  

הערה:

• לעולם אל תשתמשו בשמות /dev/sd*‎ ישירות כשאתם יוצרים או מתייגים את דיסקי ה-ASM. בגלל ASMLib,‏ ASMFD וכללי UDEV, צריך להשתמש ישירות בשמות המכשירים /dev/mapper או dm כדי שהאפליקציה תוכל להמשיך לפעול אם נתיב אחד נכשל או אם מערכת ההפעלה מופעלת מחדש.
• בהוראות האלה נעשה שימוש ב-10g כערך, אבל ההתנהגות זהה גם ל-19c Grid Infrastructure. (בהתאם להערה בנושא MOS : ‏ 1679409.1)

יצירת קבוצת דיסקים של ASM עם יתירות חיצונית

האחסון שמסופק על ידי Bare Metal Solution משתמש ב-NETAPP RAID-DP, שהוא סוג של RAID 6 שמגן על הנתונים גם אם שני דיסקים נכשלים. לכן, מומלץ להשתמש בשכפול חיצוני ל-ASM.

הפעלה מחדש של שרתי Bare Metal Solution אחרי יצירת דיסק ASM

אחרי שיוצרים את קבוצות הדיסקים של ASM, צריך להפעיל מחדש את כל השרתים של Bare Metal Solution באשכול כדי לוודא שגם מופע ה-ASM וגם קבוצות הדיסקים עוברים למצב אונליין אחרי ההפעלה מחדש. כדאי לבצע את הפעולה הזו מראש כדי להימנע מבעיות שעלולות לקרות אחרי שמערך מסדי הנתונים נוצר בקבוצת הדיסקים של ASM.

Oracle RAC

בקטע הזה מוסברות שיטות מומלצות להתקנת Oracle Real Application Clusters ‏ (RAC) ב-Bare Metal Solution.

אורך השם של אשכול Oracle Grid Infrastructure

האורך המקסימלי של שם האשכול הוא 15 תווים.

שם של אשכול שארוך מ-15 תווים גורם לסקריפט root.sh להיכשל.

העברת נתונים ב-VNC Viewer דרך SSH

שרתים שרירותיים, כמו VNC Viewer, נחסמים על ידי חומת האש של מערכת ההפעלה שמוגדרת כברירת מחדל בשרת Bare Metal Solution. לכן, צריך ליצור מנהרה ל-X Window או ל-VNC Viewer דרך SSH:

ssh -L 5901:localhost:5901 bms-host
vncviewer localhost:1

מספיק מקום למערכת קבצים בסיסית

מוודאים שיש מספיק מקום פנוי במערכת הקבצים הבסיסית (/). שרתי Bare Metal Solution מגיעים עם מערכת קבצים בסיסית של ‎20 GB, שאולי לא מספיקה.

בשרת Bare Metal Solution, בודקים את הגודל של מערכת הקבצים של הבסיס '/'. גודל ברירת המחדל הוא 20GB, ויכול להיות שהוא לא יספיק. אם הגודל הוא 20GB, צריך להגדיל אותו.

שימוש בשרת שמות כתחליף ל-Cloud DNS

אם אתם לא רוצים להשתמש ב-Cloud DNS, אתם יכולים להתקין שרת שמות משלכם כדי לתרגם את כתובות ה-IP של המארחים בשרת Bare Metal Solution. מערכת Oracle Grid Infrastructure משתמשת בפקודה nslookup כדי לקבל את השם של שרת ה-DNS. הפקודה nslookup לא משתמשת בקובץ /etc/hosts.

איך לעשות את זה?

1. מתקינים את dnsmasq.

   yum makecache
   yum install dnsmasq
   

2. פותחים את קובץ /etc/dnsmasq.conf במצב עריכה.

   vi /etc/dnsmasq.conf
   

3. מוסיפים את השורות הבאות לקובץ /etc/dnsmasq.conf:

   port=53
   domain-needed
   bogus-priv
   
   strict-order
   expand-hosts
   domain=localdomain
   
   address=/.localdomain/127.0.0.1
   address=//127.0.0.1
   
   listen-address=127.0.0.1
   resolv-file=/etc/dnsmasq-resolv.conf
   

4. עורכים את הקובץ /etc/dnsmasq-resolv.conf ואת הקובץ /etc/resolv.conf כך שיכילו רק את השורה הבאה:

   nameserver 127.0.0.1
   

5. מפעילים את השירות dnsmasq:

   systemctl restart dnsmasq
   
   systemctl status dnsmasq
   

6. בשני הצמתים, מריצים את הפקודה nslookup.

   nslookup at-2811641-svr001
   Server:         127.0.0.1
   Address:        127.0.0.1#53
   
   Name:   at-2811641-svr001
   Address: 192.168.1.10
   
   nslookup at-2811641-svr002
   Server:         127.0.0.1
   Address:        127.0.0.1#53
   
   Name:   at-2811641-svr002
   Address: 192.168.1.11
   

התקנת NTP

כשמתקינים NTP, צריך לוודא שכל הצמתים של RAC מסתנכרנים עם השעה של שרת ה-NTP הפנימי או של שרת ה-jump host. איך לעשות את זה?

1. מתקינים NTP.

   yum install ntp
   

2. מפעילים את השירות ntpd.

   systemctl start ntpd
   

3. בקובץ /etc/ntp.conf, מוסיפים את השורה הבאה כדי לסנכרן עם מארח ה-bastion, שהוא 10.x.x.x במקרה הזה. אפשר גם להשתמש בשרת NTP פנימי. במקרה הזה, 192.x.x.x הוא השרת של Bare Metal Solution.

   restrict 192.x.x.x mask 255.255.255.0 nomodify notrap
   server 10.x.x.x prefer
   

4. כדי להתחיל בסנכרון, צריך לעדכן את שרת הזמן כדי להתחיל בסנכרון.

   ntpdate -qu SERVER_NAME
   

הרצת סקריפט הבסיס בצומת אחד בכל פעם

מריצים את סקריפט השורש root.sh בצומת אחד בכל פעם. אם ההפעלה נכשלת בצומת הראשון, לא ממשיכים לצומת הבא.

פתרון הבעיה Localhost

מכיוון ששרת Bare Metal Solution לא מוסיף את Localhost לקובץ /etc/hosts, צריך לפתור את הבעיה של Localhost ל-127.0.0.1 באופן ידני.

מוודאים שיש מספיק מגבלות משאבים

לפני שמתקינים את Oracle RAC בשרת Bare Metal Solution, צריך לוודא שמגבלות המשאבים של המשתמש root והמשתמש oracle מספיקות.

אפשר להשתמש בפקודה ulimit כדי לבדוק את המגבלות.

הגדרת המשתנה ORACLEASM_SCANORDER

אם אתם משתמשים ב-Oracle ASMLib, כדי למנוע מ-Oracle ASM לבחור קודם את מכשיר ה-ASM של הנתיב היחיד, צריך להגדיר את סדר הסריקה באופן הבא:

ORACLEASM_SCANORDER="dm"
ORACLEASM_SCANEXCLUDE="sd"

אנחנו דורשים את ההגדרה הזו כי סביבת האחסון של Bare Metal Solution משתמשת במכשירי DM שאפשר לראות בקובץ /proc/partitions.

הערה: ההוראה הזו מיועדת ל-Oracle 10g, אבל ההתנהגות זהה גם ל-19c Grid Infrastructure.

‫_{Oracle הוא סימן מסחרי רשום של חברת Oracle ו/או של השותפים העצמאיים שלה.}