כשמוסיפים, מוחקים או מעדכנים שורות בטבלה, מנוע מבוסס-עמודות לא מעדכן את הנתונים במאגר העמודות באופן מיידי. במקום זאת, המערכת מסמנת את התוכן המושפע בחנות העמודות כלא חוקי, והשאילתות מתוכננות ומופעלות באמצעות נתונים מבוססי-עמודות מחנות העמודות ונתונים מבוססי-שורות ממטמון השורות ומאחסון מסד הנתונים.
עם הזמן, ככל שיותר ויותר בלוקי נתונים הופכים ללא תקפים, שיפורי הביצועים של השאילתות שמספק המנוע מבוסס-העמודות מצטמצמים עד לנקודה שבה צריך לרענן את הנתונים מבוססי-העמודות כדי לשפר שוב את הביצועים של השאילתות. כשמגיעים לסף המינימלי לרענון, המנוע מבוסס-העמודות משתמש במשימה ברקע כדי לרענן את הנתונים הלא תקינים במאגר הנתונים בעמודות. כברירת מחדל, המנוע מבוסס-העמודות משתמש בסף מינימלי לרענון של 50, כלומר תוכן נתון במאגר העמודות מסומן לרענון כש-50% מהתוכן שלו הופך ללא חוקי. אפשר לשנות את הסף המינימלי לרענון כדי להתאים את התקורה של הרענון האוטומטי, וכך לשפר את הביצועים של שאילתות שוטפות בעומס העבודה של האפליקציה.
בנוסף, אפשר לרענן ידנית בכל שלב טבלאות ואינדקסים של ScaNN שנטענו במנוע העמודות. בדרך כלל, מבצעים רענון ידני כשרוצים שהשינויים בטבלה יופיעו במאגר העמודות כמה שיותר מהר אחרי ביצוע השינויים.
בדיקת אחוז הנתונים הלא חוקיים
כשהאפליקציה מוסיפה, מוחקת או מעדכנת שורות בטבלה, המנוע מבוסס-העמודות מסמן את הנתונים המושפעים במאגר העמודות כלא חוקיים. כדי לבדוק את אחוז הנתונים הלא חוקיים בטבלאות ובתצוגות המהותיות, אפשר לשלוח שאילתה לתצוגה g_columnar_relations. כך תוכלו להחליט אם צריך לבצע רענון ידני או לשנות את ערך הסף של הרענון האוטומטי.
כדי לראות את שיעור בלוקי הנתונים הלא תקפים של כל היחסים במאגר העמודות, מריצים את השאילתה הבאה:
SELECT relation_name, invalid_percentage FROM g_columnar_relations;
כדי לבדוק את שיעור בלוקי נתונים לא תקפים עבור טבלה ספציפית, מוסיפים פסוקית WHERE לשאילתה.
SELECT relation_name,
CASE
WHEN total_block_count > 0 THEN (invalid_block_count * 100.0 / total_block_count)
ELSE 0.0
END AS invalid_block_percentage
FROM
g_columnar_relations;
WHERE
relation_name = TABLE_NAME
מחליפים את TABLE_NAME במחרוזת שמכילה את שם הטבלה או התצוגה המהותית. אם המשאב נמצא בסכימה ששונה מ-public, צריך לציין את שם הסכימה בפורמט SCHEMA_NAME.TABLE_NAME. לדוגמה: myschema.mytable.
כדי לבדוק את שיעור בלוקי הנתונים הלא תקפים באינדקס ספציפי, מוסיפים לשאילתה פסוקית WHERE.
SELECT index_name,
CASE
WHEN total_block_count > 0 THEN (invalid_block_count * 100.0 / total_block_count)
ELSE 0.0
END AS invalid_block_percentage
FROM
g_columnar_indexes;
WHERE
index_name = INDEX_NAME
שינוי הסף המינימלי לרענון של מנוע מבוסס-עמודות
כדי לשנות את הסף המינימלי לרענון של המנוע מבוסס-העמודות:
פותחים את המניפסט של אשכול מסד הנתונים של
DBCluster.בקטע
primarySpec, מוסיפים את הפרמטרgoogle_columnar_engine.refresh_threshold_percentageלבלוקparameters:apiVersion: alloydbomni.dbadmin.goog/v1 kind: DBCluster metadata: name: DB_CLUSTER_NAME spec: # ... existing cluster configuration ... primarySpec: # ... existing primary configuration ... parameters: google_columnar_engine.refresh_threshold_percentage: "THRESHOLD"מחליפים את המשתנים הבאים:
- DB_CLUSTER_NAME: השם של אשכול מסד הנתונים.
- THRESHOLD: ערך של מספר שלם בין
1ל-100. הערך הזה מציין את אחוז בלוקי הנתונים בתוכן שצריכים להפוך ללא חוקיים כדי שהתוכן יסומן לרענון.
החלת המניפסט המעודכן של
DBCluster:kubectl apply -f DB_CLUSTER_MANIFESTמחליפים את
DB_CLUSTER_MANIFESTבנתיב אל קובץ המניפסטDBClusterששיניתם.
רענון ידני של טבלאות ואינדקסים וקטוריים במאגר העמודות
אפשר לרענן ידנית טבלאות ואינדקסים של וקטורים במנוע מבוסס-עמודות בכל שלב באמצעות פונקציות SQL ייעודיות. סוגי האינדקסים הנתמכים הם ScaNN ו-HNSW.
כדי לרענן את הנתונים של טבלה במנוע מבוסס-העמודות, מריצים את הפונקציה google_columnar_engine_refresh.
SELECT google_columnar_engine_refresh(TABLE_NAME);
מחליפים את TABLE_NAME במחרוזת שמכילה את שם הטבלה או התצוגה המהותית. אם המשאב נמצא בסכימה אחרת, ולא ב-public, צריך לציין את שם הסכימה בפורמט SCHEMA_NAME.TABLE_NAME, לדוגמה myschema.mytable.
באופן דומה, כדי לרענן באופן ידני אינדקס וקטורי במנוע מבוסס-העמודות, מריצים את הפונקציה google_columnar_engine_refresh_index.
SELECT google_columnar_engine_refresh_index(index => INDEX_NAME);
מחליפים את INDEX_NAME במחרוזת שמכילה את שם האינדקס שרוצים לרענן.