ניהול תוכן במאגר עמודות באופן ידני

בחירת גרסת התיעוד:

בדף הזה מוסבר איך לנהל באופן ידני את התוכן של מנוע מבוסס-עמודות כדי לשפר את ביצועי השאילתות. הוא מסביר איך להוסיף ולהסיר טבלאות, תצוגות מהותיות ואינדקסים של ScaNN.

ניהול טבלאות, תצוגות מהותיות ואינדקסים של ScaNN

בהתאם לעומס העבודה, אתם יכולים להוסיף ידנית עמודות למאגר העמודות, או להסיר חלק מהעמודות או את כולן מטבלה או מתצוגה מהותית במאגר העמודות. הערכת השאילתות משתמשת באופן אוטומטי בנתונים שמאוחסנים בעמודות כדי לענות על השאילתות.

באופן דומה, אתם יכולים להוסיף באופן ידני אינדקס ScaNN למנוע מבוסס-העמודות כדי להאיץ את החיפוש הווקטורי. כך אפשר לבצע חיפושים יעילים של השכן הקרוב ביותר בקבוצות נתונים גדולות של הטמעות וקטורים.

כשבוחרים אילו טבלאות, תצוגות מהותיות ועמודות להוסיף למאגר העמודות, צריך להביא בחשבון גם את גודל מאגר העמודות וגם את צורת עומס העבודה. מועמדים טובים לבחירה הם טבלאות גדולות או תצוגות שנסרקות לעיתים קרובות. בטבלאות או בתצוגות האלה, צריך לזהות אינדקסים גדולים לא ייחודיים שמשמשים את עומס העבודה של OLAP. אפשר להוסיף את העמודות של האינדקסים האלה למאגר העמודות, ואולי להסיר את האינדקסים. כך אפשר לחסוך את עלות הביצועים שמשויכת לתחזוקה שלהם במופע הראשי.

כדי לנהל את התוכן של המנוע מבוסס-העמודות, אפשר להשתמש באחת מהשיטות הבאות:

במאמר אילו נתונים אפשר להוסיף למאגר העמודות מוסבר אילו סוגי נתונים ומקורות נתונים אפשר להוסיף למאגר העמודות כשמוסיפים טבלאות, עמודות ותצוגות חומריות.

ניהול התוכן של מאגר העמודות באמצעות עדכון דגלים לניהול מסד נתונים

אפשר לנהל את התוכן של מאגר העמודות באופן ידני על ידי עדכון של google_columnar_engine.relations דגל מסד הנתונים. לדגל יש ערך יחיד שמציין את כל מקורות הנתונים של מאגר העמודות. במהלך ההפעלה מחדש, העמודות שצוינו בדגל הזה מאוכלסות באופן אוטומטי במאגר העמודות.

אפשר להשתמש בדגל הזה יחד עם הפיכה אוטומטית של נתונים לעמודות. אם יש זיכרון זמין במנוע מבוסס-עמודות אחרי אכלוס העמודות שציינתם באמצעות הדגל google_columnar_engine.relations, ארגון אוטומטי בעמודות מוסיף עוד עמודות למאגר העמודות לפי הצורך.

מידע נוסף על הגדרת דגלים לניהול מסדי נתונים זמין במאמר הגדרת דגלים לניהול מסדי נתונים ב-AlloyDB Omni.

הוספת עמודות באמצעות דגלים

כדי להוסיף עמודות למאגר העמודות, מגדירים את הדגל google_columnar_engine.relations. מגדירים את הערך שלו כרשימה של פריטים שמופרדים בפסיקים, כשכל פריט מציין רשימה של עמודות שצריך לכלול מטבלה ספציפית, בפורמט הבא:

DATABASE_NAME.SCHEMA_NAME.TABLE_NAME(COLUMN_LIST)

מחליפים את מה שכתוב בשדות הבאים:

  • ‫DATABASE_NAME: מסד הנתונים שמכיל את העמודות שרוצים להוסיף למאגר העמודות.

  • ‫SCHEMA_NAME: הסכימה שמזהה את הטבלאות או את התצוגות החומריות שרוצים להוסיף למאגר העמודות, לדוגמה public.

  • ‫TABLE_NAME: הטבלה או התצוגה החומרית שמכילות את העמודות שרוצים להוסיף למאגר העמודות.

  • ‫COLUMN_LIST: רשימה מופרדת בפסיקים של העמודות שרוצים להוסיף למאגר העמודות.

כדי להוסיף את כל העמודות של טבלה אחת או של תצוגה מהותית אחת, משמיטים את רשימת העמודות:

DATABASE_NAME.SCHEMA_NAME.TABLE_NAME

תחביר SQL כשמשתמשים ב-google_columnar_engine.relations

בדוגמה הבאה מוצג שימוש בפקודה ALTER SYSTEM כדי להוסיף שתי עמודות בסכימה public למאגר העמודות.

ALTER SYSTEM SET google_columnar_engine.relations='DATABASE_NAME.public.TABLE_NAME(COLUMN_1,COLUMN_2)';

הסרת עמודות באמצעות דגלים

כדי להסיר עמודות ממאגר העמודות, מגדירים ערך חדש לדגל google_columnar_engine.relations שמתואר בקטע הקודם, בלי העמודות שרוצים להסיר.

כדי להסיר את כל העמודות ממאגר העמודות, מבטלים את ההגדרה של הדגל google_columnar_engine.relations.

מידע נוסף על הגדרת דגלים לניהול מסדי נתונים זמין במאמר הגדרת דגלים לניהול מסדי נתונים ב-AlloyDB Omni.

ניהול התוכן של מאגר העמודות באמצעות פונקציות SQL

אתם יכולים לנהל את התוכן של מאגר העמודות באופן ידני באמצעות פונקציות SQL.

הערכת דרישות הנפח של אחסון עמודות

מריצים את פונקציית ה-SQL‏ google_columnar_engine_estimate כדי להעריך את כמות השטח הכוללת שנדרשת ליחס במנוע מבוסס-עמודות.

לקוח psql

SELECT google_columnar_engine_estimate(
    relation => 'TABLE_NAME',
    columns => 'COLUMN_LIST'
);
    מחליפים את הערכים בשדות הבאים:
  • ‫TABLE_NAME: מחרוזת שמכילה את שם הטבלה או התצוגה המהותית. אם הטבלה או התצוגה נמצאות בסכימה שאינה ציבורית, צריך לציין את שם הסכימה, נקודה ואת שם הטבלה או התצוגה. לדוגמה: 'myschema.mytable'.
  • ‫COLUMN_LIST: מחרוזת שמכילה רשימה מופרדת בפסיקים של שמות העמודות שרוצים להוסיף, תלוית אותיות רישיות. אם רוצים להוסיף את כל העמודות של הטבלה או של התצוגה החומרית לחנות העמודות, משמיטים את הפרמטר הזה.

הוספת עמודות באמצעות פונקציות SQL

מריצים את פונקציית ה-SQL‏ google_columnar_engine_add כדי להוסיף עמודות למאגר העמודות.

השיטה הזו מוסיפה את העמודות שצוינו למאגר העמודות ומנהלת את העמודות רק בצומת המקושר. העמודות החדשות לא נשמרות במאגר אחרי הפעלה מחדש של המכונה.

השיטה הזו לא משנה את הדגל לניהול מסד הנתונים google_columnar_engine.relations. הפיכה אוטומטית של נתונים לעמודות לא מתייחסת לעמודות שנוספו באמצעות פונקציית ה-SQL הזו.

לקוח psql

SELECT google_columnar_engine_add(
    relation => 'TABLE_NAME',
    columns => 'COLUMN_LIST'
);
    מחליפים את הערכים הבאים:
  • ‫TABLE_NAME: מחרוזת שמכילה את שם הטבלה או התצוגה החומרית. אם הטבלה או התצוגה נמצאות בסכימה אחרת מ-public, צריך לציין את שם הסכימה, נקודה ואת שם הטבלה או התצוגה, לדוגמה: 'myschema.mytable'.
  • ‫COLUMN_LIST: מחרוזת שמכילה רשימה מופרדת בפסיקים של שמות העמודות שרוצים להוסיף. השמות תלויי אותיות רישיות. אם רוצים להוסיף את כל העמודות של הטבלה או של התצוגה המהותית למאגר העמודות, משמיטים את הפרמטר הזה.

הסרת עמודות באמצעות פונקציות SQL

מריצים את פונקציית ה-SQL‏ google_columnar_engine_drop באופן הבא:

לקוח psql

SELECT google_columnar_engine_drop(
    relation => 'TABLE_NAME',
    columns => 'COLUMN_LIST'
);
מחליפים את הערכים הבאים:
  • ‫TABLE_NAME: מחרוזת שמכילה את שם הטבלה או התצוגה המהותית. אם הטבלה או התצוגה נמצאות בסכימה אחרת מ-public, צריך לציין את שם הסכימה, נקודה ואת שם הטבלה או התצוגה, לדוגמה: 'myschema.mytable'.
  • ‫'COLUMN_LIST': מחרוזת שמכילה רשימה מופרדת בפסיקים, תלוית אותיות רישיות, של שמות העמודות שרוצים להוסיף. אם רוצים להוסיף את כל העמודות בטבלה או בתצוגה החומרית למאגר העמודות, משמיטים את הפרמטר הזה.

אפשר להשתמש בפונקציה google_columnar_engine_drop כדי להסיר עמודות שהוספתם על ידי עריכת דגל לניהול מסד נתונים google_columnar_engine.relations. עם זאת, כשעושים את זה, העמודות האלה מתווספות בחזרה למאגר העמודות כשהמכונה מופעלת מחדש.

ניהול אינדקסים של ScaNN במנוע מבוסס-עמודות

כדי להאיץ את החיפוש הווקטורי, אתם יכולים לטעון אינדקסים של ScaNN למטמון האינדקסים של המנוע מבוסס-העמודות.

הוספה, הסרה ואימות של אינדקסים של ScaNN באמצעות פונקציות SQL

אתם יכולים להוסיף, להסיר ולאמת באופן ידני אינדקסים של ScaNN ממטמון לאינדקס באמצעות פונקציות SQL. הוספת אינדקס למטמון יכולה להאיץ שאילתות חיפוש וקטורי.

הוספת אינדקס ScaNN

כדי להוסיף אינדקס ספציפי למטמון האינדקס של מנוע מבוסס-עמודות, משתמשים בפונקציית ה-SQL הבאה:

SELECT google_columnar_engine_add_index(index => 'SCANN_INDEX_NAME');

מחליפים את SCANN_INDEX_NAME בשם של אינדקס ScaNN שרוצים להוסיף למטמון לאינדקס של מנוע מבוסס-עמודות.

הסרה של אינדקס ScaNN

כדי להסיר אינדקס ScaNN ספציפי ממנוע מבוסס-עמודות, משתמשים בפונקציית ה-SQL הבאה:

SELECT google_columnar_engine_drop_index(index => 'SCANN_INDEX_NAME');

מחליפים את SCANN_INDEX_NAME בשם של אינדקס ScaNN שרוצים להסיר.

אימות השימוש במנוע העמודות

כדי לבדוק אם הסריקות של אינדקס הווקטורים משתמשות במנוע מבוסס-העמודות, מריצים את הפקודה EXPLAIN ANALYZE עם האפשרות COLUMNAR_ENGINE:

EXPLAIN (ANALYZE TRUE, SCANN TRUE, COSTS FALSE, TIMING FALSE, SUMMARY FALSE, VERBOSE FALSE, COLUMNAR_ENGINE TRUE)
SELECT * FROM t ORDER BY val <=> '[0.5,0.5,0.5,0.5]' LIMIT 100;

הפקודה מחזירה תוכנית לביצוע שאילתה שדומה לזו:

Index Scan using t_ix3 on t t_1 (actual rows=100 loops=1)
      Order By: (val <=> '[0.5,0.5,0.5,0.5]'::vector)
      Limit: 100
      ScaNN Info: (... columnar engine nodes hit=6...)
      Columnar Engine ScaNN Info: (index found=true)

הנוכחות של columnar engine nodes hit ו-Columnar Engine ScaNN Info: (index found=true) בפלט מאשרת שהמנוע מבוסס-העמודות משמש לשאילתה.