סקירה כללית של אינדקסים של AI
אינדקסים של AI מאפשרים לבצע חיפושים בשפה טבעית בעמודות של טבלאות בלי ליצור הטמעות באופן ידני או לנהל מודלים. אתם יכולים להשתמש בפונקציה AI.SEARCH כדי לשלוח שאילתות על הנתונים, ו-BigQuery יטפל באופן אוטומטי בבחירת העמודות, באופטימיזציה של האינדקס ובתחזוקה השוטפת.
מידע על אינדקסים של AI
אינדקס AI הוא הפשטה מנוהלת של הוספה לאינדקס עם אופטימיזציה עצמית, שמאפשרת להשתמש בחיפוש בשפה טבעית בעמודה אחת או יותר בטבלאות ב-BigQuery באמצעות הפונקציה AI.SEARCH.
כדאי להשתמש באינדקס AI כשרוצים לבצע חיפוש בשפה טבעית בעמודת טקסט אחת או יותר, בלי לנהל מודלים של הטמעה, עמודות הטמעה או אינדקסים של וקטורים. אם אתם צריכים מודל הטמעה ספציפי או אפשרויות של אינדקס וקטורי בהתאמה אישית, צרו הטמעות וצרו אינדקס וקטורי.
אינדקסים של AI ב-BigQuery עוזרים לכם לבצע את המשימות הבאות בצורה יעילה יותר:
- חיפושים בשפה טבעית בלי לנהל מודלים: אתם יכולים לחפש בנתונים באמצעות שאילתות בשפה טבעית בלי ליצור הטמעות או להגדיר אינדקסים וקטוריים.
- בחירת עמודות אוטומטית: כשיוצרים אינדקס AI עם האפשרות
AUTO COLUMNS, מערכת BigQuery מזהה ובוחרת באופן אוטומטי עמודות מועמדות בטבלה להוספה לאינדקס, או מאפשרת לכם לציין רשימה מפורשת של עמודות שצריך לכלול. - הוספה מותאמת לאינדקס: המערכת של BigQuery קובעת באופן אוטומטי את האסטרטגיות האופטימליות להוספה לאינדקס ולאחזור של הנתונים והשאילתות שלכם, ומיישמת אותן.
- ניהול מלא של מחזור החיים: כשהנתונים בטבלה משתנים, BigQuery מנהל באופן אוטומטי את היצירה, התחזוקה, העדכונים והרענונים של האינדקס, בלי שתצטרכו לנהל את פריטי ה-AI הבסיסיים.
ניהול עומסי עבודה (workload)
כברירת מחדל, BigQuery משתמש במשבצות על פי דרישה ובמאגר המשבצות המשותף כדי לטפל בתהליך ברקע שנדרש כדי ליצור, לרענן ולשפר אינדקס AI. כדי להבטיח ביצועי הוספה לאינדקס צפויים ועקביים בעומסי עבודה גדולים יותר בסביבת הייצור, או כדי ליצור אינדקס AI בטבלה עם יותר ממיליון שורות, מבצעים את הפעולות הבאות:
- יוצרים הזמנה באזור שבו נמצאת הטבלה.
- מקצים את הפרויקט להזמנה, כשהערך של
job_typeמוגדר ל-BACKGROUND.
אם יש הקצאה של BACKGROUND, המערכת של BigQuery משתמשת בה כדי להריץ את המשימות ברקע שמעדכנות את אינדקס ה-AI.
תמחור
העלויות של אינדקס ה-AI מתחלקות לקטגוריות הבאות:
- הצהרות DDL: אין חיובים נוספים על הרצת ההצהרות
CREATE AI INDEXו-DROP AI INDEX. - עיבוד נתוני אינדקס ברקע (
gc_משימות): כל עיבוד הנתונים מתבצע ישירות ב-BigQuery באמצעות יחידות קיבולת של BigQuery. כברירת מחדל, BigQuery משתמש ב-slots על פי דרישה כדי לטפל במשימות האלה, והפרויקט של הטבלה מחויב לפי מודל החיוב על פי דרישה של DML. אם לפרויקט מוקצה הזמנה שלBACKGROUND, המערכת של BigQuery משתמשת בהזמנה שלBACKGROUNDכדי להריץ את משימות ה-DML האלה ברקע, וההזמנה מחויבת על השימוש בזמן ה-slot. מידע נוסף זמין במאמר מעקב אחרי עלויות של משימות ברקע. - יצירת הטמעות: יצירת הטמעות לאינדקסי AI, כולל ההטמעות שנוצרו לשאילתות
AI.SEARCHבטבלאות עם אינדקס AI, מחויבת לפי התעריף שפורסם למודל הבסיסי שבו משתמש אינדקס ה-AI. יכול להיות ש-Google תעדכן את מודל ברירת המחדל שמשמש לאינדקסים של AI, כדי לשפר את מחזור החיים או את הביצועים של המודל, ותחייב לפי התמחור של BigQuery שפורסם למודל. - אימון ואופטימיזציה של אינדקסים: אין חיובים נוספים על העיבוד שנדרש כדי לאמן ולבצע אופטימיזציה של מבני האינדקסים כשמשתמשים במאגר ברירת המחדל של משבצות משותפות, כל עוד הגודל הכולל של נתוני הטבלה שנוספו לאינדקס קטן מהמגבלה של הארגון.
- אחסון: אינדקסים של AI צוברים עלויות אחסון כל עוד הם קיימים בטבלה. אפשר לראות את נפח האחסון של אינדקס AI בעמודה
total_logical_bytesבתצוגהINFORMATION_SCHEMA.AI_INDEXES. - שאילתות: שאילתות שמשתמשות בפונקציה
AI.SEARCHמחויבות לפי תמחור המחשוב הרגיל של BigQuery. יצירת הטמעות לשאילתה מחויבת כמו שמתואר קודם ברשימה הזו.
מגבלות על אינדקסים של AI
כשמשתמשים באינדקסים מבוססי-AI, חלות המגבלות הבאות:
- אם הטקסט המשולב של העמודות שנוספו לאינדקס בשורה מסוימת ארוך מאוד, למשל מסמכים מלאים או הרבה עמודות
STRINGארוכות, רק חלק מהטקסט משמש לחיפוש. כדי להבטיח שהשדות הכי אינפורמטיביים ישמשו את המודל, ציינו רשימת עמודות מפורשת ב-CREATE AI INDEX, כשהעמודות עם האותות הכי חזקים מופיעות ראשונות. - אין תמיכה בשאילתות שדורשות התאמה מדויקת של ערכי מזהים ללא משמעות בשפה טבעית, כמו מזהים, UUID, גיבובים או קודי מערכת. כברירת מחדל,
AUTO COLUMNSכולל את כל עמודות ה-STRING ברמה העליונה, בלי לסנן עמודות של מזהים אטומים. כדי להחריג עמודות של מזהים אטומים מאינדקס ה-AI, צריך לציין רשימת עמודות מפורשת ב-CREATE AI INDEX. - שאילתות שמכילות אילוצים מספריים מחמירים או דורשות סינון מובנה בעמודות שהן לא
STRINGלא נתמכות בטקסט חיפוש בשפה טבעית בלבד. במקום זאת, אפשר להחיל מסננים מובְנים או מספריים באמצעות פסוקיתWHEREבשאילתת משנה של סינון מראש. - איכות החיפוש עלולה להיפגע אם אינדקס ה-AI כולל עמודות עם טקסט שלא מתאר את השורה, כמו יומנים גולמיים, דוחות קריסות, כתובות URL או מחרוזות שנוצרו על ידי מכונה. כדי להחריג את העמודות האלה, צריך לציין את העמודות שרוצים להוסיף לאינדקס במקום להשתמש ב-
AUTO COLUMNS. - ההצהרות
CREATE OR REPLACE AI INDEXו-ALTER AI INDEXלא נתמכות. בנוסף, אי אפשר להשמיט, לשנות את השם או לשנות את סוג הנתונים של עמודת מקור שנכללת באינדקס AI. כדי לשנות עמודות שנוספו לאינדקס, צריך למחוק את אינדקס ה-AI וליצור אותו מחדש. אי אפשר לבצע את הפעולות הבאות בטבלאות עם אינדקסים של AI. כדי לבצע את הפעולות האלה, צריך למחוק את אינדקס ה-AI.
- יוצרים טבלה מהסכימה של הטבלה (
CREATE TABLE ... LIKE). - העתקת הטבלה (
bq cpאוCREATE TABLE ... COPY), כולל העתקות בין אזורים, או העתקת נתונים לטבלה קיימת עם אינדקס AI. - משכפלים את הטבלה (
CREATE TABLE ... CLONE). - יוצרים קובץ snapshot של טבלה (
CREATE SNAPSHOT TABLE). - משנים את שם הטבלה (
ALTER TABLE ... RENAME TO). - משחזרים את הטבלה (
RESTORE TABLE).
- יוצרים טבלה מהסכימה של הטבלה (