Übersicht über KI-Indexe
Mit KI-Indizes können Sie in natürlicher Sprache in Tabellenspalten suchen, ohne Einbettungen manuell generieren oder Modelle verwalten zu müssen. Mit der Funktion AI.SEARCH können Sie Ihre Daten abfragen, während BigQuery automatisch die Spaltenauswahl, die Indexoptimierung und die laufende Wartung übernimmt.
KI-Indizes
Ein KI-Index ist eine verwaltete, selbstoptimierende Indexierungsabstraktion, mit der Sie die Suche in natürlicher Sprache über eine oder mehrere Spalten in Ihren BigQuery-Tabellen mit der Funktion AI.SEARCH verwenden können.
Verwenden Sie einen KI-Index, wenn Sie eine Suche in natürlicher Sprache in einer oder mehreren Textspalten durchführen möchten, ohne Einbettungsmodelle, Einbettungsspalten oder Vektorindexe verwalten zu müssen. Wenn Sie ein bestimmtes Einbettungsmodell oder benutzerdefinierte Vektorindexoptionen benötigen, generieren Sie Einbettungen und erstellen Sie einen Vektorindex.
Mit BigQuery-KI-Indexen können Sie die folgenden Aufgaben effizienter ausführen:
- Suchen in natürlicher Sprache ohne Modellverwaltung durchführen: Sie können Ihre Daten mit Abfragen in natürlicher Sprache durchsuchen, ohne Einbettungen generieren oder Vektorindexe konfigurieren zu müssen.
- Automatische Spaltenauswahl: Wenn Sie einen KI-Index mit der Option
AUTO COLUMNSerstellen, identifiziert und wählt BigQuery automatisch Kandidatenspalten in der Tabelle aus, die indexiert werden sollen. Alternativ können Sie eine explizite Liste von Spalten angeben, die einbezogen werden sollen. - Adaptive Indexierung: BigQuery ermittelt automatisch die optimalen Indexierungs- und Abrufstrategien für Ihre Daten und Abfragen und wendet sie an.
- Vollständig verwalteter Lebenszyklus: Wenn sich Ihre Tabellendaten ändern, verwaltet BigQuery automatisch die Indexerstellung, ‑wartung, ‑aktualisierung und ‑aktualisierung, ohne dass Sie die zugrunde liegenden KI-Artefakte verwalten müssen.
Arbeitslastverwaltung
Standardmäßig verwendet BigQuery On-Demand-Slots und den freigegebenen Slot-Pool, um die Hintergrundverarbeitung zu verarbeiten, die zum Erstellen, Aktualisieren und Optimieren eines KI-Index erforderlich ist. So sorgen Sie für eine vorhersehbare und konsistente Indexierungsleistung bei größeren Produktionsarbeitslasten oder erstellen einen KI-Index für eine Tabelle mit mehr als 1.000.000 Zeilen:
- Erstellen Sie eine Reservierung in der Region, in der sich Ihre Tabelle befindet.
- Weisen Sie der Reservierung Ihr Projekt zu, wobei
job_typeaufBACKGROUNDgesetzt ist.
Wenn eine BACKGROUND-Reservierung vorhanden ist, verwendet BigQuery sie, um die Hintergrundjobs auszuführen, die den KI-Index verwalten.
Preise
Die Kosten für den KI-Index fallen in die folgenden Kategorien:
- DDL-Anweisungen: Für das Ausführen der Anweisungen
CREATE AI INDEXundDROP AI INDEXfallen keine zusätzlichen Gebühren an. - Datenverarbeitung für Hintergrundindex (
gc_-Jobs): Die gesamte Datenverarbeitung erfolgt direkt in BigQuery mithilfe von BigQuery-Slots. Standardmäßig verwendet BigQuery On-Demand-Slots, um diese Jobs zu verarbeiten. Das Projekt der Tabelle wird nach dem On-Demand-Abrechnungsmodell für DML abgerechnet. Wenn dem Projekt eineBACKGROUND-Reservierung zugewiesen ist, verwendet BigQuery dieBACKGROUND-Reservierung, um diese Hintergrund-DML-Jobs auszuführen. Die Reservierung wird für die Slot-Zeitnutzung in Rechnung gestellt. Weitere Informationen finden Sie unter Kosten für Hintergrundjobs im Blick behalten. - Einbettungsgenerierung: Die Einbettungsgenerierung für KI-Indizes, einschließlich der Einbettungen, die für
AI.SEARCH-Abfragen für Tabellen mit einem KI-Index generiert werden, wird zum veröffentlichten Preis des zugrunde liegenden Modells abgerechnet, das der KI-Index verwendet. Google kann das von KI-Indexen verwendete Standardmodell im Laufe der Zeit aktualisieren, um den Modelllebenszyklus oder die Leistung zu verbessern. Die Abrechnung erfolgt dann gemäß den veröffentlichten BigQuery-Preisen für das Modell. - Indextraining und -optimierung: Für die Verarbeitung, die zum Trainieren und Optimieren der Indexstrukturen erforderlich ist, fallen keine zusätzlichen Gebühren an, wenn Sie den standardmäßigen freigegebenen Slot-Pool verwenden, solange die Gesamtgröße der indexierten Tabellendaten unter dem Limit Ihrer Organisation liegt.
- Speicher: Für KI-Indexe fallen Speicherkosten an, solange sie in der Tabelle vorhanden sind. Sie können die Speichergröße eines KI-Index in der Spalte
total_logical_bytesder AnsichtINFORMATION_SCHEMA.AI_INDEXESeinsehen. - Abfragen: Abfragen, die die Funktion
AI.SEARCHverwenden, werden zu den BigQuery-Standardpreisen für die Berechnung abgerechnet. Die Einbettungsgenerierung für die Abfrage wird wie zuvor in dieser Liste beschrieben abgerechnet.
Einschränkungen für KI-Indexe
Wenn Sie KI-Indexe verwenden, gelten die folgenden Einschränkungen:
- Wenn der kombinierte Text der indexierten Spalten einer Zeile sehr lang ist, z. B. vollständige Dokumente oder viele lange
STRING-Spalten, wird nur ein Teil des Texts für die Suche verwendet. Damit die informativsten Felder verwendet werden, geben Sie inCREATE AI INDEXeine explizite Spaltenliste an, wobei die Spalten mit den stärksten Signalen zuerst aufgeführt werden. - Abfragen, die eine genaue Übereinstimmung mit Kennungswerten ohne Bedeutung in natürlicher Sprache erfordern, z. B. IDs, UUIDs, Hashes oder Systemcodes, werden nicht unterstützt. Standardmäßig enthält
AUTO COLUMNSalle STRING-Spalten der obersten Ebene, ohne undurchsichtige ID-Spalten herauszufiltern. Wenn Sie Spalten mit intransparenten IDs aus dem KI-Index ausschließen möchten, geben Sie inCREATE AI INDEXeine explizite Spaltenliste an. - Abfragen, die strenge numerische Einschränkungen enthalten oder eine strukturierte Filterung für Spalten erfordern, die nicht vom Typ
STRINGsind, werden nicht allein durch die Suche in natürlicher Sprache unterstützt. Wenden Sie stattdessen strukturierte oder numerische Filter mit einerWHERE-Klausel in einer Vorfilter-Unterabfrage an. - Die Suchqualität kann sich verschlechtern, wenn der KI-Index Spalten mit Text enthält, der die Zeile nicht beschreibt, z. B. Rohlogs, Stacktraces, URLs oder maschinengenerierte Strings. Wenn Sie diese Spalten ausschließen möchten, listen Sie die zu indexierenden Spalten auf, anstatt
AUTO COLUMNSzu verwenden. CREATE OR REPLACE AI INDEX- undALTER AI INDEX-Anweisungen werden nicht unterstützt. Sie können auch keine Quellspalte, die in einem KI-Index enthalten ist, löschen, umbenennen oder ihren Datentyp ändern. Wenn Sie indexierte Spalten ändern möchten, löschen Sie den KI-Index und erstellen Sie ihn neu.Die folgenden Tabellenvorgänge werden für Tabellen mit KI-Indexen nicht unterstützt. Löschen Sie den KI-Index, um diese Vorgänge auszuführen.
- Erstellen Sie eine Tabelle aus dem Schema der Tabelle (
CREATE TABLE ... LIKE). - Kopieren Sie die Tabelle (
bq cpoderCREATE TABLE ... COPY), einschließlich regionsübergreifender Kopien, oder kopieren Sie Daten in eine vorhandene Tabelle mit einem KI-Index. - Klonen Sie die Tabelle (
CREATE TABLE ... CLONE). - Tabellen-Snapshot (
CREATE SNAPSHOT TABLE) erstellen - Benennen Sie die Tabelle um (
ALTER TABLE ... RENAME TO). - Stellen Sie die Tabelle (
RESTORE TABLE) wieder her.
- Erstellen Sie eine Tabelle aus dem Schema der Tabelle (
Nächste Schritte
- Weitere Informationen zur Verwendung von KI-Indexen
- Informationen zum Suchen in Tabellen mit der Funktion
AI.SEARCH