Risolvere i problemi relativi agli errori dell'indice ScaNN

Seleziona una versione della documentazione:

Questo documento descrive gli errori che potresti riscontrare durante la generazione di un indice ScaNN. Vengono forniti anche esempi di errori e correzioni consigliate.

Impossibile creare l'indice ScaNN con una tabella vuota

Descrizione

Quando tenti di generare un indice su una tabella senza dati o di troncare una tabella con un indice ScaNN generato, si verifica il seguente errore:

ERROR: Cannot create ScaNN index "[INDEX_NAME]" for table "[TABLE_NAME]", error: FAILED_PRECONDITION: Cannot create ScaNN index "[INDEX_NAME]" with empty table "[TABLE_NAME]". Once the table is populated with data, create the index. See documentation to bypass this validation.

Query di esempio che causano l'errore

  • Esempio di query A

    create table t1 (a INT, b VECTOR(512));
CREATE TABLE
create index on t1 using ScaNN(b cosine) with (num_leaves = 10, quantizer = 'sq8');

  • Esempio di query B

    truncate t1;
  • Prima di generare un indice ScaNN, assicurati che la tabella sia popolata con vettori di incorporamento.
  • Per creare un indice in una tabella senza dati, puoi attivare la creazione differita dell'indice. Per saperne di più, vedi Crea un indice differito per tabelle vuote o quasi vuote.

Impossibile creare l'indice ScaNN

Descrizione

Quando tenti di generare un indice in una tabella con poche righe popolate, si verifica il seguente errore:

ERROR: Cannot create ScaNN index "[INDEX_NAME]" for table "[TABLE_NAME]", error: INVALID_ARGUMENT: Number of rows ([ACTUAL]) must be larger than ([EXPECTED]).

Query di esempio che causa l'errore

create table t1 (a INT, b VECTOR(512));
CREATE TABLE
insert into t1 select (random()*1e9)::int, random_vector(512) from generate_series(1, 5);
INSERT 0 5
create index on t1 using scann(b cosine) with (num_leaves = 100, quantizer = 'sq8');
  • Prima di generare un indice ScaNN, assicurati che la tabella sia popolata con vettori di incorporamento. Il numero di righe richiesto dipende dalla modalità di creazione dell'indice:
    • Per la modalità AUTO, consigliamo almeno 10.000 righe.
    • Per la modalità MANUAL, consigliamo che il numero di righe nella tabella sia maggiore del valore definito nel parametro num_leaves.
  • Per creare un indice in una tabella con un numero insufficiente di righe, puoi attivare la creazione differita dell'indice. Per saperne di più, vedi Crea un indice differito per tabelle vuote o quasi vuote.

Impossibile creare un indice ScaNN per una tabella con una sola riga

Descrizione

Questo errore si è verificato perché ScaNN (e la maggior parte degli indici ANN come IVFFlat) ha bisogno di un set di addestramento per creare le sue strutture interne (cluster/foglie). Quando inserisci esattamente una riga , viene visualizzato il seguente errore:

ERROR: Cannot create ScaNN index "[INDEX_NAME]" for table "[TABLE_NAME]", error: INVALID_ARGUMENT: Number of samples "[NUM_SAMPLES]" must be larger than 1 and the number of leaves "[NUM_LEAVES]"

Query di esempio che causa l'errore

create table t1 (a INT, b VECTOR(512));
CREATE TABLE
insert into t1 select (random()*1e9)::int, random_vector(512) from generate_series(1, 1);
INSERT 0 1
create index on t1 using scann(b cosine) with (num_leaves = 1, quantizer = 'sq8');

Assicurati che la tabella sia popolata con i vettori di incorporamento prima di generare un indice ScaNN. Ti consigliamo che il numero di righe nella tabella sia:

  • Maggiore di 1
  • Maggiore del valore definito nel parametro num_leaves

Impossibile creare un indice ScaNN ottimizzato automaticamente per una tabella con meno di 10.000 righe

Descrizione

Questo errore si verifica quando tenti di creare un indice ScaNN ottimizzato automaticamente in una tabella con meno di 10.000 righe. Quando provi a farlo, ricevi il seguente errore:

"ERROR: Cannot create ScaNN index "products_embedding_idx" for table "products", error: FAILED_PRECONDITION: Number of rows: 100 must be 10000 or more."

Query di esempio che causa l'errore

CREATE INDEX product_index ON product
USING scann (embedding cosine)

Assicurati che la tabella contenga almeno 10.000 righe prima di provare a creare un indice ScaNN ottimizzato automaticamente. Se devi ignorare questo limite per scopi di sviluppo o test, consulta Forzare la creazione dell'indice su tabelle vuote o di piccole dimensioni.

Impossibile creare l'indice ScaNN nella tabella di partizione principale

Descrizione

Se hai creato tabelle partizionate da una tabella padre, la creazione di un indice ScaNN sulla tabella padre genera il seguente errore:

ERROR: Cannot create ScaNN index "[INDEX_NAME]" for parent partition table
"[TABLE_NAME]". Create ScaNN indexes on the child tables instead. See
documentation to bypass this validation.

Query di esempio che causa l'errore

create table t1 (a INT, b VECTOR(512)) partition by range(a);
CREATE TABLE
CREATE TABLE t1_one_ten PARTITION of t1 for values from (1) to (10);
CREATE TABLE
insert into t1_one_ten select (random()*1e9)::int, random_vector(512) from generate_series(1, 100);
INSERT 0 100
CREATE TABLE t1_eleven_twenty PARTITION of t1 for values from (11) to (20);
CREATE TABLE
insert into t1_eleven_twenty select (random()*1e9)::int, random_vector(512) from generate_series(1, 100);
INSERT 0 100

create index on t1 using scann(b cosine) with (num_leaves = 10, quantizer = 'sq8');
  • Non puoi generare un indice ScaNN nella tabella principale di una tabella partizionata.
  • Devi generare gli indici ScaNN nella tabella partizionata.
  • Prova a ignorare questa convalida seguendo i passaggi descritti in Crea un indice ScaNN.