Google uses AI technology to translate content into your preferred language. AI translations can contain errors.

Esegui query su embedding utilizzando la ricerca vettoriale

Questo tutorial mostra come eseguire una ricerca di similarità sugli embedding archiviati nelle tabelle BigQuery utilizzando la VECTOR_SEARCH funzione e, facoltativamente, un indice vettoriale.

Quando utilizzi VECTOR_SEARCH con un indice vettoriale, VECTOR_SEARCH utilizza il metodo del vicino più prossimo approssimato per migliorare le prestazioni della ricerca vettoriale, con il compromesso di ridurre il richiamo e quindi restituire risultati più approssimativi. Senza un indice vettoriale, VECTOR_SEARCH utilizza la ricerca a forza bruta per misurare la distanza di ogni record.

Autorizzazioni obbligatorie

Per eseguire questo tutorial, devi disporre delle seguenti autorizzazioni Identity and Access Management (IAM):

Per creare un set di dati, devi disporre dell'autorizzazione bigquery.datasets.create.
Per creare una tabella, devi disporre delle seguenti autorizzazioni:
- bigquery.tables.create
- bigquery.tables.updateData
- bigquery.jobs.create
Per creare un indice vettoriale, devi disporre dell'autorizzazione bigquery.tables.createIndex nella tabella in cui stai creando l'indice.
Per eliminare un indice vettoriale, devi disporre dell'autorizzazione bigquery.tables.deleteIndex nella tabella in cui stai eliminando l'indice.

Ognuno dei seguenti ruoli IAM predefiniti include le autorizzazioni necessarie per lavorare con gli indici vettoriali:

Proprietario dati BigQuery (roles/bigquery.dataOwner)
Editor dati BigQuery (roles/bigquery.dataEditor)

Costi

La funzione VECTOR_SEARCH utilizza i prezzi di calcolo di BigQuery. Ti vengono addebitati i costi per la ricerca di similarità, utilizzando i prezzi on demand o delle versioni.

On demand: ti vengono addebitati i costi per la quantità di byte scansionati nella tabella di base, nell'indice e nella query di ricerca.
Prezzi delle versioni: ti vengono addebitati i costi per gli slot necessari per completare il job nella versione della prenotazione. I calcoli di similarità più grandi e complessi comportano maggiori addebiti.

Nota: l'utilizzo di un indice non è supportato nelle versioni Standard.

Per ulteriori informazioni, vedi Prezzi di BigQuery.

Prima di iniziare

Nella Google Cloud console, nella pagina di selezione del progetto, seleziona o crea un Google Cloud progetto.
Ruoli richiesti per selezionare o creare un progetto
- Seleziona un progetto: la selezione di un progetto non richiede un ruolo IAM specifico: puoi selezionare qualsiasi progetto su cui ti è stato concesso un ruolo.
- Crea un progetto: per creare un progetto, devi disporre del ruolo Autore progetto (roles/resourcemanager.projectCreator), che contiene l' resourcemanager.projects.create autorizzazione. Scopri come concedere i ruoli.
Nota: se non prevedi di conservare le risorse che crei in questa procedura, crea un progetto invece di selezionarne uno già esistente. Una volta completata questa procedura, puoi eliminare il progetto e tutte le relative risorse.

Vai al selettore di progetti
Verifica che la fatturazione sia attivata per il tuo Google Cloud progetto.
Abilita l'API BigQuery.
Ruoli richiesti per abilitare le API
Per abilitare le API, devi disporre dell'autorizzazione serviceusage.services.enable. Se hai creato il progetto, probabilmente hai già questa autorizzazione tramite il ruolo Proprietario (roles/owner). In caso contrario, puoi ottenere questa autorizzazione tramite il ruolo Amministratore utilizzo servizi (roles/serviceusage.serviceUsageAdmin). Scopri come concedere i ruoli.
Abilitare l'API

Crea un set di dati

Crea un set di dati BigQuery:

Nella Google Cloud console, vai alla pagina BigQuery.

Vai alla pagina BigQuery
Nel riquadro Spazio di esplorazione, fai clic sul nome del progetto.
Fai clic su Visualizza azioni > Crea set di dati.
Nella pagina Crea set di dati, segui questi passaggi:
- In ID set di dati, inserisci vector_search.
- Per Tipo di località, seleziona Multi-regione e poi seleziona Stati Uniti (più regioni negli Stati Uniti).
  
  I set di dati pubblici sono archiviati nella US multi-regione. Per semplicità, archivia il set di dati nella stessa località.
- Lascia invariate le restanti impostazioni predefinite e fai clic su Crea set di dati.

Crea tabelle di test

Crea la tabella patents che contiene gli embedding dei brevetti, in base a un sottoinsieme del set di dati pubblici Google Brevetti:

CREATE TABLE vector_search.patents AS
SELECT * FROM `patents-public-data.google_patents_research.publications`
WHERE ARRAY_LENGTH(embedding_v1) > 0
 AND publication_number NOT IN ('KR-20180122872-A')
LIMIT 1000000;

Crea la tabella patents2 che contiene un embedding di brevetto per trovare i vicini più prossimi:

CREATE TABLE vector_search.patents2 AS
SELECT * FROM `patents-public-data.google_patents_research.publications`
WHERE publication_number = 'KR-20180122872-A';

Crea un indice vettoriale

Crea l'indice vettoriale my_index sulla colonna embedding_v1 della tabella patents:

CREATE OR REPLACE VECTOR INDEX my_index ON vector_search.patents(embedding_v1)
STORING(publication_number, title)
OPTIONS(distance_type='COSINE', index_type='IVF');

Attendi alcuni minuti che l'indice vettoriale venga creato, quindi esegui la query seguente e verifica che il valore di coverage_percentage sia 100:
```
SELECT * FROM vector_search.INFORMATION_SCHEMA.VECTOR_INDEXES;
```

Utilizza la funzione `VECTOR_SEARCH` con un indice

Dopo aver creato e compilato l'indice vettoriale, utilizza la funzione VECTOR_SEARCH per trovare il vicino più prossimo per l'embedding nella colonna embedding_v1 della tabella patents2. Questa query utilizza l'indice vettoriale nella ricerca, quindi VECTOR_SEARCH utilizza un metodo del vicino più prossimo approssimato per trovare il vicino più prossimo dell'embedding.

Utilizza la funzione VECTOR_SEARCH con un indice:

SELECT query.publication_number AS query_publication_number,
  query.title AS query_title,
  base.publication_number AS base_publication_number,
  base.title AS base_title,
  distance
FROM
  VECTOR_SEARCH(
    TABLE vector_search.patents,
    'embedding_v1',
    TABLE vector_search.patents2,
    top_k => 5,
    distance_type => 'COSINE',
    options => '{"fraction_lists_to_search": 0.005}');

I risultati sono simili ai seguenti:

+--------------------------+-------------------------------------------------------------+-------------------------+--------------------------------------------------------------------------------------------------------------------------+---------------------+
| query_publication_number |                         query_title                         | base_publication_number |                                                        base_title                                                        |      distance       |
+--------------------------+-------------------------------------------------------------+-------------------------+--------------------------------------------------------------------------------------------------------------------------+---------------------+
| KR-20180122872-A         | Rainwater management system based on rainwater keeping unit | CN-106599080-B          | A kind of rapid generation for keeping away big vast transfer figure based on GIS                                        | 0.14471956347590609 |
| KR-20180122872-A         | Rainwater management system based on rainwater keeping unit | CN-114118544-A          | Urban waterlogging detection method and device                                                                           | 0.17472108931171348 |
| KR-20180122872-A         | Rainwater management system based on rainwater keeping unit | KR-20200048143-A        | Method and system for mornitoring dry stream using unmanned aerial vehicle                                               | 0.17561990745619782 |
| KR-20180122872-A         | Rainwater management system based on rainwater keeping unit | KR-101721695-B1         | Urban Climate Impact Assessment method of Reflecting Urban Planning Scenarios and Analysis System using the same         | 0.17696129365559843 |
| KR-20180122872-A         | Rainwater management system based on rainwater keeping unit | CN-109000731-B          | The experimental rig and method that research inlet for stom water chocking-up degree influences water discharged amount | 0.17902723269642917 |
+--------------------------+-------------------------------------------------------------+-------------------------+--------------------------------------------------------------------------------------------------------------------------+---------------------+

Utilizza la funzione `VECTOR_SEARCH` con la forza bruta

Utilizza la funzione VECTOR_SEARCH per trovare il vicino più prossimo per l'embedding nella colonna embedding_v1 della tabella patents2. Questa query non utilizza l'indice vettoriale nella ricerca, quindi VECTOR_SEARCH trova il vicino più prossimo esatto dell'embedding.

SELECT query.publication_number AS query_publication_number,
  query.title AS query_title,
  base.publication_number AS base_publication_number,
  base.title AS base_title,
  distance
FROM
  VECTOR_SEARCH(
    TABLE vector_search.patents,
    'embedding_v1',
    TABLE vector_search.patents2,
    top_k => 5,
    distance_type => 'COSINE',
    options => '{"use_brute_force":true}');

I risultati sono simili ai seguenti:

+--------------------------+-------------------------------------------------------------+-------------------------+--------------------------------------------------------------------------------------------------------------------------+---------------------+
| query_publication_number |                         query_title                         | base_publication_number |                                                        base_title                                                        |      distance       |
+--------------------------+-------------------------------------------------------------+-------------------------+--------------------------------------------------------------------------------------------------------------------------+---------------------+
| KR-20180122872-A         | Rainwater management system based on rainwater keeping unit | CN-106599080-B          | A kind of rapid generation for keeping away big vast transfer figure based on GIS                                        |  0.1447195634759062 |
| KR-20180122872-A         | Rainwater management system based on rainwater keeping unit | CN-114118544-A          | Urban waterlogging detection method and device                                                                           |  0.1747210893117136 |
| KR-20180122872-A         | Rainwater management system based on rainwater keeping unit | KR-20200048143-A        | Method and system for mornitoring dry stream using unmanned aerial vehicle                                               | 0.17561990745619782 |
| KR-20180122872-A         | Rainwater management system based on rainwater keeping unit | KR-101721695-B1         | Urban Climate Impact Assessment method of Reflecting Urban Planning Scenarios and Analysis System using the same         | 0.17696129365559843 |
| KR-20180122872-A         | Rainwater management system based on rainwater keeping unit | CN-109000731-B          | The experimental rig and method that research inlet for stom water chocking-up degree influences water discharged amount | 0.17902723269642928 |
+--------------------------+-------------------------------------------------------------+-------------------------+--------------------------------------------------------------------------------------------------------------------------+---------------------+

Valuta il richiamo

Quando esegui una ricerca vettoriale con un indice, vengono restituiti risultati approssimativi, con il compromesso di ridurre il richiamo. Puoi calcolare il richiamo confrontando i risultati restituiti dalla ricerca vettoriale con un indice e dalla ricerca vettoriale con la forza bruta. In questo set di dati, il valore publication_number identifica in modo univoco un brevetto, quindi viene utilizzato per il confronto.

WITH approx_results AS (
  SELECT query.publication_number AS query_publication_number,
    base.publication_number AS base_publication_number
  FROM
    VECTOR_SEARCH(
      TABLE vector_search.patents,
      'embedding_v1',
      TABLE vector_search.patents2,
      top_k => 5,
      distance_type => 'COSINE',
      options => '{"fraction_lists_to_search": 0.005}')
),
  exact_results AS (
  SELECT query.publication_number AS query_publication_number,
    base.publication_number AS base_publication_number
  FROM
    VECTOR_SEARCH(
      TABLE vector_search.patents,
      'embedding_v1',
      TABLE vector_search.patents2,
      top_k => 5,
      distance_type => 'COSINE',
      options => '{"use_brute_force":true}')
)

SELECT
  a.query_publication_number,
  SUM(CASE WHEN a.base_publication_number = e.base_publication_number THEN 1 ELSE 0 END) / 5 AS recall
FROM exact_results e LEFT JOIN approx_results a
  ON e.query_publication_number = a.query_publication_number
GROUP BY a.query_publication_number

Se il richiamo è inferiore a quello desiderato, puoi aumentare il valore di fraction_lists_to_search, con lo svantaggio di una latenza e un utilizzo delle risorse potenzialmente maggiori. Per ottimizzare la ricerca vettoriale, puoi provare più esecuzioni di VECTOR_SEARCH con valori di argomento diversi, salvare i risultati nelle tabelle e poi confrontarli.

Libera spazio

Attenzione: l'eliminazione di un progetto ha i seguenti effetti:

L'intero contenuto del progetto viene eliminato. Se hai utilizzato un progetto esistente per, le attività descritte in questo documento, eliminerai anche tutto il lavoro che hai svolto nel progetto.
Gli ID progetto personalizzati non sono più disponibili. Quando hai creato questo progetto, potresti aver creato un ID progetto personalizzato che vuoi utilizzare in futuro. Per conservare gli URL che utilizzano l'ID progetto, ad esempio un URL appspot.com, elimina le risorse selezionate all'interno del progetto anziché eliminare l'intero progetto.

Se intendi esplorare più architetture, tutorial o guide rapide, puoi riutilizzare i progetti ed evitare così di superare i limiti di quota.

Nella Google Cloud console, vai alla pagina Gestisci risorse.
Vai a Gestisci risorse
Nell'elenco dei progetti, seleziona il progetto che vuoi eliminare, quindi fai clic su Elimina.
Nella finestra di dialogo, digita l'ID progetto, quindi fai clic su Chiudi per eliminare il progetto.