Nel machine learning (ML), le funzionalità sono attributi caratteristici di un'istanza o entità che puoi utilizzare per addestrare modelli o per fare previsioni online. Le funzionalità vengono generate trasformando i dati ML non elaborati in attributi misurabili e condivisibili utilizzando tecniche di feature engineering, generalmente denominate trasformazioni delle funzionalità.
La gestione delle caratteristiche si riferisce al processo di creazione, manutenzione, condivisione e distribuzione delle caratteristiche di ML archiviate in una posizione o un repository centralizzato. La gestione delle funzionalità semplifica il riutilizzo delle funzionalità per addestrare e riaddestrare i modelli, riducendo il ciclo di vita dei deployment di AI e ML.
Un prodotto o servizio che include servizi di gestione delle funzionalità per archiviare, scoprire, condividere e pubblicare funzionalità di ML è chiamato feature store. Vertex AI incorpora i seguenti servizi di feature store:
Questa pagina introduce e confronta i due servizi di gestione delle funzionalità e fornisce una panoramica delle loro funzionalità. Descrive anche come eseguire la migrazione di un feature store esistente in Vertex AI Feature Store (legacy) al nuovo Vertex AI Feature Store.
Vertex AI Feature Store
Vertex AI Feature Store offre un nuovo approccio alla gestione delle caratteristiche consentendoti di gestire ed erogare i dati delle caratteristiche da un'origine dati BigQuery. In questo approccio, Vertex AI Feature Store funge da livello di metadati che fornisce funzionalità di pubblicazione online all'origine dati delle funzionalità in BigQuery e ti consente di pubblicare le funzionalità online in base a questi dati. Non è necessario copiare o importare i dati in un datastore offline separato in Vertex AI.
Vertex AI Feature Store è integrato con Dataplex Universal Catalog per monitorare i metadati delle caratteristiche. Supporta anche gli incorporamenti e consente di eseguire ricerche di somiglianza vettoriale per trovare i vicini più prossimi.
Vertex AI Feature Store è ottimizzato per la pubblicazione a latenza bassissima e ti consente di:
Archivia e gestisci i dati delle funzionalità offline in BigQuery, sfruttando le funzionalità di gestione dei dati di BigQuery.
Condividi e riutilizza le caratteristiche aggiungendole al registro delle caratteristiche.
Pubblica caratteristiche per le previsioni online a bassa latenza utilizzando la pubblicazione online tramite Bigtable o a latenza molto bassa utilizzando la pubblicazione online ottimizzata.
Archivia gli embedding nei dati delle funzionalità ed esegui ricerche di somiglianza vettoriale utilizzando Optimized online serving.
Monitora i metadati delle funzionalità in Dataplex Universal Catalog.
Per saperne di più su Vertex AI Feature Store, consulta la documentazione di Vertex AI Feature Store.
Vertex AI Feature Store (legacy)
Vertex AI Feature Store (legacy) fornisce un repository centralizzato per archiviare, organizzare e pubblicare i dati delle caratteristiche di ML. Esegue il provisioning di una gerarchia di risorse che incapsula sia un negozio online che un negozio fisico all'interno di Vertex AI. L'archivio online fornisce i valori delle caratteristiche più recenti per le previsioni online. L'archivio offline memorizza e gestisce i dati delle funzionalità (inclusi i dati storici) che puoi utilizzare in batch per l'addestramento dei modelli ML.
Vertex AI Feature Store (legacy) è un servizio di gestione delle funzionalità completamente funzionale che ti consente di:
Importa in batch o in streaming i dati delle caratteristiche nell'archivio offline da un'origine dati, ad esempio un bucket Cloud Storage o un'origine BigQuery.
Pubblica le funzionalità online per le previsioni.
Esegui il servizio batch o esporta le funzionalità per l'addestramento o l'analisi del modello ML.
Imposta criteri IAM (Identity and Access Management) sulle risorse
EntityTypeeFeaturestore.Gestisci le risorse del feature store dalla console Google Cloud .
Vertex AI Feature Store (legacy) non include la gestione degli incorporamenti o le funzionalità di recupero dei vettori. Se devi gestire gli incorporamenti nei dati delle funzionalità o eseguire ricerche di somiglianza vettoriale, valuta la possibilità di passare a Vertex AI Feature Store. Per informazioni sulla migrazione a Vertex AI Feature Store, consulta Eseguire la migrazione a Vertex AI Feature Store.
Per saperne di più su Vertex AI Feature Store (legacy), consulta la documentazione di Vertex AI Feature Store (legacy).
Confronto tra Vertex AI Feature Store e Vertex AI Feature Store (legacy)
La seguente tabella confronta i vari aspetti di Vertex AI Feature Store (legacy) e del nuovo Vertex AI Feature Store:
| Categoria | Vertex AI Feature Store | Vertex AI Feature Store (legacy) |
|---|---|---|
| Modelli di dati | ||
| Gerarchia delle risorse (archivio online e offline) | La gerarchia delle risorse nel negozio online è la seguente: FeatureOnlineStore -> FeatureView
|
La gerarchia delle risorse è la seguente: Featurestore -> EntityType -> Feature
|
| Gerarchia delle risorse (registro di caratteristiche) | La gerarchia delle risorse nel registro di caratteristiche è la seguente: FeatureGroup -> Feature
|
Non esiste un registro delle funzionalità in Vertex AI Feature Store (legacy). |
| Gestione delle funzionalità | ||
| Negozi online e offline | Devi creare un'istanza di archivio online e definire le visualizzazioni delle caratteristiche. Vertex AI Feature Store non richiede un datastore offline separato, perché l'origine dati BigQuery costituisce il datastore offline. |
Quando esegui il provisioning di un feature store, Vertex AI Feature Store (legacy) crea negozi online e offline separati. |
| Importazione delle funzionalità | Non devi importare i dati nei negozi offline, in quanto risiedono in BigQuery e puoi utilizzarli direttamente per le esigenze offline. Per i casi d'uso di pubblicazione online, puoi registrare una tabella o una vista BigQuery come vista delle caratteristiche, che copia i dati delle caratteristiche nello store online. Vertex AI Feature Store aggiorna i dati nel datastore online durante la sincronizzazione dei dati. | Devi importare i dati delle funzionalità negli store offline e online utilizzando l'importazione batch o in streaming da un'origine esterna, ad esempio una tabella o una vista BigQuery. |
| Spostamento dei dati tra negozi online e offline | Vertex AI Feature Store utilizza BigQuery come datastore offline e copia solo i valori delle caratteristiche più recenti nel datastore online. In Vertex AI non viene eseguito il provisioning di un archivio offline separato. | I valori delle caratteristiche vengono copiati nello spazio di archiviazione offline e successivamente in quello online. |
| Esportazione delle caratteristiche | ||
| Distribuzione offline | Per interagire con lo store offline, devi utilizzare le API BigQuery. Le funzionalità di base sono le stesse. | Per interagire con l'archivio offline, gestito da Vertex AI Feature Store (legacy), devi utilizzare le API Vertex AI. Esempi di queste interazioni sono le ricerche point-in-time e le funzionalità di esportazione. |
| Distribuzione online |
Vertex AI Feature Store fornisce due tipi di pubblicazione online:
Ogni richiesta di lettura online recupera tutte le funzionalità preimpostate in una visualizzazione delle funzionalità senza elaborazione aggiuntiva, il che comporta latenze inferiori. |
Vertex AI Feature Store (legacy) fornisce un solo tipo di pubblicazione online. Puoi specificare le entità e le funzionalità per recuperare i dati delle funzionalità. |
| Interfacce e API | ||
| Funzionalità della consoleGoogle Cloud | Utilizza la console Google Cloud per creare e gestire risorse, come istanze di negozi online, istanze di visualizzazione delle caratteristiche, gruppi di caratteristiche e caratteristiche. Puoi anche visualizzare l'elenco dei negozi online e informazioni sulla derivazione delle funzionalità. | Utilizza la console Google Cloud per eseguire la maggior parte delle attività di gestione delle funzionalità, incluso il monitoraggio della creazione delle risorse. |
| API per la creazione di risorse | Include API per creare risorse FeatureOnlineStore, FeatureView, FeatureGroup e Feature. Queste risorse ti consentono di configurare il registro delle funzionalità e il negozio online. Per lo store offline viene utilizzato BigQuery. |
Include API per creare risorse Featurestore, EntityType e Feature utilizzate nei negozi online e offline. |
| API Batch Import (archivio offline) | Non richiede API per l'importazione batch nel negozio offline, perché non è necessario un passaggio di importazione batch separato nel negozio offline. | Utilizza le API Vertex AI per l'importazione batch nell'archivio offline. |
| API Batch Import (archivio online) | Copia periodicamente i dati da BigQuery allo store online durante la sincronizzazione dei dati. | Utilizza le API Vertex AI per l'importazione batch nello store online. |
| API di importazione streaming (negozio offline) | Non richiede API per l'importazione in streaming nel negozio offline, perché non è necessario un passaggio di importazione in streaming separato nel negozio offline. | Utilizza Vertex AI per l'importazione di streaming nell'archivio offline. |
| API di importazione streaming (archivio online) | L'importazione in streaming non è supportata. | Utilizza le API Vertex AI per l'importazione in streaming nell'archivio online. |
| API Batch Serving | Utilizza le API BigQuery per pubblicare in batch i dati direttamente dalle origini dati BigQuery definite nelle visualizzazioni delle funzionalità. | Utilizza le API Vertex AI per il recupero dati in batch delle caratteristiche. |
| API Online Serving | Utilizza FetchFeatureValues(FetchFeatureValuesRequest) API. |
Utilizza l'API ReadFeatureValues(ReadFeatureValuesRequest) per la pubblicazione online. |
Esegui la migrazione a Vertex AI Feature Store
Le risorse e i dati delle funzionalità di Vertex AI Feature Store (legacy) non sono disponibili immediatamente in Vertex AI Feature Store. Se sei un utente esistente di Vertex AI Feature Store (legacy) e vuoi eseguire la migrazione del tuo progetto a Vertex AI Feature Store, segui i passaggi riportati di seguito. Tieni presente che, poiché la gerarchia delle risorse in Vertex AI Feature Store è diversa da quella in Vertex AI Feature Store (legacy), dovrai creare manualmente le risorse dopo aver eseguito la migrazione dei dati delle caratteristiche.
Se i dati delle funzionalità non sono ancora disponibili in BigQuery, esportali in BigQuery e crea tabelle e viste BigQuery. Segui le linee guida per la preparazione dei dati quando esporti e prepari i dati. Ad esempio:
Ogni funzionalità corrisponde a una colonna. Gli ID entità possono essere una colonna separata, che puoi identificare come colonna
ID.Vertex AI Feature Store non dispone delle risorse
EntityTypeeEntity. Fornisci i valori delle caratteristiche per ogni entità nella riga corrispondente all'ID entità.
(Facoltativo) Registra l'origine dati delle caratteristiche aggiungendo gruppi di caratteristiche e caratteristiche. Per saperne di più, consulta Creare un gruppo di funzionalità e Creare una funzionalità.
Configura la pubblicazione online creando istanze di archiviazione online e di visualizzazione delle caratteristiche in base ai dati delle caratteristiche.