Einführung in die Featureverwaltung in Vertex AI

Beim maschinellen Lernen (ML) sind Features charakteristische Attribute einer Instanz oder Entität, die Sie zum Trainieren von Modellen oder für Onlinevorhersagen verwenden können. Features werden generiert, indem Rohdaten für maschinelles Lernen mithilfe von Feature-Engineering-Techniken in messbare und freigabefähige Attribute umgewandelt werden. Diese Techniken werden in der Regel als Feature-Transformationen bezeichnet.

Feature-Verwaltung bezieht sich auf das Erstellen, Verwalten, Freigeben und Bereitstellen von ML-Features, die an einem zentralen Ort oder in einem zentralen Repository gespeichert sind. Die Featureverwaltung erleichtert das Wiederverwenden von Features zum Trainieren und Neutrainieren von Modellen und reduziert den Lebenszyklus von KI- und ML-Bereitstellungen.

Ein Produkt oder Dienst, das Feature-Verwaltungsdienste zum Speichern, Ermitteln, Freigeben und Bereitstellen von ML-Features umfasst, wird als Feature Store bezeichnet. Vertex AI umfasst die folgenden Feature Store-Dienste:

Auf dieser Seite werden die beiden Dienste zur Funktionsverwaltung vorgestellt und verglichen. Außerdem erhalten Sie einen Überblick über ihre Funktionen. Außerdem wird beschrieben, wie Sie einen vorhandenen Feature Store in Vertex AI Feature Store (Legacy) zum neuen Vertex AI Feature Store migrieren.

Vertex AI Feature Store

Vertex AI Feature Store bietet einen neuen Ansatz für die Featureverwaltung, da Sie Ihre Featuredaten aus einer BigQuery-Datenquelle verwalten und bereitstellen können. Bei diesem Ansatz fungiert Vertex AI Feature Store als Metadatenebene, die Onlinebereitstellungsfunktionen für Ihre Feature-Datenquelle in BigQuery bietet und es Ihnen ermöglicht, Features basierend auf diesen Daten online bereitzustellen. Sie müssen die Daten nicht in einen separaten Offlinespeicher in Vertex AI kopieren oder importieren.

Vertex AI Feature Store ist in Dataplex Universal Catalog eingebunden, um Feature-Metadaten zu erfassen. Sie unterstützt auch Einbettungen und ermöglicht die Suche nach Vektorähnlichkeiten für die nächsten Nachbarn.

Vertex AI Feature Store ist für die Bereitstellung mit extrem niedriger Latenz optimiert und bietet Ihnen folgende Möglichkeiten:

  • Speichern und verwalten Sie Ihre Offline-Featuredaten in BigQuery und nutzen Sie die Datenverwaltungsfunktionen von BigQuery.

  • Funktionen freigeben und wiederverwenden, indem sie der Feature-Registry hinzugefügt werden.

  • Bereitstellen von Features für Onlinevorhersagen mit niedrigen Latenzen über die Bigtable-Onlinebereitstellung oder mit sehr niedrigen Latenzen über die optimierte Onlinebereitstellung.

  • Einbettungen in Featuredaten speichern und Vektorähnlichkeitssuchen mit der optimierten Onlinebereitstellung ausführen.

  • Metadaten von Funktionen in Dataplex Universal Catalog nachverfolgen

Weitere Informationen zu Vertex AI Feature Store finden Sie in der Dokumentation zu Vertex AI Feature Store.

Vertex AI Feature Store (Legacy)

Vertex AI Feature Store (Legacy) bietet ein zentrales Repository zum Speichern, Organisieren und Bereitstellen von ML-Featuredaten. Dabei wird eine Ressourcenhierarchie bereitgestellt, die sowohl einen Onlinespeicher als auch einen Offlinespeicher in Vertex AI umfasst. Der Onlinespeicher stellt die neuesten Featurewerte für Onlinevorhersagen bereit. Im Offlinespeicher werden Featuredaten (einschließlich Verlaufsdaten) gespeichert und verwaltet, die Sie im Batchverfahren für das Training von ML-Modellen bereitstellen können.

Vertex AI Feature Store (Legacy) ist ein voll funktionsfähiger Dienst zur Feature-Verwaltung, mit dem Sie Folgendes tun können:

  • Importieren Sie Featuredaten per Batch- oder Streamingimport aus einer Datenquelle wie einem Cloud Storage-Bucket oder einer BigQuery-Quelle in den Offlinespeicher.

  • Features für Vorhersagen online bereitstellen.

  • Features für das Training von ML-Modellen oder für Analysen in Batches bereitstellen oder exportieren.

  • IAM-Richtlinien (Identity and Access Management) für EntityType- und Featurestore-Ressourcen festlegen.

  • Feature Store-Ressourcen über die Google Cloud Console verwalten

Vertex AI Feature Store (Legacy) umfasst keine Funktionen für die Verwaltung von Einbettungen oder den Abruf von Vektoren. Wenn Sie Einbettungen in Ihren Feature-Daten verwalten oder Vektorähnlichkeitssuchen durchführen müssen, sollten Sie zu Vertex AI Feature Store wechseln. Informationen zur Migration zu Vertex AI Feature Store finden Sie unter Zu Vertex AI Feature Store migrieren.

Weitere Informationen zu Vertex AI Feature Store (Legacy) finden Sie in der Dokumentation zu Vertex AI Feature Store (Legacy).

Vergleich zwischen Vertex AI Feature Store und Vertex AI Feature Store (Legacy)

In der folgenden Tabelle werden die verschiedenen Aspekte von Vertex AI Feature Store (Legacy) und dem neuen Vertex AI Feature Store verglichen:

Kategorie Vertex AI Feature Store Vertex AI Feature Store (Legacy)
Datenmodelle
Ressourcenhierarchie (Online- und Offlinespeicher) Die Ressourcenhierarchie im Onlinespeicher sieht so aus: FeatureOnlineStore -> FeatureView
  • FeatureOnlineStore enthält nur die Konfigurationsparameter für die Online-Speicherung und den Online-Abruf. Sie kann mehrere FeatureView-Ressourcen enthalten.
  • FeatureView ist eine logische Gruppierung von Features in einer Anfrage für die Onlinebereitstellung. Es handelt sich um eine einzelne Ressource, die Entitätstypen und Features ersetzt. Die Daten in einer Featureansicht spiegeln die neuesten Featurewerte im BigQuery-Speicher wider.
Es gibt keine Offlinespeicherressourcen, da sich die Daten in BigQuery befinden. 		Die Ressourcenhierarchie sieht so aus: Featurestore -> EntityType -> Feature
  • Featurestore enthält die Konfigurationsparameter für Online- und Offlinespeicher. Sie kann mehrere EntityType-Ressourcen enthalten.
  • EntityType ist eine Sammlung semantisch verwandter Features. Es kann mehrere Instanzen (Entitäten) haben, die mehrere Feature-Ressourcen enthalten können.
  • Feature ist eine Property oder ein Attribut eines EntityType.
Ressourcenhierarchie (Funktionsregistrierung) Die Ressourcenhierarchie in der Feature-Registry sieht so aus: FeatureGroup -> Feature
  • FeatureGroup registriert den Ort der BigQuery-Datenquelle. Sie kann mehrere Feature-Ressourcen enthalten.
  • Feature entspricht einer Spalte in der Datenquelle, die mit der Featuregruppe registriert ist.
 In Vertex AI Feature Store (Legacy) ist keine Feature Registry vorhanden.
Featureverwaltung
Online- und Offlinespeicher Sie müssen eine Onlinespeicher-Instanz erstellen und Featureansichten definieren.
Für Vertex AI Feature Store ist kein separater Offlinespeicher erforderlich, da die BigQuery-Datenquelle den Offlinespeicher darstellt. 		Wenn Sie einen Feature Store bereitstellen, erstellt Vertex AI Feature Store (Legacy) separate Online- und Offlinespeicher.
Feature-Import Sie müssen keine Daten in Offlinespeicher importieren, da sich die Daten in BigQuery befinden und Sie sie direkt für Offlineanforderungen verwenden können. Für Online-Bereitstellungsanwendungsfälle können Sie eine BigQuery-Tabelle oder -Ansicht als Feature-Ansicht registrieren. Dadurch werden Feature-Daten in den Onlinespeicher kopiert. Vertex AI Feature Store aktualisiert die Daten im Onlinespeicher während der Datensynchronisierung. Sie müssen Featuredaten in Offline- und Onlinespeicher importieren, indem Sie den Batch- oder Streamingimport aus einer externen Quelle verwenden, z. B. einer BigQuery-Tabelle oder einer BigQuery-Ansicht.
Datenübertragung zwischen Online- und Offlinespeichern Vertex AI Feature Store verwendet BigQuery als Offlinespeicher und kopiert nur die neuesten Featurewerte in den Onlinespeicher. In Vertex AI wird kein separater Offlinespeicher bereitgestellt. Feature-Werte werden in den Offlinespeicher und anschließend in den Onlinespeicher kopiert.
Bereitstellung von Features
Offlinebereitstellung Um mit dem Offlinespeicher zu interagieren, müssen Sie BigQuery APIs verwenden. Die zugrunde liegenden Funktionen sind identisch. Für die Interaktion mit dem Offlinespeicher, der von Vertex AI Feature Store (Legacy) verwaltet wird, müssen Sie Vertex AI-APIs verwenden. Beispiele für diese Interaktionen sind Suchvorgänge zu einem bestimmten Zeitpunkt und das Exportieren von Funktionen.
Onlinebereitstellung

Vertex AI Feature Store bietet zwei Arten der Onlinebereitstellung:

  • Die Bigtable-Onlinebereitstellung ähnelt der Onlinebereitstellung im Vertex AI Feature Store (Legacy), bietet jedoch ein verbessertes Caching, um das Heißlaufen zu verhindern. Es ist nützlich für große Datenmengen (Terabytes an Daten).
  • Die optimierte Onlinebereitstellung ist für die Bereitstellung mit extrem niedriger Latenz geeignet.

Bei jeder Online-Leseanfrage werden alle voreingestellten Features in einer Feature-Ansicht ohne zusätzliche Verarbeitung abgerufen, was zu niedrigeren Latenzen führt.

 Vertex AI Feature Store (Legacy) bietet nur einen Typ von Onlinebereitstellung. Sie können die Entitäten und Features angeben, für die die Feature-Daten abgerufen werden sollen.
Schnittstellen und APIs
Google Cloud -Konsolenfunktionen Verwenden Sie die Google Cloud Console, um Ressourcen wie Onlinespeicher-Instanzen, Featureansicht-Instanzen, Feature-Gruppen und Features zu erstellen und zu verwalten. Sie können auch die Liste der Onlinespeicher und Informationen zur Feature-Lineage aufrufen. Die meisten Aufgaben zur Featureverwaltung, einschließlich der Überwachung der Ressourcenerstellung, können Sie über die Google Cloud Console ausführen.
APIs zum Erstellen von Ressourcen Enthält APIs zum Erstellen von FeatureOnlineStore-, FeatureView-, FeatureGroup- und Feature-Ressourcen. Mit diesen Ressourcen können Sie Ihre Feature Registry und Ihren Onlinespeicher einrichten. Für den Offlinespeicher wird BigQuery verwendet. Enthält APIs zum Erstellen von Featurestore-, EntityType- und Feature-Ressourcen, die in Online- und Offlinespeichern verwendet werden.
APIs für Batch-Import (Offlinespeicher) Es erfordert keine APIs für den Batch-Import in den Offlinespeicher, da kein separater Batch-Importschritt in den Offlinespeicher erforderlich ist. Verwendet Vertex AI APIs für den Batch-Import in den Offlinespeicher.
APIs für Batch-Import (Onlinespeicher) Kopiert während der Datensynchronisierung regelmäßig Daten aus BigQuery in den Onlinespeicher. Verwendet Vertex AI APIs für den Batch-Import in den Onlinespeicher.
APIs für Streaming-Importe (Offlinespeicher) Es erfordert keine APIs für den Streaming-Import in den Offlinespeicher, da kein separater Streaming-Importschritt in den Offlinespeicher erforderlich ist. Verwendet Vertex AI für den Streaming-Import in den Offlinespeicher.
APIs für Streaming-Importe (Onlinspeicher) Der Streamingimport wird nicht unterstützt. Verwendet Vertex AI APIs für den Streaming-Import in den Onlinespeicher.
Batch Serving APIs Verwendet BigQuery-APIs, um Daten in Batches direkt aus den BigQuery-Datenquellen bereitzustellen, die in den Feature-Ansichten definiert sind. Verwendet Vertex AI APIs, um Feature-Daten im Batch-Modus bereitzustellen.
Online Serving APIs verwendet den FetchFeatureValues(FetchFeatureValuesRequest) API. Verwendet die ReadFeatureValues(ReadFeatureValuesRequest) API für die Onlinebereitstellung.

Zu Vertex AI Feature Store migrieren

Vertex AI Feature Store (Legacy)-Ressourcen und ‑Featuredaten sind nicht sofort in Vertex AI Feature Store verfügbar. Wenn Sie bereits Nutzer von Vertex AI Feature Store (Legacy) sind und Ihr Projekt zu Vertex AI Feature Store migrieren möchten, führen Sie die folgenden Schritte aus. Da sich die Ressourcenhierarchie in Vertex AI Feature Store von der Ressourcenhierarchie in Vertex AI Feature Store (Legacy) unterscheidet, müssen Sie die Ressourcen nach der Migration der Feature-Daten manuell erstellen.

  1. Wenn Ihre Feature-Daten noch nicht in BigQuery verfügbar sind, exportieren Sie sie nach BigQuery und erstellen Sie BigQuery-Tabellen und -Ansichten. Beachten Sie beim Exportieren und Vorbereiten der Daten die Richtlinien zur Datenvorbereitung. Beispiel:

    • Jedes Element entspricht eine Spalte. Entitäts-IDs können in einer separaten Spalte enthalten sein, die Sie als ID-Spalte angeben können.

    • Vertex AI Feature Store hat nicht die Ressourcen EntityType und Entity. Geben Sie die Featurewerte für jede Entität in der Zeile an, die der Entitäts-ID entspricht.

  2. Optional: Registrieren Sie Ihre Feature-Datenquelle, indem Sie Featuregruppen und Features hinzufügen. Weitere Informationen finden Sie unter Featuregruppe erstellen und Feature erstellen.

  3. Richten Sie die Onlinebereitstellung ein. Erstellen Sie dazu Onlinespeicher- und Featureansicht-Instanzen basierend auf den Featuredaten.

Nächste Schritte