Informationen zu Vertex AI Feature Store

Vertex AI Feature Store ist ein verwalteter, cloudnativer Feature Store-Dienst, der ein wesentlicher Bestandteil von Vertex AI ist. Er optimiert die ML-Featureverwaltung und die Onlinebereitstellungsprozesse, da Sie die Featuredaten in einer BigQuery-Tabelle oder -Ansicht verwalten können. Anschließend können Sie Features direkt aus der BigQuery-Datenquelle online bereitstellen.

Der Vertex AI Feature Store stellt Ressourcen bereit, mit denen Sie Onlinebereitstellungen einrichten können, indem Sie Ihre die Datenquellen Ihrer Features angeben. Er fungiert dann als Metadatenebene, bildet die Schnittstelle zu den BigQuery-Datenquellen und stellt die neuesten Featurewerte direkt aus BigQuery für Online-Vorhersagen mit niedrigen Latenzen bereit.

In Vertex AI Feature Store bilden die BigQuery-Tabellen oder -Ansichten, die die Feature-Daten enthalten, gemeinsam den Offlinespeicher. Sie können Featurewerte, einschließlich historischer Feature-Daten, im Offlinespeicher verwalten. Da alle Feature-Daten in BigQuery verwaltet werden, muss Vertex AI Feature Store keinen separaten Offlinespeicher innerhalb von Vertex AI bereitstellen. Wenn Sie die Daten im Offlinespeicher zum Trainieren von ML-Modellen verwenden möchten, können Sie die APIs und Funktionen in BigQuery zum Exportieren oder Abrufen der Daten verwenden.

Der nötige Workflow, um die Onlinebereitstellung mit Vertex AI Feature Store einzurichten und zu beginnen, kann so zusammengefasst werden:

  1. Bereiten Sie die Datenquelle in BigQuery vor.

  2. Optional: Datenquellen registrieren, indem Sie Featuregruppen und Features erstellen

  3. Ressourcen für Onlinespeicher und Feature-Ansicht einrichten, um die Feature-Datenquellen mit Onlinebereitstellungsclustern zu verbinden

  4. Neueste Featurewerte online über eine Feature-Ansicht bereitstellen

Datenmodell und Ressourcen für Vertex AI Feature Store

In diesem Abschnitt werden die Datenmodelle und Ressourcen erläutert, die mit den folgenden Aspekten von Vertex AI Feature Store zusammenhängen:

Datenquellen in BigQuery vorbereiten

Während der Onlinebereitstellung verwendet Vertex AI Feature Store Featuredaten aus BigQuery-Datenquellen. Bevor Sie Feature Registry oder Onlinebereitstellungsressourcen einrichten, müssen Sie Ihre Featuredaten in einer oder mehreren BigQuery-Tabellen oder -Ansichten speichern.

In einer BigQuery-Tabelle oder ‑Ansicht stellt jede Spalte ein Feature dar. Jede Zeile enthält Feature-Werte, die einer eindeutigen ID entsprechen. Weitere Informationen zur Vorbereitung von Feature-Daten in BigQuery finden Sie unter Datenquelle vorbereiten.

In Abbildung 1 enthält die BigQuery-Tabelle beispielsweise folgende Spalten:

  • f1 und f2: Featurespalten.

  • entity_id: Eine ID-Spalte mit den eindeutigen IDs zur Identifizierung der einzelnen Feature-Datensätze.

  • feature_timestamp:Eine Zeitstempelspalte.

Eine Feature-Ansicht, in der die Funktionen f1 und f2 im Zeitreihenformat enthalten sind.
Abbildung 1. Beispiel für eine BigQuery-Datenquelle

Da Sie die Datenquelle in BigQuery und nicht in Vertex AI vorbereiten, müssen Sie in dieser Phase keine Vertex AI-Ressourcen erstellen.

Feature Registry einrichten

Nachdem Sie Ihre Datenquellen in BigQuery vorbereitet haben, können Sie diese Datenquellen, einschließlich bestimmter Featurespalten, in Feature Registry registrieren.

Das Registrieren Ihrer Funktionen ist optional. Sie können Features auch online bereitstellen, wenn Sie Ihre BigQuery-Datenquellen nicht dem Feature Registry hinzufügen. Allerdings ist das Registrieren Ihrer Features in folgenden Szenarien vorteilhaft:

  • Ihre Daten enthalten mehrere Instanzen derselben Entitäts-ID und Sie müssen Ihre Daten im Zeitreihenformat mit einer Zeitstempelspalte vorbereiten. Wenn Sie Ihre Features registrieren, sucht Vertex AI Feature Store den Zeitstempel und stellt nur die neuesten Featurewerte bereit.

  • Sie möchten bestimmte Featurespalten aus einer Datenquelle registrieren.

  • Sie möchten bestimmte Spalten aus mehreren Datenquellen aggregieren, um eine Instanz der Featureansicht zu definieren.

  • Sie möchten die Feature-Statistiken überwachen und Feature-Drift erkennen.

Es gibt zwei Arten von Vertex AI Feature Store-Ressourcen in der Feature Registry:

Feature Registry-Ressourcen für Feature-Daten

Zum Registrieren Ihrer Feature-Daten in Feature Registry müssen Sie die folgenden Vertex AI Feature Store-Ressourcen erstellen:

  • Featuregruppe (FeatureGroup): Eine FeatureGroup-Ressource ist einer bestimmten BigQuery-Quelltabelle oder -Ansicht zugeordnet. Sie stellt eine logische Gruppierung von Featurespalten dar, die durch Feature-Ressourcen dargestellt werden. Eine Featuregruppe enthält auch eine oder mehrere Spalten mit Entitäts-IDs, um die Feature-Datensätze zu identifizieren. Wenn die Featuredaten im Zeitreihenformat vorliegen, muss die Featuregruppe auch eine Zeitstempelspalte enthalten. Informationen zum Erstellen einer Featuregruppe finden Sie unter Featuregruppe erstellen.

  • Feature (Feature): Eine Feature-Ressource steht für eine bestimmte Spalte mit Featurewerten aus der Feature-Datenquelle, die mit der übergeordneten FeatureGroup-Ressource verknüpft ist. Weitere Informationen zum Erstellen von Features innerhalb einer Featuregruppe finden Sie unter Feature erstellen.

Abbildung 2 zeigt beispielsweise eine Featuregruppe mit den Featurespalten f1 und f2, die aus einer BigQuery-Tabelle stammen, die mit der Featuregruppe verknüpft ist. Die BigQuery-Datenquelle enthält vier Featurespalten. Dabei werden zwei Spalten zusammengefasst und bilden die Featuregruppe. Die Featuregruppe enthält außerdem eine Spalte mit Entitäts-IDs und eine Spalte mit Feature-Zeitstempeln.

Eine Featuregruppe mit den Features f1 und f2 im Zeitreihenformat.
Abbildung 2. Beispiel für ein FeatureGroup mit zwei Feature-Spalten aus einer BigQuery-Datenquelle.

Feature Registry-Ressourcen für das Featuremonitoring

Mit Ressourcen zur Feature-Überwachung können Sie die Featuredaten überwachen, die mit den Ressourcen FeatureGroup und Feature registriert wurden. Sie können die folgenden Ressourcen im Zusammenhang mit der Funktionsüberwachung erstellen:

  • Featuremonitor (FeatureMonitor): Eine FeatureMonitor-Ressource ist einer FeatureGroup-Ressource und einem oder mehreren Features in dieser Featuregruppe zugeordnet. Gibt den Monitoring-Zeitplan an. Sie können mehrere Ressourcen für die Feature-Überwachung erstellen, um verschiedene Überwachungszeitpläne für dieselben Features in einer Feature-Gruppe einzurichten. Wenn die Funktionen f1 und f2 beispielsweise stündlich aktualisiert werden, die Funktionen f3 und f4 jedoch täglich, können Sie zwei Ressourcen für die Funktionsüberwachung erstellen, um diese Funktionen effizient zu überwachen:

    • Featuremonitor fm1, der stündlich einen Monitoringjob für die Features f1 und f2 ausführt.

    • Featuremonitor fm2, der täglich einen Monitoringjob für die Features f3 und f4 ausführt.

  • Featuremonitoringjob (FeatureMonitorJob): Eine FeatureMonitorJob-Ressource enthält die Featurestatistiken und Informationen, die beim Ausführen eines Featuremonitoringjobs abgerufen werden. Sie kann auch Informationen zu Anomalien wie Feature-Drift enthalten, die in den Feature-Daten erkannt wurden.

Weitere Informationen zum Erstellen von Ressourcen für das Feature-Monitoring finden Sie unter Features auf Anomalien überwachen.

Onlinebereitstellung einrichten

Um Features für Onlinevorhersagen bereitzustellen, müssen Sie mindestens einen Onlinebereitstellungscluster definieren und konfigurieren und ihn mit Ihrer Feature-Datenquelle oder Feature Registry-Ressourcen verknüpfen. In Vertex AI Feature Store wird der Onlinebereitstellungscluster als Onlinespeicherinstanz bezeichnet. Eine Onlinespeicherinstanz kann mehrere Instanzen von Featureansichten enthalten, wobei jede Featureansicht einer Featuredatenquelle zugeordnet ist.

Ressourcen für die Onlinebereitstellung

Um die Onlinebereitstellung einzurichten, müssen Sie die folgenden Vertex AI Feature Store-Ressourcen erstellen:

  • Onlinespeicher (FeatureOnlineStore): Eine FeatureOnlineStore-Ressource stellt eine Online-Bereitstellungsclusterinstanz dar und enthält Die Onlinebereitstellungskonfiguration, z. B. die Anzahl der Onlinebereitstellungsknoten. Eine Onlinespeicherinstanz gibt nicht die Quelle der Featuredaten an, aber sie enthält FeatureView-Ressourcen, die die Feature-Datenquellen entweder in BigQuery oder Feature Registry angeben. Weitere Informationen zur Erstellung von Onlinespeicherinstanzen finden Sie unter Onlinespeicherinstanz erstellen.

  • Feature-Ansicht (FeatureView): Eine FeatureView-Ressource ist eine logische Sammlung von Features in einer Onlinespeicherinstanz. Beim Erstellen einer Feature-Ansicht haben Sie folgende Möglichkeiten, um den Speicherort der Feature-Datenquelle anzugeben:

    • Verknüpfen Sie eine oder mehrere Featuregruppen und Features aus der Feature Registry. Eine Featuregruppe gibt den Speicherort der BigQuery-Datenquelle an. Ein Feature innerhalb der Featuregruppe verweist auf eine bestimmte Featurespalte innerhalb dieser Datenquelle.

    • Alternativ können Sie eine BigQuery-Quelltabelle oder ‐Ansicht verknüpfen.

    Informationen zum Erstellen von Featureansicht-Instanzen in einem Onlinespeicher finden Sie unter Featureansicht erstellen.

Abbildung 3 zeigt beispielsweise eine Feature-Ansicht mit den Featurespalten f2 und f4, die aus zwei separaten Featuregruppen stammen, die mit einer BigQuery-Tabelle verknüpft sind.

Eine Featureansicht, die die Features "f2" und "f4" aus zwei Featuregruppen enthält.
Abbildung 3. Beispiel für ein FeatureView mit Features aus zwei separaten Featuregruppen.

Onlinebereitstellung

Vertex AI Feature Store bietet folgende Arten von Onlinebereitstellungen für Onlinevorhersagen in Echtzeit:

  • Die Bigtable-Onlinebereitstellung eignet sich für große Datenmengen (Terabyte an Daten). Sie ähnelt der Onlinebereitstellung in Vertex AI Feature Store (Legacy) und bietet verbessertes Caching. Die Bigtable-Onlinebereitstellung unterstützt keine Einbettungen. Wenn Sie große Datenmengen, die häufig aktualisiert werden, aber keine Einbettungen bereitstellen müssen, verwenden Sie die Bigtable-Onlinebereitstellung.

  • Mit der optimierten Onlinebereitstellung (eingestellt) können Sie Features mit extrem niedrigen Latenzen online bereitstellen. Die optimierte Onlinebereitstellung unterstützt auch die Verwaltung von Einbettungen.

    Um die optimierte Onlinebereitstellung zu verwenden, müssen Sie einen öffentlichen oder einen dedizierten Private Service Connect-Endpunkt konfigurieren.

Informationen zum Einrichten der Onlinebereitstellung in Vertex AI Feature Store nach dem Einrichten von Features finden Sie unter Typen der Onlinebereitstellung.

Offlinebereitstellung für Batchvorhersagen oder Modelltraining

Weil Sie Featuredaten nicht aus BigQuery in einen separaten Offlinespeicher in Vertex AI kopieren oder importieren müssen, können Sie die Datenverwaltung und Exportfunktionen von BigQuery für Folgendes nutzen:

Weitere Informationen zum maschinellen Lernen mit BigQuery finden Sie unter Einführung in BigQuery ML.

Nutzungsbedingungen für Vertex AI Feature Store

Feature Engineering
  • Feature Engineering ist der Prozess der Umwandlung von Rohdaten des maschinellen Lernens (ML) in Features, die zum Trainieren von ML-Modellen oder für Inferenzen verwendet werden können.

Feature
  • Beim maschinellen Lernen (ML) ist ein Feature ein Merkmal oder Attribut einer Instanz oder Entität, das als Eingabe zum Trainieren eines ML-Modells oder für Inferenzen verwendet wird.

Featurewert
  • Ein Featurewert entspricht dem tatsächlichen und messbaren Wert eines Features (Attributs) einer Instanz oder Entität. Eine Sammlung von Featurewerten für die eindeutige Entität stellt den Feature-Datensatz dar, der der Entität entspricht.

Feature-Zeitstempel
  • Ein Feature-Zeitstempel gibt an, wann die Gruppe von Featurewerten in einem bestimmten Feature-Datensatz für eine Entität generiert wurde.

Feature-Datensatz
  • Ein Feature-Datensatz ist eine Aggregation aller Featurewerte, die die Attribute einer eindeutigen Entität zu einem bestimmten Zeitpunkt beschreiben.

Begriffe im Zusammenhang mit Feature Registry

Feature Registry
  • Ein Feature Registry ist eine zentrale Schnittstelle zum Erfassen von Feature-Datenquellen, die Sie für Onlineinferenzen bereitstellen möchten. Weitere Informationen finden Sie unter Feature Registry einrichten.

Featuregruppe
  • Eine Featuregruppe ist eine Ressource der Feature-Registry, die einer BigQuery-Quelltabelle oder ‑ansicht mit Featuredaten entspricht. Eine Feature-Ansicht kann Features enthalten und als logische Gruppierung von Featurespalten in der Datenquelle betrachtet werden.

Bereitstellung von Features
  • Das Bereitstellen von Features ist der Export oder das Abrufen von Featurewerten für Training oder Inferenz. In Vertex AI gibt es zwei Arten der Bereitstellung von Features: Onlinebereitstellung und Offlinebereitstellung. Bei der Onlinebereitstellung werden die neuesten Featurewerte einer Teilmenge der Feature-Datenquelle für Onlineinferenzen abgerufen. Bei der Offline- oder Batchbereitstellung werden große Mengen von Featuredaten, einschließlich Verlaufsdaten, für die Offlineverarbeitung exportiert, z. B. für das ML-Modelltraining.

Offlinespeicher
  • Der Offlinespeicher ist eine Speichereinrichtung, in der aktuelle Featuredaten und Feature-Verlaufsdaten gespeichert werden, die normalerweise zum Trainieren von ML-Modellen verwendet werden. Ein Offlinespeicher enthält auch die neuesten Featurewerte, die Sie für Onlineinferenzen bereitstellen können.

Onlinespeicher
  • Bei der Featureverwaltung ist ein Onlinespeicher eine Speichereinrichtung für die neuesten Featurewerte, die für Onlineinferenzen bereitgestellt werden.

Featureansicht
  • Eine Featureansicht ist eine logische Sammlung von Features, die aus einer BigQuery-Datenquelle in eine Onlinespeicher-Instanz materialisiert werden. In einer Featureansicht werden die Featuredaten des Kunden gespeichert und regelmäßig aktualisiert. Die Daten werden regelmäßig aus der BigQuery-Quelle aktualisiert. Eine Featureansicht ist dem Featuredatenspeicher entweder direkt oder über Verknüpfungen zu Feature Registry-Ressourcen zugeordnet.

Standortbeschränkungen

Alle Vertex AI Feature Store-Ressourcen müssen sich in derselben Region oder am selben multiregionalen Standort wie Ihre BigQuery-Datenquelle befinden. Befindet sich die Datenquelle für das Element beispielsweise in us-central1, dürfen Sie Ihre FeatureOnlineStore-Instanz nur in us-central1 oder am multiregionalen Standort US erstellen.

Feature-Metadaten

Vertex AI Feature Store ist in Dataplex Universal Catalog eingebunden, um Funktionen zur Feature-Governance, einschließlich Feature-Metadaten, bereitzustellen. Onlinespeicherinstanzen, Featureansichten und Featuregruppen werden automatisch als Datenassets in Data Catalog registriert, einer Funktion, die Metadaten aus diesen Ressourcen katalogisiert. Sie können dann die Metadatensuche in Dataplex Universal Catalog nutzen, um Metadaten für diese Ressourcen zu suchen, anzusehen und zu verwalten. Weitere Informationen zum Suchen nach Vertex AI Feature Store-Ressourcen finden Sie unter Ressourcen-Metadaten in Data Catalog suchen.

Feature-Labels

Sie können Ressourcen während oder nach der Erstellung Labels hinzufügen. Weitere Informationen zum Hinzufügen von Labels zu vorhandenen Vertex AI Feature Store-Ressourcen, finden Sie unter Labels aktualisieren.

Metadaten der Ressourcenversion

Vertex AI Feature Store unterstützt nur die Version 0 für Features.

Featuremonitoring

Mit Vertex AI Feature Store können Sie das Feature-Monitoring einrichten, um Feature-Statistiken abzurufen und Anomalien in Feature-Daten zu erkennen. Sie können entweder Monitoringzeitpläne einrichten, um Monitoringjobs regelmäßig auszuführen, oder einen Monitoringjob manuell ausführen. Weitere Informationen zum Einrichten des Feature-Monitorings und zum Ausführen von Feature-Monitoring-Jobs finden Sie unter Features auf Anomalien überwachen.

Verwaltung von Einbettungen und Vektorabruf

Die optimierte Onlinebereitstellung in Vertex AI Feature Store unterstützt die Verwaltung von Einbettungen. Sie können Einbettungen in BigQuery als reguläre double-Arrays speichern. Mit den Funktionen zum Verwalten von Einbettungen von Vertex AI Feature Store können Sie nach Vektorähnlichkeiten suchen, um Entitäten abzurufen, die ungefähre nächste Nachbarn für eine bestimmte Entität oder einen Einbettungswert sind.

Wenn Sie die Einbettungsverwaltung im Vertex AI Feature Store verwenden möchten, müssen Sie Folgendes tun:

Informationen zum Ausführen einer Vektorähnlichkeitssuche in Vertex AI Feature Store finden Sie unter Vektorsuche nach Entitäten durchführen.

Datenaufbewahrung

Vertex AI Feature Store behält die neuesten Featurewerte für eine eindeutige ID basierend auf dem Zeitstempel, der den Featurewerten in der Datenquelle zugeordnet ist. Im Onlinespeicher gibt es kein Limit für die Datenaufbewahrung.

Da der Offlinespeicher von BigQuery bereitgestellt wird, gelten möglicherweise Aufbewahrungslimits oder -Kontingente von BigQuery für die Featuredatenquelle, einschließlich historischer Featurewerte. Weitere Informationen zu Kontingenten und Limits in BigQuery

Kontingente und Limits

In Vertex AI Feature Store werden Kontingente und Limits durchgesetzt, um Sie bei der Verwaltung der Ressourcen zu unterstützen, indem Sie Nutzungslimits festlegen, und um die Community derGoogle Cloud -Nutzer zu schützen, indem unvorhergesehene Nutzungsspitzen verhindert werden. Um effizient Vertex AI Feature Store-Ressourcen zu verwenden, ohne an diese Grenzen zu stoßen, prüfen Sie die Kontingente und Limits für Vertex AI Feature Store.

Preise

Informationen zu den Preisen für die Ressourcennutzung für Vertex AI Feature Store finden Sie unter Preise für Vertex AI Feature Store.

Notebook-Anleitungen

In den folgenden Beispielen und Anleitungen finden Sie weitere Informationen zu Vertex AI Feature Store.

Onlinebereitstellung von Features und -Abruf von BigQuery-Daten mit der Onlinebereitstellung von Vertex AI Feature Store Bigtable

In dieser Anleitung erfahren Sie, wie Sie die Onlinebereitstellung von Bigtable in Vertex AI Feature Store für die Onlinebereitstellung und das Abrufen von Featurewerten in BigQuery verwenden.

In Colab öffnen  |  In Colab Enterprise öffnen  |  Auf GitHub ansehen

Onlinebereitstellung von Features und -Abruf von BigQuery-Daten mit optimierter Onlinebereitstellung von Vertex AI Feature Store.

In diesem Notebook erfahren Sie, wie Sie die optimierte Onlinebereitstellung in Vertex AI Feature Store zum Bereitstellen und Abrufen von Featurewerten Werte aus BigQuery verwenden.

In Colab öffnen  |  In Colab Enterprise öffnen  |  Auf GitHub ansehen

Online-Bereitstellung von Features und Abruf von BigQuery-Daten mit Vertex AI Feature Store

In dieser Anleitung erfahren Sie, wie Sie Vertex AI Feature Store für die Onlinebereitstellung und den Vektorabruf von Featurewerten in BigQuery verwenden.

In Colab öffnen  |  In Colab Enterprise öffnen  |  Auf GitHub ansehen

Vertex AI Feature Store-Featureansicht Dienst-Agenten

In dieser Anleitung erfahren Sie, wie Sie Dienst-Agenten für die Datenansicht aktivieren und jeder Datenansicht Zugriff auf die verwendeten Quelldaten gewähren.

In Colab öffnen  |  In Colab Enterprise öffnen  |  Auf GitHub ansehen

Anleitung für die Vertex AI Feature Store-basierte LLM-Fundierung

In dieser Anleitung erfahren Sie, wie Sie von Nutzern bereitgestellte Daten in Chunks aufteilen und dann mit einem Large Language Model (LLM) mit Funktionen zur Embedding-Generierung Einbettungsvektoren für jeden Chunk generieren. Der resultierende Datensatz mit Einbettungsvektoren kann dann in den Vertex AI Feature Store geladen werden, was einen schnellen Featureabruf und eine effiziente Onlinebereitstellung ermöglicht.

In Colab öffnen  |  In Colab Enterprise öffnen  |  Auf GitHub ansehen

Generative AI-RAG-Anwendung mit Vertex AI Feature Store und BigQuery erstellen

In dieser Anleitung erfahren Sie, wie Sie mithilfe der BigQuery-Vektorsuche und Vertex AI Feature Store ein Vektorsuchsystem mit niedriger Latenz für Ihre generative KI-Anwendung erstellen.

In Colab öffnen  |  In Colab Enterprise öffnen  |  Auf GitHub ansehen

IAM-Richtlinie im Vertex AI Feature Store konfigurieren

In dieser Anleitung erfahren Sie, wie Sie eine IAM-Richtlinie konfigurieren, um den Zugriff auf Ressourcen und Daten zu steuern, die im Vertex AI Feature Store gespeichert sind.

In Colab öffnen  |  In Colab Enterprise öffnen  |  Auf GitHub ansehen

Nächste Schritte