Die Vektorsuche ist eine leistungsstarke Vektorsuchmaschine, die auf bahnbrechender Technologie von Google Research basiert. Mit dem ScaNN-Algorithmus können Sie mit Vector Search Such- und Empfehlungssysteme der nächsten Generation sowie generative KI-Anwendungen erstellen.
Sie können von derselben Forschung und Technologie profitieren, die auch für die wichtigsten Google-Produkte wie die Google Suche, YouTube und Google Play verwendet werden. Sie profitieren also von der Skalierbarkeit, Verfügbarkeit und Leistung, die für die Verarbeitung riesiger Datasets und die Bereitstellung blitzschneller Ergebnisse auf globaler Ebene erforderlich sind. Mit der Vektorsuche haben Sie eine Lösung auf Unternehmensniveau, mit der Sie modernste semantische Suchfunktionen in Ihren eigenen Anwendungen implementieren können.
|
|
|
|
Jetzt starten
Interaktive Demo zur Vektorsuche: In der Live-Demo sehen Sie ein realistisches Beispiel dafür, was mit der Vektorsuche möglich ist.
Kurzanleitung zur Vektorsuche: Testen Sie die Vektorsuche in 30 Minuten, indem Sie einen Vektorsuchindex mit einem Beispieldataset erstellen, bereitstellen und abfragen. In diesem Tutorial werden Einrichtung, Datenvorbereitung, Indexerstellung, Bereitstellung, Abfrage und Bereinigung behandelt.
Vorbereitung: Bereiten Sie Ihre Einbettungen vor, indem Sie ein Modell auswählen und trainieren und Ihre Daten vorbereiten. Wählen Sie dann einen öffentlichen oder privaten Endpunkt aus, auf dem Sie Ihren Abfrageindex bereitstellen möchten.
Preise für die Vektorsuche und Preisrechner: Die Preise für die Vektorsuche umfassen die Kosten für virtuelle Maschinen, die zum Hosten bereitgestellter Indexe verwendet werden, sowie die Kosten für das Erstellen und Aktualisieren von Indexen. Selbst bei einer minimalen Einrichtung (unter 100 $pro Monat) kann ein hoher Durchsatz für mittelgroße Anwendungsfälle erreicht werden. So schätzen Sie Ihre monatlichen Kosten:
- Rufen Sie den Preisrechner von Google Cloud auf.
- Klicken Sie auf Der Schätzung hinzufügen.
- Suchen Sie nach Vertex AI.
- Klicken Sie auf die Schaltfläche Vertex AI.
- Wählen Sie im Drop-down-Menü Servicetyp die Option Vertex AI Vector Search aus.
- Behalten Sie die Standardeinstellungen bei oder konfigurieren Sie Ihre eigenen. Die geschätzten Kosten pro Monat werden im Bereich Kostendetails angezeigt.
Dokumentation
Indexe und Endpunkte verwalten
Themen für Fortgeschrittene
Anwendungsfälle und Blogs
Die Vektorsuche wird zu einem zentralen Knotenpunkt für Unternehmen, die KI einsetzen. Ähnlich wie relationale Datenbanken in IT-Systemen werden verschiedene Geschäftselemente wie Dokumente, Inhalte, Produkte, Nutzer, Ereignisse und andere Einheiten auf Grundlage ihrer Relevanz miteinander verknüpft. Die Vektorsuche kann nicht nur in herkömmlichen Medien wie Dokumenten und Bildern suchen, sondern auch intelligente Empfehlungen liefern, Geschäftsprobleme mit Lösungen abgleichen und sogar IoT-Signale mit Monitoring-Benachrichtigungen verknüpfen. Es ist ein vielseitiges Tool, das für die Verwaltung der wachsenden Menge an KI-fähigen Unternehmensdaten unerlässlich ist.
|
Suche / Informationsabruf
Empfehlungssysteme |
Wie die Vektorsuche in Vertex AI zur Entwicklung leistungsstarker Gen AI-Apps beiträgt:Die Vektorsuche unterstützt verschiedene Anwendungen, darunter E-Commerce, RAG-Systeme und Empfehlungsmaschinen sowie Chatbots, multimodale Suche und mehr. Die Hybridsuche verbessert die Ergebnisse für Nischenbegriffe zusätzlich. Kunden wie Bloomreach, eBay und Mercado Libre nutzen Vertex AI aufgrund der Leistung, Skalierbarkeit und Kosteneffizienz und profitieren von Vorteilen wie schnelleren Suchvorgängen und mehr Conversions. eBay uses Vector Search for recommendations:Hier wird beschrieben, wie eBay die Vektorsuche für sein Empfehlungssystem nutzt. Mit dieser Technologie kann eBay ähnliche Produkte in seinem umfangreichen Katalog finden und so die Nutzerfreundlichkeit verbessern. Mercari nutzt die Vektorsuchtechnologie von Google, um einen neuen Marktplatz zu schaffen: Hier wird beschrieben, wie Mercari die Vektorsuche nutzt, um die neue Marktplatzplattform zu verbessern. Die Vektorsuche unterstützt die Empfehlungen der Plattform und hilft Nutzern, relevante Produkte effektiver zu finden. Vertex AI Embeddings for Text: Grounding LLMs made easy:Konzentriert sich auf das Fundieren von LLMs mit Vertex AI Embeddings für Textdaten. Die Vektorsuche spielt eine wichtige Rolle beim Auffinden relevanter Textpassagen, die dafür sorgen, dass die Antworten des Modells auf Fakten beruhen. What is Multimodal Search: "LLMs with vision" change businesses:In diesem Blogbeitrag wird die multimodale Suche behandelt, bei der LLMs mit visuellem Verständnis kombiniert werden. Darin wird erläutert, wie Vector Search sowohl Text- als auch Bilddaten verarbeitet und vergleicht, um umfassendere Suchfunktionen zu ermöglichen. Multimodale Suche im großen Maßstab ermöglichen: Text- und Bildfunktionen mit Vertex AI kombinieren:Beschreibt das Erstellen einer multimodalen Suchmaschine mit Vertex AI, die Text- und Bildsuche mit einer gewichteten Ensemble-Methode für den Rank-Biased Reciprocal Rank kombiniert. Dadurch wird die Nutzerfreundlichkeit verbessert und es werden relevantere Ergebnisse bereitgestellt. Deep Retrieval mit TensorFlow Recommenders und der Vektorsuche skalieren:Hier wird beschrieben, wie Sie mit TensorFlow Recommenders und der Vektorsuche ein Empfehlungssystem für Playlists erstellen. Dabei werden Deep-Retrieval-Modelle, Training, Bereitstellung und Skalierung behandelt. |
|
Generative KI: Abruf für RAG und Agents |
Vertex AI und Denodo erschließen Unternehmensdaten mit generativer KI: Hier wird gezeigt, wie Unternehmen durch die Integration von Vertex AI in Denodo generative KI nutzen können, um Erkenntnisse aus ihren Daten zu gewinnen. Die Vektorsuche ist entscheidend für den effizienten Zugriff auf und die Analyse von relevanten Daten in einer Unternehmensumgebung. Infinite Nature und die Natur von Branchen: Diese „wilde“ Demo zeigt die vielfältigen Möglichkeiten von KI: Eine Demo, die das Potenzial von KI in verschiedenen Branchen veranschaulicht. Sie nutzt die Vektorsuche für generative Empfehlungen und die multimodale semantische Suche. Infinite Fleurs: KI-gestützte Kreativität in voller Blüte:Google hat mit Infinite Fleurs ein KI-Experiment gestartet, bei dem mithilfe von Vector Search, Gemini und Imagen einzigartige Blumensträuße auf Grundlage von Nutzerprompts generiert werden. Diese Technologie zeigt das Potenzial von KI, Kreativität in verschiedenen Branchen zu fördern. LlamaIndex für RAG in Google Cloud:Beschreibt, wie Sie LlamaIndex verwenden, um Retrieval-Augmented Generation (RAG) mit großen Sprachmodellen zu ermöglichen. LlamaIndex nutzt die Vektorsuche, um relevante Informationen aus einer Wissensdatenbank abzurufen. So werden genauere und kontextbezogene Antworten generiert. RAG und Fundierung in Vertex AI:Hier werden RAG- und Fundierungstechniken in Vertex AI untersucht. Die Vektorsuche trägt dazu bei, beim Abrufen relevante Fundierungsinformationen zu identifizieren. So werden generierte Inhalte genauer und zuverlässiger. Vektorsuche in LangChain:bietet eine Anleitung zur Verwendung der Vektorsuche mit LangChain zum Erstellen und Bereitstellen eines Vektordatenbankindex für Textdaten, einschließlich Frage-Antwort- und PDF-Verarbeitung. |
|
BI, Datenanalyse, Monitoring und mehr |
KI in Echtzeit dank Streamingaufnahme in Vertex AI:Hier wird die Streamingaktualisierung in der Vektorsuche und die damit verbundenen KI-Funktionen in Echtzeit erläutert. Diese Technologie ermöglicht die Verarbeitung und Analyse eingehender Datenstreams in Echtzeit. |
Weitere Informationen
Die folgenden Ressourcen können Ihnen beim Einstieg in die Vektorsuche helfen:
Notebooks und Lösungen
|
|
|
Vektorsuche in Vertex AI – Schnellstart:Bietet einen Überblick über die Vektorsuche. Sie richtet sich an Nutzer, die neu auf der Plattform sind und schnell loslegen möchten. |
Erste Schritte mit Texteinbettungen und Vektorsuche:Hier werden Texteinbettungen und die Vektorsuche vorgestellt. Darin wird erläutert, wie diese Technologien funktionieren und wie sie verwendet werden können, um die Suchergebnisse zu verbessern. |
|
|
|
Semantische Suche und Stichwortsuche kombinieren: Ein Tutorial zur Hybridsuche mit der Vektorsuche von Vertex AI:Hier finden Sie eine Anleitung zur Verwendung der Vektorsuche für die Hybridsuche. Darin werden die Schritte zum Einrichten und Konfigurieren eines hybriden Suchsystems beschrieben. |
Vertex AI RAG Engine mit Vektorsuche:Hier wird die Verwendung der Vertex AI RAG Engine mit Vektorsuche untersucht. Darin werden die Vorteile der gemeinsamen Verwendung dieser beiden Technologien erläutert und Beispiele für ihre Anwendung in der Praxis gegeben. |
|
|
|
Infrastruktur für eine RAG-fähige generative KI-Anwendung mit Vertex AI und Vector Search:Hier wird die Architektur für die Entwicklung einer generativen KI-Anwendung und RAG mit Vector Search, Cloud Run und Cloud Storage beschrieben. Es werden Anwendungsfälle, Designentscheidungen und wichtige Überlegungen behandelt. |
Two-Tower-Retrieval für die Kandidatengenerierung im großen Maßstab implementieren:Bietet eine Referenzarchitektur, die zeigt, wie Sie einen End-to-End-Two-Tower-Workflow für die Kandidatengenerierung mit Vertex AI implementieren. Das Two-Tower-Modellierungsframework ist eine leistungsstarke Abruftechnik für Personalisierungsanwendungsfälle, da es die semantische Ähnlichkeit zwischen zwei verschiedenen Einheiten wie Webanfragen und infrage kommenden Elementen lernt. |
Training
Erste Schritte mit der Vektorsuche und Einbettungen Mit der Vektorsuche lassen sich ähnliche oder verwandte Elemente finden. Es kann für Empfehlungen, die Suche, Chatbots und die Textklassifizierung verwendet werden. Dazu müssen Sie Einbettungen erstellen, sie in Google Cloudhochladen und für die Abfrage indexieren. In diesem Lab geht es um Texteinbettungen mit Vertex AI. Einbettungen können aber auch für andere Datentypen generiert werden.
Vektorsuche und Einbettungen In diesem Kurs wird die Vektorsuche vorgestellt und beschrieben, wie sie beim Erstellen einer Suchanwendung mit Large Language Model-APIs (LLM) für Einbettungen genutzt werden kann. Der Kurs besteht aus konzeptionellen Lektionen über Vektorsuche und Texteinbettungen, interaktiven Demos zum Erstellen einer Vektorsuche in Vertex AI und einem Übungslab.
Texteinbettungen verstehen und anwenden
Die Vertex AI Embeddings API generiert Texteinbettungen, die
numerische Darstellungen von Text sind, die für Aufgaben wie das Identifizieren ähnlicher Elemente verwendet werden.
In diesem Kurs verwenden Sie Texteinbettungen für Aufgaben wie Klassifizierung und semantische Suche. Außerdem kombinieren Sie die semantische Suche mit LLMs, um mit Vertex AI Question-Answering-Systeme zu erstellen.
Crashkurs „Maschinelles Lernen“: Einbettungen In diesem Kurs werden Worteinbettungen vorgestellt und mit dünnbesetzten Darstellungen verglichen. Es werden Methoden zum Abrufen von Einbettungen untersucht und zwischen statischen und kontextbezogenen Einbettungen unterschieden.
Ähnliche Produkte
Vertex AI Embeddings Übersicht über die Embeddings API. Anwendungsfälle für Text- und multimodale Einbettungen sowie Links zu zusätzlichen Ressourcen und zugehörigen Google Cloud Diensten.
Vertex AI Search Ranking API Mit der Ranking API werden Dokumente anhand ihrer Relevanz für eine Anfrage mit einem vorab trainierten Sprachmodell neu eingestuft. Dabei werden präzise Werte ausgegeben. Sie eignet sich ideal, um Suchergebnisse aus verschiedenen Quellen, einschließlich der Vektorsuche, zu verbessern.
Vertex AI Feature Store Ermöglicht es Ihnen, Feature-Daten mit BigQuery als Datenquelle zu verwalten und bereitzustellen. Sie stellt Ressourcen für die Onlinebereitstellung bereit und fungiert als Metadatenebene, um die neuesten Featurewerte direkt aus BigQuery bereitzustellen. Feature Store ermöglicht den sofortigen Abruf von Featurewerten für die Elemente, die Vector Store für Anfragen zurückgegeben hat.
Vertex AI Pipelines Mit Vertex AI Pipelines können Sie Ihre ML-Systeme serverlos automatisieren, überwachen und steuern, indem Sie ML-Workflows mit ML-Pipelines orchestrieren. Sie können ML-Pipelines, die mit Kubeflow Pipelines oder dem TensorFlow Extended (TFX)-Framework definiert wurden, in Batches ausführen. Mit Pipelines können Sie automatisierte Pipelines erstellen, um Einbettungen zu generieren, Vector Search-Indexe zu erstellen und zu aktualisieren und eine MLOps-Einrichtung für Produktionssuch- und Empfehlungssysteme zu erstellen.
Ressourcen mit detaillierten Informationen
Enhancing Your Gen AI Use Case with Vertex AI Embeddings and Task Types Konzentriert sich auf die Verbesserung von Anwendungen mit generativer KI mithilfe von Vertex AI Embeddings und Aufgabentypen. Die Vektorsuche kann mit Einbettungen vom Typ „Aufgabe“ verwendet werden, um den Kontext und die Genauigkeit der generierten Inhalte zu verbessern, indem relevantere Informationen gefunden werden.
TensorFlow Recommenders Eine Open-Source-Bibliothek zum Erstellen von Empfehlungssystemen. Es vereinfacht den Prozess von der Datenvorbereitung bis zur Bereitstellung und unterstützt die flexible Modellerstellung. TFRS bietet Tutorials und Ressourcen und ermöglicht die Erstellung anspruchsvoller Empfehlungsmodelle.
TensorFlow Ranking TensorFlow Ranking ist eine Open-Source-Bibliothek zum Erstellen skalierbarer neuronaler Learning-to-Rank-Modelle (LTR). Es unterstützt verschiedene Verlustfunktionen und Ranking-Messwerte und kann für die Suche, Empfehlungen und andere Bereiche eingesetzt werden. Die Bibliothek wird aktiv von Google AI entwickelt.
Announcing ScaNN: Efficient Vector Similarity Search ScaNN von Google, ein Algorithmus für die effiziente Vektorähnlichkeitssuche, nutzt eine neuartige Technik, um die Genauigkeit und Geschwindigkeit bei der Suche nach den nächsten Nachbarn zu verbessern. Es übertrifft bestehende Methoden und kann in vielen Bereichen des maschinellen Lernens eingesetzt werden, in denen eine semantische Suche erforderlich ist. Die Forschungsbemühungen von Google erstrecken sich auf verschiedene Bereiche, darunter grundlegende ML und die gesellschaftlichen Auswirkungen von KI.
SOAR: Neue Algorithmen für eine noch schnellere Vektorsuche mit ScaNN Der SOAR-Algorithmus von Google verbessert die Effizienz der Vektorsuche durch kontrollierte Redundanz und ermöglicht so schnellere Suchvorgänge mit kleineren Indexen. Bei SOAR werden Vektoren mehreren Clustern zugewiesen. So werden „Backup“-Suchpfade für eine bessere Leistung erstellt.
Ähnliche Videos
Erste Schritte mit der Vektorsuche in Vertex AI
Die Vektorsuche ist ein leistungsstarkes Tool zum Erstellen von KI-basierten Anwendungen. In diesem Video wird die Technologie vorgestellt und eine Schritt-für-Schritt-Anleitung für den Einstieg gegeben.
Hybridsuche mit der Vektorsuche
Die Vektorsuche kann für die Hybridsuche verwendet werden. So können Sie die Leistungsfähigkeit der Vektorsuche mit der Flexibilität und Geschwindigkeit einer herkömmlichen Suchmaschine kombinieren. In diesem Video wird die Hybridsuche vorgestellt und es wird gezeigt, wie Sie die Vektorsuche für die Hybridsuche verwenden.
Sie verwenden die Vektorsuche bereits!
Wussten Sie, dass Sie die Vektorsuche wahrscheinlich jeden Tag nutzen, ohne es zu merken? Ob Sie nun ein schwer auffindbares Produkt in den sozialen Medien suchen oder ein Lied finden möchten, das Ihnen nicht aus dem Kopf geht – die Vektorsuche ist die KI-Magie hinter diesen alltäglichen Situationen.
Neues „Aufgabentyp“-Embedding vom DeepMind-Team verbessert die RAG-Suchqualität
Mit den neuen Aufgabentyp-Einbettungen, die vom Google DeepMind-Team entwickelt wurden, können Sie die Genauigkeit und Relevanz Ihrer RAG-Systeme verbessern. Sie erfahren, welche häufigen Herausforderungen es bei der RAG-Suchqualität gibt und wie Einbettungen für Aufgabentypen die semantische Lücke zwischen Fragen und Antworten effektiv schließen können, was zu einem effektiveren Abruf und einer besseren RAG-Leistung führt.
Terminologie der Vektorsuche
Diese Liste enthält einige wichtige Begriffe, die Sie kennen müssen, um die Vektorsuche zu verwenden:
Vektor: Ein Vektor ist eine Liste von Gleitkommawerten mit Betrag und Richtung. Sie können damit alle Arten von Daten darstellen, z. B. Zahlen, Punkte im Raum und Richtungen.
Einbettung: Eine Einbettung ist ein Vektortyp, der zur Darstellung von Daten verwendet wird, um ihre semantische Bedeutung zu erfassen. Einbettungen werden meist mithilfe von Techniken des maschinellen Lernens erstellt und häufig in Natural Language Processing (NLP) und anderen ML-Anwendungen verwendet.
Hohe Einbettungen: Hohe Einbettungen stellen die semantische Bedeutung von Text mithilfe von Arrays dar, die hauptsächlich Werte ungleich null enthalten. Mit dichten Einbettungen können ähnliche Suchergebnisse auf Grundlage der semantischen Ähnlichkeit zurückgegeben werden.
Dünnbesetzte Einbettungen: Dünnbesetzte Einbettungen stellen die Textsyntax mithilfe von hochdimensionalen Arrays dar, die im Vergleich zu dichten Einbettungen nur sehr wenige Werte ungleich null enthalten. Sparse Embeddings werden häufig für die Suche nach Keywords verwendet.
Hybridsuche: Bei der Hybridsuche werden sowohl dichte als auch dünnbesetzte Einbettungen verwendet. So können Sie eine Kombination aus Stichwortsuche und semantischer Suche nutzen. Die Vektorsuche unterstützt die Suche auf der Grundlage von dichten Einbettungen, dünnbesetzten Einbettungen und die Hybridsuche.
Index: Eine Sammlung von Vektoren, die gemeinsam für die Ähnlichkeitssuche bereitgestellt werden. Vektoren können einem Index hinzugefügt oder aus einem Index entfernt werden. Ähnlichkeitssuchanfragen werden an einen bestimmten Index gestellt und durchsuchen die Vektoren in diesem Index.
Ground Truth: Ein Begriff, bei dem das maschinelle Lernen auf Genauigkeit im echten Leben geprüft wird, z. B. ein Ground Truth-Dataset.
Recall: Der Prozentsatz der vom Index zurückgegebenen nächsten Nachbarn, die tatsächlich die nächsten Nachbarn sind. Wenn z. B. eine Abfrage nach 20 nächsten Nachbarn 19 der „grundlegend echten“ nächsten Nachbarn zurückgibt, beträgt der Recall 19/20x100 = 95 %.
Einschränken: Funktion, mit der Suchanfragen mithilfe von booleschen Regeln auf eine Teilmenge des Index beschränkt werden. „Einschränken“ wird auch als „Filter“ bezeichnet. Mit der Vektorsuche können Sie numerische Filter und Filter für Textattribute verwenden.