Einführung in KI in BigQuery

BigQuery bietet verschiedene KI-Funktionen, mit denen Sie Folgendes tun können:

  • Prädiktives maschinelles Lernen (ML) durchführen.
  • Inferenz für Large Language Models (LLMs) wie Gemini ausführen.
  • Anwendungen mit Einbettungen und Vektorsuche erstellen.
  • Integrierte Agenten zur Unterstützung beim Programmieren verwenden.
  • Datenpipelines erstellen.
  • Mit Agententools auf BigQuery-Funktionen zugreifen.

Maschinelles Lernen

Mit BigQuery ML können Sie Modelle für Aufgaben wie Zeitreihenprognosen, Anomalieerkennung, Klassifizierung, Regression, Clustering, Dimensionsreduzierung und Empfehlungen trainieren, bewerten und Inferenz darauf ausführen.

Sie können über die Google Cloud Console, das bq-Befehlszeilentool, die REST API oder in Colab Enterprise-Notebooks mit den BigQuery ML-Funktionen arbeiten. Da BigQuery ML es SQL-Experten ermöglicht, vorhandene SQL-Tools und ‑Kenntnisse zum Erstellen und Bewerten von Modellen zu nutzen, demokratisiert es ML und beschleunigt die Entwicklung von Modellen, indem ML zu den Daten gebracht wird, anstatt Daten verschieben zu müssen. Mit BigQuery ML können Sie die folgenden Arten von ML-Aufgaben ausführen:

  • ML-Modelle mit GoogleSQL-Abfragen erstellen und ausführen.
  • Colab Enterprise-Notebooks erstellen um ML-Workflows auszuführen. In Notebooks können Sie SQL und Python abwechselnd verwenden und beliebige KI- oder ML-Python-Bibliotheken für Ihre Entwicklung nutzen.
  • Die Ergebnisse Ihrer prädiktiven ML-Modelle mit Explainable AIanalysieren.
  • Mit den Modellen TimesFM, ARIMA_PLUS und ARIMA_PLUS_XREG Prognosen und Anomalieerkennung für Zeitreihendaten durchführen.
  • Mit der Beitragsanalyse Informationen zu Änderungen an wichtigen Messwerten in Ihren mehrdimensionalen Daten mit Beitragsanalyse gewinnen.

Weitere Informationen finden Sie unter Einführung in ML in BigQuery.

KI-Funktionen

BigQuery bietet verschiedene SQL-Funktionen, die Sie für KI-Aufgaben wie Textgenerierung, Text- oder unstrukturierte Datenanalyse und Übersetzung verwenden können. Diese Funktionen greifen auf Gemini- und Partner-LLM-Modelle zu, die über die Gemini Enterprise Agent Platform, Cloud AI APIs oder integrierte BigQuery-Modelle verfügbar sind, um diese Aufgaben auszuführen.

Es gibt mehrere Kategorien von KI-Funktionen:

  • Generative KI-Funktionen : Mit diesen Funktionen können Sie Aufgaben wie die Generierung von Inhalten, Analyse, Zusammenfassung, Extraktion strukturierter Daten, Klassifizierung, Generierung von Einbettungen und Datenanreicherung ausführen. Es gibt zwei Arten von generativen KI-Funktionen:

    • Allgemeine KI-Funktionen bieten Ihnen vollständige Kontrolle und Transparenz bei der Auswahl von Modell, Prompt, und Parametern.
    • Verwaltete KI-Funktionen bieten eine optimierte Syntax für Routineaufgaben wie Filtern, Bewerten und Klassifizieren. BigQuery kann ein Modell für Sie auswählen, um Kosten und Qualität zu optimieren.

  • Aufgabenspezifische Funktionen : Mit diesen Funktionen können Sie Cloud AI APIs für Aufgaben wie die folgenden verwenden:

Weitere Informationen finden Sie unter Übersicht über aufgabenspezifische Lösungen.

BigQuery bietet eine Vielzahl von Suchfunktionen und ‑Features, mit denen Sie effizient bestimmte Daten finden oder Ähnlichkeiten zwischen Daten, einschließlich multimodaler Daten, erkennen können.

  • Textsuche : Mit der SEARCH Funktion können Sie eine tokenbasierte Suche in unstrukturiertem Text oder halbstrukturierten JSON Daten durchführen. Sie können die Suchleistung verbessern, indem Sie einen Suchindex erstellen, mit dem BigQuery Abfragen optimieren kann, die die SEARCH Funktion sowie andere Funktionen und Operatoren verwenden. Weitere Informationen finden Sie unter Indexierte Daten durchsuchen.

  • Generierung von Einbettungen : Einbettungen sind hochdimensionale numerische Vektoren, die Entitäten wie Text oder Bilder darstellen und häufig von ML-Modellen generiert werden. Sie können multimodale Einbettungen generieren mit Modellen, die von der Agent Platform bereitgestellt oder darauf gehostet werden, oder mit Modellen, die in BigQuery importiert und ausgeführt werden.

    Sie können auch eine Spalte mit Einbettungen automatisch von BigQuery verwalten lassen, indem Sie die autonome Generierung von Einbettungen (Vorschau) aktivieren.

  • Vektorsuche : Mit der VECTOR_SEARCH Funktion können Sie in Einbettungen suchen, um semantisch ähnliche Elemente zu finden. Mit der Funktion AI.SEARCH (Vorschau) können Sie in Tabellen suchen, für die die autonome Generierung von Einbettungen aktiviert ist. Sie können die Leistung der Vektorsuche verbessern, indem Sie einen Vektorindexerstellen, der Suchmethoden für die ungefähre Suche nach dem nächsten Nachbarn verwendet, um schnellere und ungefähre Ergebnisse zu liefern.

    Häufige Anwendungsfälle für die Vektorsuche sind die semantische Suche, Empfehlungen und Retrieval-Augmented Generation (RAG). Weitere Informationen finden Sie unter Einführung in die Vektorsuche.

Unterstützende KI-Funktionen

KI-gestützte Funktionen in BigQuery, die zusammen als Gemini in BigQuerybezeichnet werden, helfen Ihnen, Ihre Daten zu finden, vorzubereiten, abzufragen und zu visualisieren.

  • Datenanalysen Fragen in natürlicher Sprache zu Ihren Daten sowie die SQL-Abfragen zum Beantworten dieser Fragen generieren.
  • Datenvorbereitung Kontextbezogene Empfehlungen zum Bereinigen, Transformieren und Anreichern Ihrer Daten generieren.
  • SQL Code Assist SQL-Abfragen generieren, vervollständigen und erklären.
  • Python Code Assist Python-Code generieren, vervollständigen und erklären, einschließlich PySpark- und BigQuery-DataFrames.
  • Data Canvas : Daten in natürlicher Sprache abfragen, Ergebnisse mit Diagrammen visualisieren und Folgefragen stellen.
  • **SQL-Übersetzer** Gemini-erweiterte SQL-Übersetzungsregeln erstellen, um Abfragen, die in einem anderen Dialekt geschrieben wurden, zu GoogleSQL zu migrieren.

Agents

Agenten sind Softwaretools, die KI verwenden können, um Aufgaben in Ihrem Namen auszuführen. Sie können integrierte Agenten verwenden oder eigene Agenten erstellen, um Ihre Daten zu verarbeiten, zu verwalten, zu analysieren und zu visualisieren:

  • Verwenden Sie den Data Science Agent, um explorative Datenanalysen, Datenverarbeitung, ML-Aufgaben und Visualisierungen in einem Colab Enterprise-Notebook zu automatisieren.

  • Mit dem Data Engineering Agent können Sie Datenpipelines erstellen, ändern und verwalten, um Daten in BigQuery zu laden und zu verarbeiten. Sie können Prompts in natürlicher Sprache verwenden, um Datenpipelines aus verschiedenen Datenquellen zu generieren oder vorhandene Datenpipelines an Ihre Data-Engineering-Anforderungen anzupassen.

  • Mit dem Conversational Analytics Agent können Sie in natürlicher Sprache mit Ihren Daten interagieren. Dieser Agent besteht aus einer oder mehreren Datenquellen und einer Reihe von anwendungsfallspezifischen Anweisungen zur Verarbeitung dieser Daten. Die Konversationsanalyse unterstützt die Verwendung von einigen BigQuery ML-Funktionen.

  • Mit der Gemini CLI können Sie in Ihrem Terminal mit BigQuery-Daten interagieren, indem Sie Prompts in natürlicher Sprache verwenden.

  • Mit der Open-Source-MCP-Toolbox oder ADK-Tools können Sie Agenten schnell und iterativ entwickeln.

Nächste Schritte