Einführung in KI in BigQuery

BigQuery bietet verschiedene KI-Funktionen, mit denen Sie Folgendes tun können:

  • Vorhersagen mit maschinellem Lernen (ML) treffen
  • Führen Sie Inferenz für Large Language Models (LLMs) wie Gemini aus.
  • Anwendungen mit Einbettungen und Vektorsuche erstellen.
  • Integrierte Agents zur Unterstützung beim Programmieren verwenden
  • Datenpipelines erstellen.
  • Mit Agent-Tools auf BigQuery-Funktionen zugreifen

Maschinelles Lernen

Mit BigQuery ML können Sie Modelle für Aufgaben wie Zeitreihenvorhersage, Anomalieerkennung, Klassifizierung, Regression, Clustering, Dimensionsreduzierung und Empfehlungen trainieren, bewerten und darauf Inferenz ausführen.

Sie können die BigQuery ML-Funktionen über dieGoogle Cloud -Konsole, das bq-Befehlszeilentool, die REST API oder in Colab Enterprise-Notebooks verwenden. Da SQL-Experten mit BigQuery ML vorhandene SQL-Tools und ‑Kenntnisse zum Erstellen und Bewerten von Modellen nutzen können, wird ML demokratisiert und die Modellentwicklung beschleunigt, da ML auf die Daten angewendet wird, anstatt dass Daten verschoben werden müssen. Mit BigQuery ML können Sie die folgenden Arten von ML-Aufgaben ausführen:

Weitere Informationen finden Sie unter Einführung in ML in BigQuery.

KI-Funktionen

BigQuery bietet verschiedene SQL-Funktionen, die Sie für KI-Aufgaben wie Textgenerierung, Analyse von Text oder unstrukturierten Daten und Übersetzung verwenden können. Für diese Funktionen wird auf Gemini- und Partner-LLM-Modelle zugegriffen, die über Vertex AI, Cloud AI APIs oder integrierte BigQuery-Modelle verfügbar sind.

Es gibt verschiedene Kategorien von KI-Funktionen:

  • Funktionen mit generativer KI. Mit diesen Funktionen können Sie Aufgaben wie das Generieren von Inhalten, Analysen, Zusammenfassungen, das Extrahieren strukturierter Daten, die Klassifizierung, das Generieren von Einbettungen und die Datenanreicherung ausführen. Es gibt zwei Arten von generativen KI-Funktionen:

    • Allgemeine KI-Funktionen bieten Ihnen vollständige Kontrolle und Transparenz bei der Auswahl von Modell, Prompt und Parametern.
    • Verwaltete KI-Funktionen bieten eine optimierte Syntax für Routineaufgaben wie Filtern, Bewerten und Klassifizieren. BigQuery wählt ein Modell für Sie aus, das für Kosten und Qualität optimiert ist.

  • Aufgabenspezifische Funktionen: Mit diesen Funktionen können Sie Cloud AI APIs für Aufgaben wie die folgenden verwenden:

Weitere Informationen finden Sie unter Aufgabenspezifische Lösungen – Übersicht.

BigQuery bietet eine Vielzahl von Suchfunktionen und ‑features, mit denen Sie effizient nach bestimmten Daten suchen oder Ähnlichkeiten zwischen Daten, einschließlich multimodaler Daten, erkennen können.

  • Textsuche: Mit der SEARCH-Funktion können Sie eine tokenisierte Suche nach unstrukturiertem Text oder semistrukturierten JSON-Daten durchführen. Sie können die Suchleistung verbessern, indem Sie einen Suchindex erstellen. So kann BigQuery Abfragen optimieren, in denen die Funktion SEARCH sowie andere Funktionen und Operatoren verwendet werden. Weitere Informationen finden Sie unter Indexierte Daten durchsuchen.

  • Generierung von Einbettungen: Einbettungen sind hochdimensionale numerische Vektoren, die Entitäten wie Text oder Bilder darstellen und häufig von ML-Modellen generiert werden. Sie können multimodale Einbettungen generieren, indem Sie Modelle verwenden, die von Vertex AI bereitgestellt oder gehostet werden, oder indem Sie Modelle verwenden, die in BigQuery importiert und ausgeführt werden.

    Sie können auch festlegen, dass BigQuery automatisch eine Spalte mit Einbettungen verwaltet, indem Sie die autonome Generierung von Einbettungen (Vorschau) aktivieren.

  • Vektorsuche: Mit der Funktion VECTOR_SEARCH können Sie in Einbettungen nach semantisch ähnlichen Elementen suchen. Mit der Funktion AI.SEARCH (Vorschau) können Sie Tabellen durchsuchen, für die die autonome Einbettungsgenerierung aktiviert ist. Sie können die Leistung der Vektorsuche verbessern, indem Sie einen Vektorindex erstellen. Dabei werden Suchtechniken für die Annäherung an den nächsten Nachbarn verwendet, um schnellere, ungefähre Ergebnisse zu liefern.

    Häufige Anwendungsfälle für die Vektorsuche sind die semantische Suche, Empfehlungen und Retrieval-Augmented Generation (RAG). Weitere Informationen finden Sie unter Einführung in die Vektorsuche.

Unterstützende KI‑Funktionen

KI-basierte Unterstützungsfunktionen in BigQuery, die zusammen als Gemini in BigQuery bezeichnet werden, helfen Ihnen, Ihre Daten zu ermitteln, vorzubereiten, abzufragen und zu visualisieren.

  • Datenstatistiken: Fragen in natürlicher Sprache zu Ihren Daten generieren, zusammen mit den SQL-Abfragen, die zur Beantwortung dieser Fragen erforderlich sind.
  • Datenvorbereitung: Kontextbezogene Empfehlungen zum Bereinigen, Transformieren und Anreichern Ihrer Daten generieren.
  • SQL Code Assist: SQL-Abfragen generieren, vervollständigen und erklären lassen
  • Python Code Assist Python-Code generieren, fertigstellen und erklären lassen, einschließlich PySpark und BigQuery DataFrames
  • Daten-Canvas: Sie können Ihre Daten in natürlicher Sprache abfragen, Ergebnisse in Diagrammen visualisieren und Folgefragen stellen.
  • SQL-Übersetzer: Erstellen Sie Gemini-optimierte SQL-Übersetzungsregeln, um Abfragen, die in einem anderen Dialekt geschrieben sind, in GoogleSQL zu migrieren.

Agents

Agenten sind Softwaretools, die KI nutzen können, um Aufgaben in Ihrem Namen zu erledigen. Sie können integrierte Agenten verwenden oder eigene Agenten erstellen, um Ihre Daten zu verarbeiten, zu verwalten, zu analysieren und zu visualisieren:

  • Mit dem Data Science Agent können Sie explorative Datenanalysen, Datenverarbeitung, ML-Aufgaben und Visualisierungen in einem Colab Enterprise-Notebook automatisieren.

  • Mit dem Data Engineering Agent können Sie Datenpipelines erstellen, ändern und verwalten, um Daten in BigQuery zu laden und zu verarbeiten. Sie können Datenpipelines aus verschiedenen Datenquellen mit Prompts in natürlicher Sprache generieren oder vorhandene Datenpipelines an Ihre Anforderungen an die Datenaufbereitung anpassen.

  • Mit der Gemini CLI können Sie über Prompts in natürlicher Sprache in Ihrem Terminal mit BigQuery-Daten interagieren.

  • Mit der MCP-Toolbox können Sie Ihr eigenes KI-Tool mit BigQuery verbinden und mit Ihren Daten interagieren.

Nächste Schritte