Pengantar AI di BigQuery

BigQuery menawarkan berbagai kemampuan AI yang memungkinkan Anda melakukan hal berikut:

  • Melakukan machine learning (ML) prediktif.
  • Menjalankan inferensi terhadap model bahasa besar (LLM) seperti Gemini.
  • Membuat aplikasi menggunakan embedding dan penelusuran vektor.
  • Menggunakan agen bawaan untuk membantu coding.
  • Membuat pipeline data.
  • Mengakses fungsi BigQuery dengan alat agen.

Machine learning

Dengan BigQuery ML, Anda dapat melatih, mengevaluasi, dan menjalankan inferensi pada model untuk tugas seperti perkiraan deret waktu, deteksi anomali, klasifikasi, regresi, pengelompokan, pengurangan dimensi, dan rekomendasi.

Anda dapat menggunakan kemampuan BigQuery ML melalui Google Cloud konsol, alat command line bq, REST API, atau di notebook Colab Enterprise. Karena BigQuery ML memungkinkan praktisi SQL menggunakan alat dan keterampilan SQL yang ada untuk membangun dan mengevaluasi model, BigQuery ML mendemokratisasi ML dan mempercepat pengembangan model dengan membawa ML ke data, bukan mengharuskan pergerakan data. Anda dapat menggunakan BigQuery ML untuk membantu Anda dengan jenis tugas ML berikut:

Untuk mempelajari lebih lanjut, lihat Pengantar ML di BigQuery.

Fungsi AI

BigQuery menawarkan berbagai fungsi SQL yang dapat Anda gunakan untuk tugas AI seperti pembuatan teks, analisis teks atau data tidak terstruktur, dan terjemahan. Fungsi ini mengakses model LLM Gemini dan partner yang tersedia dari Platform Agen Gemini Enterprise, Cloud AI API, atau model BigQuery bawaan untuk melakukan tugas ini.

Ada beberapa kategori fungsi AI:

  • Fungsi AI generatif. Fungsi ini membantu Anda melakukan tugas seperti pembuatan konten, analisis, ringkasan, ekstraksi data terstruktur, klasifikasi, pembuatan embedding, dan pengayaan data. Ada dua jenis fungsi AI generatif:

    • Fungsi AI tujuan umum memberi Anda kontrol dan transparansi penuh atas pilihan model, perintah, dan parameter yang akan digunakan.
    • Fungsi AI terkelola menawarkan sintaksis yang disederhanakan untuk tugas rutin seperti pemfilteran, rating, dan klasifikasi. BigQuery dapat memilih model untuk Anda guna mengoptimalkan biaya dan kualitas.

  • Fungsi khusus tugas. Fungsi ini membantu Anda menggunakan Cloud AI API untuk tugas seperti berikut:

Untuk mengetahui informasi selengkapnya, lihat Ringkasan solusi khusus tugas.

BigQuery menawarkan berbagai fungsi dan fitur penelusuran untuk membantu Anda menemukan data tertentu secara efisien atau menemukan kesamaan antara data, termasuk data multimodal.

  • Penelusuran teks. Anda dapat menggunakan fungsi SEARCH untuk melakukan penelusuran yang di-tokenisasi pada teks tidak terstruktur atau data JSON semi-terstruktur. Anda dapat meningkatkan performa penelusuran dengan membuat indeks penelusuran, yang memungkinkan BigQuery mengoptimalkan kueri yang menggunakan fungsi SEARCH, serta fungsi dan operator lainnya. Untuk mengetahui informasi selengkapnya, lihat Menelusuri data yang diindeks.

  • Pembuatan embedding. Embedding adalah vektor numerik berdimensi tinggi yang merepresentasikan entity seperti teks atau gambar, dan sering kali dibuat oleh model ML. Anda dapat membuat embedding multimodal menggunakan model yang disediakan oleh atau dihosting di Platform Agen, atau menggunakan model yang diimpor dan dijalankan di BigQuery.

    Anda juga dapat meminta BigQuery untuk otomatis mempertahankan kolom embedding dengan mengaktifkan pembuatan embedding otonom (Pratinjau).

  • Penelusuran vektor. Anda dapat menggunakan fungsi VECTOR_SEARCH untuk menelusuri embedding guna menemukan item yang mirip secara semantik. Anda dapat menggunakan fungsi AI.SEARCH (Pratinjau) untuk menelusuri tabel yang mengaktifkan pembuatan embedding otonom. Anda dapat meningkatkan performa penelusuran vektor dengan membuat indeks vektor, yang menggunakan teknik penelusuran Tetangga Terdekat Perkiraan untuk memberikan hasil yang lebih cepat dan lebih perkiraan.

    Kasus penggunaan umum untuk penelusuran vektor mencakup penelusuran semantik, rekomendasi, dan Retrieval-Augmented Generation (RAG). Untuk mengetahui informasi selengkapnya, lihat Pengantar penelusuran vektor.

Fitur AI bantu

Fitur bantuan yang didukung AI di BigQuery, yang secara kolektif disebut Gemini di BigQuery, membantu Anda menemukan, menyiapkan, membuat kueri, dan memvisualisasikan data.

  • Insight data. Membuat pertanyaan bahasa alami tentang data Anda, beserta kueri SQL untuk menjawab pertanyaan tersebut.
  • Persiapan data. Membuat rekomendasi yang sesuai konteks untuk membersihkan, mentransformasi, dan memperkaya data Anda.
  • Bantuan kode SQL. Membuat, melengkapi, dan menjelaskan kueri SQL.
  • Bantuan kode Python. Membuat, melengkapi, dan menjelaskan kode Python, termasuk PySpark dan BigQuery DataFrames.
  • Data canvas. Membuat kueri data menggunakan bahasa alami, memvisualisasikan hasil dengan diagram, dan mengajukan pertanyaan lanjutan.
  • Penerjemah SQL. Membuat aturan terjemahan SQL yang ditingkatkan Gemini untuk membantu Anda memigrasikan kueri yang ditulis dalam dialek yang berbeda ke GoogleSQL.

Agen

Agen adalah alat software yang dapat menggunakan AI untuk menyelesaikan tugas atas nama Anda. Anda dapat menggunakan agen bawaan atau membuat agen Anda sendiri untuk membantu Anda memproses, mengelola, menganalisis, dan memvisualisasikan data:

  • Menggunakan Agen Data Science untuk mengotomatiskan analisis data eksploratori, pemrosesan data, tugas ML, dan insight visualisasi dalam notebook Colab Enterprise.

  • Menggunakan Agen Data Engineering untuk membangun, mengubah, dan mengelola pipeline data guna memuat dan memproses data di BigQuery. Anda dapat menggunakan perintah bahasa alami untuk membuat pipeline data dari berbagai sumber data atau mengadaptasi pipeline data yang ada agar sesuai dengan kebutuhan data engineering Anda.

  • Menggunakan Agen Analisis Percakapan untuk berinteraksi dengan data Anda menggunakan bahasa percakapan. Agen ini terdiri dari satu atau beberapa sumber data dan serangkaian petunjuk khusus kasus penggunaan untuk memproses data tersebut. Analisis percakapan mendukung penggunaan beberapa fungsi BigQuery ML.

  • Menggunakan Gemini CLI untuk berinteraksi dengan data BigQuery di terminal Anda menggunakan perintah bahasa alami.

  • Membangun menggunakan MCP toolbox open source atau alat ADK untuk pengembangan agen yang cepat dan berulang.

Langkah berikutnya