Pengantar AI di BigQuery

BigQuery menawarkan berbagai kemampuan AI yang memungkinkan Anda melakukan hal berikut:

  • Lakukan machine learning (ML) prediktif.
  • Menjalankan inferensi terhadap model bahasa besar (LLM) seperti Gemini.
  • Bangun aplikasi menggunakan embedding dan penelusuran vektor.
  • Menggunakan agen bawaan untuk membantu coding.
  • Buat pipeline data.
  • Mengakses fungsi BigQuery dengan alat agen.

Machine learning

Dengan BigQuery ML, Anda dapat melatih, mengevaluasi, dan menjalankan inferensi pada model untuk tugas-tugas seperti perkiraan deret waktu, deteksi anomali, klasifikasi, regresi, pengelompokan, pengurangan dimensi, dan rekomendasi.

Anda dapat menggunakan kemampuan BigQuery ML melalui konsolGoogle Cloud , alat command line bq, REST API, atau di notebook Colab Enterprise. Karena BigQuery ML memungkinkan praktisi SQL menggunakan alat dan keterampilan SQL yang ada untuk membangun dan mengevaluasi model, BigQuery ML memperluas akses ML dan mempercepat pengembangan model dengan menghadirkan ML ke data, bukan mengharuskan pergerakan data. Anda dapat menggunakan BigQuery ML untuk membantu Anda melakukan jenis tugas ML berikut:

Untuk mempelajari lebih lanjut, lihat Pengantar ML di BigQuery.

Fungsi AI

BigQuery menawarkan berbagai fungsi SQL yang dapat Anda gunakan untuk tugas AI seperti pembuatan teks, analisis teks atau data tidak terstruktur, dan terjemahan. Fungsi ini mengakses model LLM partner dan Gemini yang tersedia dari Vertex AI, Cloud AI API, atau model BigQuery bawaan untuk melakukan tugas ini.

Ada beberapa kategori fungsi AI:

  • Fungsi AI generatif. Fungsi ini membantu Anda melakukan tugas seperti pembuatan konten, analisis, ringkasan, ekstraksi data terstruktur, klasifikasi, pembuatan sematan, dan pengayaan data. Ada dua jenis fungsi AI generatif:

    • Fungsi AI serbaguna memberi Anda kontrol dan transparansi penuh atas pilihan model, perintah, dan parameter yang akan digunakan.
    • Fungsi AI terkelola menawarkan sintaksis yang disederhanakan untuk tugas rutin seperti pemfilteran, pemberian rating, dan klasifikasi. BigQuery memilih model untuk Anda, yang dioptimalkan untuk biaya dan kualitas.

  • Fungsi khusus tugas. Fungsi ini membantu Anda menggunakan Cloud AI API untuk tugas seperti berikut:

Untuk mengetahui informasi selengkapnya, lihat Ringkasan solusi khusus tugas.

BigQuery menawarkan berbagai fungsi dan fitur penelusuran untuk membantu Anda menemukan data tertentu secara efisien atau menemukan kesamaan antar-data, termasuk data multimodal.

  • Penelusuran teks. Anda dapat menggunakan fungsi SEARCH untuk melakukan penelusuran yang ditokenkan pada teks tidak terstruktur atau data JSON semi-terstruktur. Anda dapat meningkatkan performa penelusuran dengan membuat indeks penelusuran, yang memungkinkan BigQuery mengoptimalkan kueri yang menggunakan fungsi SEARCH, serta fungsi dan operator lainnya. Untuk mengetahui informasi selengkapnya, lihat Menelusuri data yang diindeks.

  • Pembuatan embedding. Embedding adalah vektor numerik berdimensi tinggi yang merepresentasikan entity seperti teks atau gambar, dan sering kali dibuat oleh model ML. Anda dapat membuat embedding multimodal dengan menggunakan model yang disediakan oleh atau dihosting di Vertex AI, atau dengan menggunakan model yang diimpor dan dijalankan di BigQuery.

    Anda juga dapat membuat BigQuery otomatis mengelola kolom embedding dengan mengaktifkan pembuatan embedding mandiri (Pratinjau).

  • Penelusuran vektor. Anda dapat menggunakan fungsi VECTOR_SEARCH untuk menelusuri embedding guna menemukan item yang mirip secara semantik. Anda dapat menggunakan fungsi AI.SEARCH (Pratinjau) untuk menelusuri tabel yang mengaktifkan pembuatan sematan otonom. Anda dapat meningkatkan performa penelusuran vektor dengan membuat indeks vektor, yang menggunakan teknik penelusuran Tetangga Terdekat Perkiraan untuk memberikan hasil yang lebih cepat dan lebih mendekati.

    Kasus penggunaan umum untuk penelusuran vektor mencakup penelusuran semantik, rekomendasi, dan Retrieval-Augmented Generation (RAG). Untuk mengetahui informasi selengkapnya, lihat Pengantar penelusuran vektor.

Fitur AI pendukung

Fitur bantuan yang didukung AI di BigQuery, yang secara kolektif disebut sebagai Gemini in BigQuery, membantu Anda menemukan, menyiapkan, mengkueri, dan memvisualisasikan data.

  • Insight data. Buat pertanyaan dalam bahasa alami tentang data Anda, beserta kueri SQL untuk menjawab pertanyaan tersebut.
  • Persiapan data. Buat rekomendasi yang sesuai konteks untuk membersihkan, mentransformasi, dan memperkaya data Anda.
  • Bantuan kode SQL. Membuat, melengkapi, dan menjelaskan kueri SQL.
  • Bantuan kode Python. Membuat, melengkapi, dan menjelaskan kode Python, termasuk PySpark dan BigQuery DataFrames.
  • Kanvas data. Buat kueri data Anda menggunakan bahasa alami, visualisasikan hasil dengan diagram, dan ajukan pertanyaan lanjutan.
  • Penerjemah SQL. Buat aturan terjemahan SQL yang ditingkatkan Gemini untuk membantu Anda memigrasikan kueri yang ditulis dalam dialek lain ke GoogleSQL.

Agen

Agen adalah alat software yang dapat menggunakan AI untuk menyelesaikan tugas atas nama Anda. Anda dapat menggunakan agen bawaan atau membuat agen Anda sendiri untuk membantu Anda memproses, mengelola, menganalisis, dan memvisualisasikan data Anda:

  • Gunakan Agen Data Science untuk mengotomatiskan analisis data eksploratori, pemrosesan data, tugas ML, dan insight visualisasi dalam notebook Colab Enterprise.

  • Gunakan Agen Data Engineering untuk membangun, mengubah, dan mengelola pipeline data guna memuat dan memproses data di BigQuery. Anda dapat menggunakan perintah bahasa alami untuk membuat pipeline data dari berbagai sumber data atau menyesuaikan pipeline data yang ada agar sesuai dengan kebutuhan rekayasa data Anda.

  • Gunakan Gemini CLI untuk berinteraksi dengan data BigQuery di terminal Anda menggunakan perintah bahasa alami.

  • Gunakan toolbox MCP untuk menghubungkan alat AI Anda sendiri ke BigQuery dan berinteraksi dengan data Anda.

Langkah berikutnya