Pengantar kueri berkelanjutan

Dokumen ini menjelaskan kueri berkelanjutan BigQuery.

Kueri berkelanjutan BigQuery adalah pernyataan SQL yang berjalan terus-menerus. Kueri berkelanjutan memungkinkan Anda menganalisis data yang masuk di BigQuery secara real time. Anda dapat menyisipkan baris output yang dihasilkan oleh kueri berkelanjutan ke dalam tabel BigQuery atau mengekspornya ke Pub/Sub, Bigtable, atau Spanner. Kueri berkelanjutan dapat memproses data yang telah ditulis ke tabel BigQuery standar menggunakan salah satu metode berikut:

• The BigQuery Storage Write API
• Metode tabledata.insertAll
• Pemuatan batch
• Pernyataan DML INSERT
• Mengubah pernyataan bahasa pengolahan data (DML) seperti DELETE, UPDATE, dan MERGE saat mengekspor data ke Pub/Sub.
• Menulis dari hasil kueri batch ke tabel permanen
• Menulis dari hasil kueri berkelanjutan BigQuery ke tabel permanen
• Langganan Pub/Sub BigQuery
• Menulis dari Dataflow ke BigQuery
• Menulis dari Datastream ke BigQuery menggunakan mode tulis hanya-tambah

Anda dapat menggunakan kueri berkelanjutan untuk melakukan tugas yang mendesak, seperti membuat dan segera menindaklanjuti insight, menerapkan inferensi machine learning (ML) real-time, dan mereplikasi data ke platform lain. Hal ini memungkinkan Anda menggunakan BigQuery sebagai mesin pemrosesan data berbasis peristiwa untuk logika keputusan aplikasi Anda.

Diagram berikut menunjukkan alur kerja kueri berkelanjutan umum:

Kasus penggunaan

Kasus penggunaan umum saat Anda mungkin ingin menggunakan kueri berkelanjutan adalah sebagai berikut:

• Layanan interaksi pelanggan yang dipersonalisasi: gunakan AI generatif untuk membuat pesan yang disesuaikan untuk setiap interaksi pelanggan.
• Deteksi anomali: buat solusi yang memungkinkan Anda melakukan deteksi anomali dan ancaman deteksi pada data kompleks secara real time, sehingga Anda dapat bereaksi terhadap masalah dengan lebih cepat.
• Pipeline berbasis peristiwa yang dapat disesuaikan: gunakan integrasi kueri berkelanjutan dengan Pub/Sub untuk memicu aplikasi downstream berdasarkan data yang masuk.
• Pengayaan data dan ekstraksi entitas: gunakan kueri berkelanjutan untuk melakukan pengayaan dan transformasi data real-time menggunakan fungsi SQL dan model ML.
• Reverse extract-transform-load (ETL): lakukan reverse ETL real-time ke sistem penyimpanan lain yang lebih cocok untuk penayangan aplikasi latensi rendah. Misalnya, menganalisis atau meningkatkan data peristiwa yang ditulis ke BigQuery, lalu melakukan streaming ke Bigtable atau Spanner untuk penayangan aplikasi.
• Pemicuan agen otonom: picu pipeline data agentic secara real-time berdasarkan peristiwa kompleks yang terdeteksi dalam aliran data langsung. Untuk contohnya, lihat codelab Membangun Agen Data Berbasis Peristiwa dengan BigQuery dan Agent Development Kit (ADK).
• Pemantauan agen otonom: kembangkan pemantauan dan pemberitahuan otomatis real-time untuk interaksi agentic real-time menggunakan plugin analisis agen BigQuery, yang melakukan streaming semua data pelacakan agen, penggunaan alat, dan log operasional langsung ke BigQuery untuk observabilitas mendalam ke tenaga kerja AI Anda.

Fungsi yang didukung

Operasi berikut didukung dalam kueri berkelanjutan:

• Menjalankan INSERT pernyataan untuk menulis data dari kueri berkelanjutan ke dalam tabel BigQuery.

• Menjalankan EXPORT DATA pernyataan untuk memublikasikan output kueri berkelanjutan ke topik Pub/Sub. Untuk mengetahui informasi selengkapnya, lihat Mengekspor data ke Pub/Sub.

  Dari topik Pub/Sub, Anda dapat menggunakan data dengan layanan lain, seperti melakukan analisis streaming menggunakan Dataflow, atau menggunakan data dalam alur kerja integrasi aplikasi.

• Menjalankan pernyataan EXPORT DATA untuk mengekspor data dari BigQuery ke tabel Bigtable. Untuk mengetahui informasi selengkapnya, lihat Mengekspor data ke Bigtable.

• Menjalankan pernyataan EXPORT DATA untuk mengekspor data dari BigQuery ke tabel Spanner. Untuk mengetahui informasi selengkapnya, lihat Mengekspor data ke Spanner (reverse ETL).

• Memanggil fungsi AI generatif berikut:

  • AI.GENERATE

  • AI.GENERATE_TEXT

    • Fungsi ini mengharuskan Anda memiliki model jarak jauh BigQuery ML di atas model Platform Agen Gemini Enterprise.

• Memanggil fungsi AI berikut:

  • ML.UNDERSTAND_TEXT
  • ML.TRANSLATE

  Fungsi ini mengharuskan Anda memiliki model jarak jauh BigQuery ML di atas Cloud AI API.

• Menormalkan data numerik menggunakan fungsi ML.NORMALIZER.

• Menganalisis dan memproses JSON data, termasuk dukungan untuk fungsi JSON dan JSON unnesting.

• Menggunakan fungsi GoogleSQL stateless—misalnya, fungsi konversi. Dalam fungsi stateless, setiap baris diproses secara independen dari baris lain dalam tabel.

• Menggunakan stateful operasi—misalnya, JOINs, agregasi, dan agregasi jendela. Dalam operasi stateful, status data yang dimasukkan dipertahankan di beberapa baris atau interval waktu untuk menghitung hasil yang akurat.

• Menggunakan fungsi histori perubahan untuk memproses data yang ditambahkan dari titik waktu tertentu.APPENDS

• Menggunakan fungsi histori perubahan CHANGES untuk memproses data yang diubah, termasuk penambahan dan mutasi, dari titik waktu tertentu saat mengekspor data ke Pub/Sub. Namun, CHANGES tidak didukung saat menggunakan operasi stateful.

Operasi stateful yang didukung

Pratinjau

Fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum dari Persyaratan Khusus Layanan. Fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Untuk meminta dukungan atau memberikan masukan terkait fitur ini, kirim email ke [e-mail].

Operasi stateful memungkinkan kueri berkelanjutan melakukan analisis kompleks yang memerlukan penyimpanan informasi di beberapa baris atau interval waktu. Meskipun fungsi stateless memproses setiap baris secara independen, operasi stateful mempertahankan status data yang dimasukkan untuk mendukung fungsi seperti JOINs, agregasi, dan agregasi jendela. Kemampuan ini memungkinkan Anda mengorelasikan peristiwa dari berbagai aliran atau menghitung metrik dari waktu ke waktu—seperti rata-rata 30 menit—dengan menyimpan data yang diperlukan dalam memori saat kueri berjalan.

Kueri berkelanjutan mendukung operasi stateful berikut:

• JOIN
• Agregasi dan windowing

Otorisasi

Token akses yang digunakan saat menjalankan tugas kueri berkelanjutan memiliki waktu aktif (TTL) selama dua hari saat dibuat oleh akun pengguna.Google Cloud Oleh karena itu, tugas tersebut berhenti berjalan setelah dua hari. Token akses yang dibuat oleh akun layanan dapat berjalan lebih lama, tetapi tetap harus mematuhi runtime kueri maksimum. Untuk mengetahui informasi selengkapnya, lihat Menjalankan kueri berkelanjutan menggunakan akun layanan.

Lokasi

Untuk mengetahui daftar region yang didukung, lihat Lokasi kueri berkelanjutan BigQuery.

Batasan

Kueri berkelanjutan tunduk pada batasan berikut:

• Status data yang dimasukkan hanya dipertahankan untuk operasi stateful tertentu dalam Pratinjau. Meskipun kueri berkelanjutan kini mendukung beberapa jenis JOIN, agregasi, dan agregasi jendela, hal ini dibatasi untuk operasi stateful tertentu. Tidak semua jenis operasi stateful didukung.

• Anda tidak dapat menggunakan kemampuan SQL berikut dalam kueri berkelanjutan, kecuali jika tercantum sebagai operasi stateful yang didukung:

  • Operator kueri berikut:

    • PIVOT
    • UNPIVOT
    • TABLESAMPLE

  • Kueri set operator

  • Pernyataan SELECT DISTINCT

  • Subkueri EXISTS atau NOT EXISTS

  • CTE Rekursif

  • Fungsi yang ditentukan pengguna (UDF)

  • Panggilan fungsi jendela

  • Fungsi BigQuery ML selain yang tercantum dalam Fungsi yang didukung

  • Pernyataan bahasa definisi data (DDL)

  • Pernyataan bahasa manipulasi data (DML) kecuali INSERT.

  • Pernyataan bahasa kontrol data (DCL)

  • Pernyataan EXPORT DATA yang tidak menargetkan Bigtable, Pub/Sub, atau Spanner.

  • Bahasa prosedur

  • Pernyataan proses debug

• Kueri berkelanjutan tidak mendukung sumber data berikut:

  • Tabel eksternal.
  • Tampilan skema informasi.
  • Tabel terkelola Apache Iceberg.
  • Tabel karakter pengganti.
  • Data upsert Change Data Capture (CDC) data.
  • Tampilan terwujud.
  • Tampilan yang ditentukan oleh batasan kueri berkelanjutan lainnya, seperti operasi JOIN, fungsi agregat, fungsi yang ditentukan pengguna, atau tabel yang mengaktifkan Change Data Capture.

• Kueri berkelanjutan tidak mendukung fitur keamanan tingkat column- dan baris.

• Output kueri berkelanjutan tunduk pada kuota dan batasan bawaan layanan tujuan tempat output diekspor.

• Saat mengekspor data ke endpoint lokasi Bigtable, Spanner, atau Pub/Sub , Anda hanya dapat menargetkan resource Bigtable, Spanner, atau Pub/Sub yang berada dalam batas Google Cloud regional yang sama dengan set data BigQuery yang berisi tabel yang Anda kueri. Batasan ini tidak berlaku saat mengekspor data ke endpoint global Pub/Sub. Untuk mengetahui informasi selengkapnya tentang cara mengekspor ke profil aplikasi Bigtable kebijakan perutean, lihat Pertimbangan lokasi.

• Anda tidak dapat menjalankan kueri berkelanjutan dari a kanvas data.

• Anda tidak dapat mengubah SQL yang digunakan dalam kueri berkelanjutan saat tugas kueri berkelanjutan sedang berjalan. Untuk mengetahui informasi selengkapnya, lihat Mengubah SQL kueri berkelanjutan.

• Jika tugas kueri berkelanjutan tertinggal dalam memproses data yang masuk dan memiliki latensi watermark output lebih dari 48 jam, tugas tersebut akan gagal. Anda dapat menjalankan kueri lagi dan menggunakan fungsi histori perubahan APPENDS atau CHANGES untuk melanjutkan pemrosesan dari titik waktu saat Anda menghentikan tugas kueri berkelanjutan sebelumnya. Untuk mengetahui informasi selengkapnya, lihat Memulai kueri berkelanjutan dari titik waktu tertentu.

• Kueri berkelanjutan yang dikonfigurasi dengan akun pengguna dapat berjalan hingga dua hari. Kueri berkelanjutan yang dikonfigurasi dengan akun layanan dapat berjalan hingga 150 hari. Saat runtime kueri maksimum tercapai, kueri akan gagal dan berhenti memproses data yang masuk.

• Meskipun kueri berkelanjutan dibuat menggunakan BigQuery fitur keandalan, masalah sementara sesekali dapat terjadi. Masalah ini dapat menyebabkan sejumlah pemrosesan ulang otomatis kueri berkelanjutan Anda, yang dapat mengakibatkan data duplikat dalam output kueri berkelanjutan. Desain sistem downstream Anda untuk menangani skenario tersebut.

Batasan reservasi

• Anda harus membuat reservasi edisi Enterprise atau edisi Enterprise Plus untuk menjalankan kueri berkelanjutan. Kueri berkelanjutan tidak mendukung model penagihan komputasi sesuai permintaan.
• Saat Anda membuat CONTINUOUS penetapan reservasi, reservasi terkait dibatasi hingga maksimal 500 slot. Anda dapat meminta peningkatan batas ini dengan menghubungi [e-mail].
• Anda tidak dapat membuat penetapan reservasi yang menggunakan jenis tugas yang berbeda dalam reservasi yang sama dengan penetapan reservasi kueri berkelanjutan.
• Anda tidak dapat mengonfigurasi konkurensi kueri berkelanjutan. BigQuery secara otomatis menentukan jumlah kueri berkelanjutan yang dapat berjalan secara serentak, berdasarkan penetapan reservasi yang tersedia yang menggunakan jenis tugas CONTINUOUS.
• Saat menjalankan beberapa kueri berkelanjutan menggunakan reservasi yang sama, setiap tugas mungkin tidak membagi resource yang tersedia secara adil, seperti yang ditentukan oleh keadilan BigQuery.

Penskalaan otomatis slot

Kueri berkelanjutan dapat menggunakan pensakalaan otomatis slot untuk menskalakan kapasitas yang dialokasikan secara dinamis guna mengakomodasi workload Anda. Saat workload kueri berkelanjutan Anda meningkat atau menurun, BigQuery akan menyesuaikan slot Anda secara dinamis.

Setelah kueri berkelanjutan mulai berjalan, kueri akan secara aktif memproses data yang masuk, yang menggunakan resource slot. Meskipun reservasi dengan kueri berkelanjutan yang berjalan tidak diskalakan hingga nol slot, kueri berkelanjutan yang tidak ada aktivitas dan terutama memproses data yang masuk diperkirakan akan menggunakan jumlah slot minimal, biasanya sekitar 1 slot.

Berbagi slot tidak ada aktivitas

Kueri berkelanjutan dapat menggunakan berbagi slot tidak ada aktivitas untuk berbagi resource slot yang tidak digunakan dengan reservasi dan jenis tugas.

• Penetapan CONTINUOUS reservasi masih diperlukan untuk menjalankan kueri berkelanjutan dan tidak dapat hanya mengandalkan slot tidak ada aktivitas dari reservasi lain. Oleh karena itu, penetapan reservasi CONTINUOUS memerlukan baseline slot bukan nol atau konfigurasi penskalaan otomatis slot bukan nol.
• Hanya slot dasar pengukuran tidak ada aktivitas atau slot yang di-commit dari penetapan reservasi CONTINUOUS yang dapat dibagikan. Slot penskalaan otomatis tidak dapat dibagikan sebagai slot tidak ada aktivitas untuk reservasi lain.

Harga

Kueri berkelanjutan menggunakan harga komputasi kapasitas BigQuery, yang diukur dalam slot. Untuk menjalankan kueri berkelanjutan, Anda harus memiliki reservasi yang menggunakan edisi Enterprise atau Enterprise Plus, dan penetapan reservasi yang menggunakan jenis tugas CONTINUOUS.

Penggunaan resource BigQuery lainnya, seperti penyerapan dan penyimpanan data, akan dikenai biaya sesuai tarif yang ditampilkan dalam harga BigQuery.

Penggunaan layanan lain yang menerima hasil kueri berkelanjutan atau yang dipanggil selama pemrosesan kueri berkelanjutan akan dikenai biaya sesuai tarif yang dipublikasikan untuk layanan tersebut. Untuk mengetahui harga layanan lain Google Cloud yang digunakan oleh kueri berkelanjutan, lihat topik berikut:

• Harga Bigtable
• Harga Pub/Sub
• Harga Spanner
• Harga Platform Agen

Langkah berikutnya

Coba buat kueri berkelanjutan.