Ringkasan analisis BigQuery

Dokumen ini memberikan ringkasan tentang cara BigQuery memproses kueri dan ringkasan beberapa fitur yang berguna untuk memahami dan menganalisis data Anda.

BigQuery dioptimalkan untuk menjalankan kueri analisis pada set data besar, termasuk data terabyte dalam hitungan detik dan petabyte dalam hitungan menit. Dengan memahami kemampuan BigQuery dan cara memproses kueri, Anda dapat memaksimalkan investasi analisis data.

Alur kerja analitik

BigQuery mendukung beberapa alur kerja analisis data:

  • Analisis ad hoc. BigQuery menggunakan GoogleSQL, dialek SQL di BigQuery, untuk mendukung analisis ad hoc. Anda dapat menjalankan kueri di Google Cloud konsol atau melalui alat pihak ketiga yang terintegrasi dengan BigQuery.

  • Analisis geospasial. BigQuery menggunakan jenis data geografi dan fungsi geografi GoogleSQL untuk memungkinkan Anda menganalisis dan memvisualisasikan data geospasial. Untuk mengetahui informasi tentang jenis dan fungsi data ini, lihat Pengantar analisis geospasial.

  • Analisis grafik. BigQuery Graph memungkinkan Anda memodelkan data sebagai grafik dengan node dan tepi. Anda dapat menggunakan Graph Query Language (GQL) untuk menemukan hubungan kompleks dan tersembunyi antara titik data yang akan sulit ditemukan menggunakan SQL.

  • Menelusuri data. Anda dapat mengindeks data untuk melakukan penelusuran yang fleksibel dan dioptimalkan pada teks tidak terstruktur atau data JSON semi-terstruktur.

  • Menelusuri Google Cloud resource. Gunakan penelusuran bahasa alami (Pratinjau) untuk menemukan Google Cloud resource dari dalam BigQuery.

  • Machine learning. BigQuery ML menggunakan kueri GoogleSQL agar Anda dapat membuat dan menjalankan model machine learning (ML) di BigQuery.

  • Business intelligence. BigQuery BI Engine adalah layanan analisis dalam memori yang cepat dan memungkinkan Anda membuat dasbor dan laporan yang lengkap dan interaktif tanpa mengorbankan performa, skalabilitas, keamanan, atau keaktualan data.

  • Bantuan AI. Anda dapat menggunakan Gemini in BigQuery untuk menyiapkan dan menjelajahi data, membuat kueri SQL dan kode Python, serta memvisualisasikan hasil.

Eksplorasi data

BigQuery dapat membantu Anda memahami data sebelum mulai menulis kueri SQL. Gunakan fitur berikut jika Anda ingin menemukan data, tidak terbiasa dengan data, tidak tahu pertanyaan yang harus diajukan, atau memerlukan bantuan untuk menulis SQL:

  • Knowledge Catalog. Temukan Google Cloud resource dari dalam BigQuery, seperti set data dan tabel.

  • Panel referensi. Pratinjau detail skema tabel, snapshot, tampilan, dan tampilan terwujud, serta buat kueri baru atau edit kueri yang ada.

  • Insight data. Buat pertanyaan bahasa alami tentang data Anda, beserta kueri SQL untuk menjawab pertanyaan tersebut.

  • Pemindaian profil data. Lihat karakteristik statistik data Anda, termasuk nilai rata-rata, unik, maksimum, dan minimum.

  • Data canvas. Buat kueri data menggunakan bahasa alami, visualisasikan hasil dengan diagram, dan ajukan pertanyaan lanjutan.

Kueri

Cara utama untuk menganalisis data di BigQuery adalah dengan menjalankan kueri SQL. Dialek GoogleSQL mendukung SQL:2011 dan mencakup ekstensi yang mendukung analisis geospasial dan ML.

Sumber data

BigQuery memungkinkan Anda membuat kueri jenis sumber data berikut:

  • Data disimpan di BigQuery. Anda dapat memuat data ke BigQuery, mengubah data yang ada menggunakan pernyataan bahasa pengolahan data (DML), atau menulis hasil kueri ke tabel. Anda dapat membuat kueri data historis dari waktu tertentu dalam periode perjalanan waktu.

    Anda dapat membuat kueri data yang disimpan di lokasi satu region atau multi-region. Kueri yang mengakses data yang disimpan di lebih dari satu lokasi dapat diperlakukan sebagai kueri global (Pratinjau). Kueri yang mereferensikan data di beberapa lokasi selalu diperlakukan sebagai kueri global, meskipun satu region adalah lokasi satu region dan yang lainnya adalah lokasi multi-region yang berisi lokasi satu region.

  • Data eksternal. Anda dapat membuat kueri berbagai sumber data eksternal seperti Cloud Storage, atau layanan database seperti Spanner atau Cloud SQL. Untuk informasi cara menyiapkan koneksi ke sumber eksternal, lihat Pengantar sumber data eksternal

  • Data multi-cloud. Anda dapat mengkueri data yang disimpan di cloud publik lainnya, seperti AWS atau Azure. Untuk mengetahui informasi cara menyiapkan koneksi ke Amazon Simple Storage Service (Amazon S3) atau Azure Blob Storage, lihat Pengantar BigQuery Omni.

  • Set data publik. Anda dapat menganalisis set data apa pun yang tersedia di marketplace set data publik.

  • BigQuery sharing (sebelumnya Analytics Hub). Anda dapat memublikasikan dan berlangganan set data BigQuery dan topik Pub/Sub untuk berbagi data di seluruh batas organisasi. Untuk mengetahui informasi selengkapnya, lihat Pengantar BigQuery sharing.

Jenis kueri

Anda dapat membuat kueri data BigQuery menggunakan salah satu jenis tugas kueri berikut:

  • Tugas kueri interaktif. Secara default, BigQuery menjalankan kueri sebagai tugas kueri interaktif, yang dimaksudkan untuk mulai dieksekusi secepat mungkin.

  • Tugas kueri batch. Kueri batch memiliki prioritas lebih rendah daripada kueri interaktif. Jika project atau reservasi menggunakan semua resource komputasi yang tersedia, kueri batch lebih mungkin diantrekan dan tetap dalam antrean. Setelah kueri batch mulai berjalan, kueri batch akan berjalan sama seperti kueri interaktif. Untuk informasi selengkapnya, lihat antrean kueri.

  • Tugas kueri berkelanjutan. Dengan tugas ini, kueri berjalan terus-menerus, sehingga Anda dapat menganalisis data masuk di BigQuery secara real time, lalu menulis hasilnya ke tabel BigQuery, atau mengekspor hasilnya ke Bigtable atau Pub/Sub. Anda dapat menggunakan kemampuan ini untuk melakukan tugas yang sensitif terhadap waktu, seperti membuat dan segera menindaklanjuti insight, menerapkan inferensi machine learning (ML) real time, dan membangun pipeline data berbasis peristiwa.

Anda dapat menjalankan tugas kueri menggunakan metode berikut:

Kueri multi-pernyataan

Anda dapat menjalankan beberapa pernyataan secara berurutan, dengan status bersama, menggunakan kueri multi-pernyataan. Kueri multi-pernyataan sering digunakan dalam prosedur tersimpan dan mendukung pernyataan bahasa prosedur, yang memungkinkan Anda menentukan variabel dan menerapkan kontrol alur.

Kueri yang disimpan dan dibagikan

BigQuery memungkinkan Anda menyimpan kueri dan membagikan kueri dengan orang lain.

Kueri yang Anda simpan dapat bersifat pribadi (hanya dapat dilihat oleh Anda), dibagikan di level project (terlihat oleh akun utama tertentu), atau publik (siapa saja dapat melihatnya). Untuk mengetahui informasi selengkapnya, lihat Bekerja dengan kueri tersimpan.

Cara BigQuery memproses kueri

Beberapa proses terjadi saat BigQuery menjalankan kueri:

  • Hierarki eksekusi. Saat Anda menjalankan kueri, BigQuery akan menghasilkan hierarki eksekusi yang membagi kueri menjadi beberapa tahapan. Tahapan ini berisi langkah-langkah yang dapat berjalan secara paralel.

  • Tingkat acak. Tahapan berkomunikasi satu sama lain menggunakan tingkat acak yang cepat dan terdistribusi yang menyimpan data perantara yang dihasilkan oleh pekerja suatu tahap. Jika memungkinkan, tingkat acak akan memanfaatkan teknologi seperti jaringan petabit dan RAM untuk memindahkan data dengan cepat ke node pekerja.

  • Rencana kueri. Setelah memiliki semua informasi yang diperlukan untuk menjalankan kueri, BigQuery akan menghasilkan paket kueri. Anda dapat melihat rencana kueri di konsol Google Cloud dan menggunakannya untuk memecahkan masalah atau mengoptimalkan performa kueri.

  • Grafik eksekusi kueri. Anda dapat meninjau informasi paket kueri dalam format grafis untuk kueri apa pun, baik yang sedang berjalan maupun yang telah selesai, dan melihat insight performa untuk membantu Anda mengoptimalkan kueri.

  • Pemantauan kueri dan perencanaan dinamis. Selain worker yang melakukan pekerjaan rencana kueri itu sendiri, worker tambahan memantau dan mengarahkan progres pekerjaan secara keseluruhan di seluruh sistem. Saat kueri berlangsung, BigQuery mungkin menyesuaikan paket kueri secara dinamis untuk beradaptasi dengan hasil berbagai tahap.

  • Hasil kueri. Setelah kueri selesai, BigQuery akan menulis hasilnya ke penyimpanan persisten, lalu menampilkannya kepada pengguna. Desain ini memungkinkan BigQuery menyajikan hasil yang di-cache saat kueri dijalankan lagi.

Konkurensi dan performa kueri

Performa kueri yang dijalankan berulang kali pada data yang sama dapat bervariasi karena sifat bersama dari lingkungan BigQuery, penggunaan hasil kueri yang di-cache, atau karena BigQuery secara dinamis menyesuaikan paket kueri saat kueri berjalan. Untuk sistem sibuk standar dengan banyak kueri yang berjalan secara serentak, BigQuery menggunakan beberapa proses untuk memperlancar varian dalam performa kueri:

  • BigQuery menjalankan banyak kueri secara paralel dan dapat mengantrekan kueri untuk dijalankan saat resource tersedia.

  • Saat kueri dimulai dan selesai, BigQuery mendistribusikan ulang resource secara adil antara kueri yang baru dan yang sedang berjalan. Proses ini memastikan bahwa performa kueri tidak bergantung pada urutan kueri dikirimkan, melainkan jumlah kueri yang dijalankan pada waktu tertentu.

Pengoptimalan kueri

Saat menjalankan kueri, Anda dapat melihat paket kueri di Google Cloud konsol. Anda juga dapat meminta detail eksekusi dengan menggunakan tampilan INFORMATION_SCHEMA.JOBS* atau metode REST API jobs.get.

Paket kueri mencakup detail tentang tahapan dan langkah kueri. Detail ini dapat membantu Anda mengidentifikasi cara meningkatkan performa kueri. Misalnya, jika Anda melihat tahap yang menulis lebih banyak output daripada tahap lain, ini mungkin berarti Anda perlu memfilter lebih awal dalam kueri.

Untuk mengetahui informasi selengkapnya tentang paket kueri dan pengoptimalan kueri, lihat referensi berikut:

Pemantauan kueri

Pemantauan dan logging sangat penting untuk menjalankan aplikasi yang andal di cloud. Begitu pula dengan beban kerja BigQuery, terutama jika beban kerja Anda memiliki volume tinggi atau sangat penting. BigQuery menyediakan berbagai metrik, log, dan tampilan metadata untuk membantu Anda memantau penggunaan BigQuery.

Untuk informasi selengkapnya, lihat referensi berikut:

Harga kueri

BigQuery menawarkan dua model penetapan harga untuk analisis:

Untuk mengetahui informasi tentang kedua model harga dan mempelajari lebih lanjut cara melakukan reservasi untuk harga berdasarkan kapasitas, lihat Pengantar reservasi.

Kuota dan kontrol biaya kueri

BigQuery menerapkan kuota level project saat menjalankan kueri. Untuk mengetahui informasi tentang kuota kueri, lihat Kuota dan batas.

Untuk mengontrol biaya kueri, BigQuery menyediakan beberapa opsi, termasuk kuota kustom dan pemberitahuan penagihan. Untuk mengetahui informasi selengkapnya, lihat Membuat kontrol biaya kustom.

Fitur analisis data

BigQuery mendukung analisis deskriptif dan prediktif serta membantu Anda menjelajahi data dengan alat yang didukung AI, SQL, machine learning, notebook, dan integrasi pihak ketiga lainnya.

BigQuery Studio

BigQuery Studio membantu Anda menemukan, menganalisis, dan menjalankan inferensi pada data di BigQuery dengan fitur berikut:

  • Editor SQL canggih yang menyediakan pelengkapan dan pembuatan kode, validasi kueri , dan estimasi byte yang diproses.
  • Notebook Python tersemat yang dibuat menggunakan Colab Enterprise. Notebook menyediakan runtime pengembangan Python sekali klik, dan dukungan bawaan untuk BigQuery DataFrames.
  • Editor PySpark yang memungkinkan Anda membuat prosedur Python tersimpan untuk Apache Spark.
  • Pengelolaan aset dan histori versi untuk aset kode seperti notebook dan kueri tersimpan, yang dibuat berdasarkan Dataform.
  • Pengembangan kode pendukung di editor SQL dan notebook, yang dibuat di atas AI generatif Gemini (Pratinjau).
  • Fitur Knowledge Catalog untuk penemuan data, dan pembuatan profil data serta kualitas data singkat ini.
  • Kemampuan untuk melihat histori pekerjaan per pengguna atau per project.
  • Kemampuan untuk menganalisis hasil kueri tersimpan dengan terhubung ke alat lain seperti Looker dan Google Spreadsheet, serta mengekspor hasil kueri tersimpan untuk digunakan dalam aplikasi lain.

BigQuery ML

Dengan BigQuery ML, Anda dapat menggunakan SQL di BigQuery untuk menjalankan machine learning (ML) dan analisis prediktif. Untuk mengetahui informasi selengkapnya, lihat Pengantar BigQuery ML.

Agen Analisis Percakapan memungkinkan Anda melakukan chat dengan data menggunakan bahasa percakapan. Agen ini terdiri dari satu atau beberapa sumber data dan serangkaian petunjuk khusus kasus penggunaan untuk memproses data tersebut. Analisis percakapan mendukung penggunaan beberapa fungsi BigQuery ML.

Integrasi alat Analytics

Selain menjalankan kueri di BigQuery, Anda dapat menganalisis data dengan berbagai alat analisis dan business intelligence yang terintegrasi dengan BigQuery, seperti berikut ini:

  • Looker. Looker adalah platform perusahaan untuk business intelligence, aplikasi data, dan analisis tersemat. Platform Looker dapat digunakan dengan banyak datastore, termasuk BigQuery. Untuk mengetahui informasi cara menghubungkan Looker ke BigQuery, lihat Menggunakan Looker.

  • Data Studio. Setelah menjalankan kueri, Anda dapat meluncurkan Data Studio langsung dari BigQuery di Google Cloud konsol. Kemudian, di Data Studio, Anda dapat membuat visualisasi dan menjelajahi data yang dihasilkan dari kueri. Untuk mengetahui informasi tentang Data Studio, lihat Ringkasan Data Studio.

  • Sheet yang Terhubung. Anda juga dapat meluncurkan Sheet yang Terhubung langsung dari BigQuery di konsol. Sheet yang Terhubung menjalankan kueri BigQuery atas nama Anda, baik atas permintaan Anda maupun pada jadwal yang ditentukan. Hasil kueri tersebut disimpan di spreadsheet untuk analisis dan berbagi. Untuk mengetahui informasi tentang Sheet yang Terhubung, lihat Menggunakan Sheet yang Terhubung.

  • Tableau. Anda dapat terhubung ke set data dari Tableau. Gunakan BigQuery untuk mendukung diagram, dasbor, dan visualisasi data lainnya.

Integrasi alat pihak ketiga

Beberapa alat analisis pihak ketiga berfungsi dengan BigQuery. Misalnya, Anda dapat menghubungkan Tableau ke data BigQuery dan menggunakan alat visualisasinya untuk menganalisis dan membagikan analisis. Untuk mengetahui informasi selengkapnya tentang pertimbangan saat menggunakan alat pihak ketiga, lihat Integrasi alat pihak ketiga.

Driver ODBC dan JDBC tersedia dan dapat digunakan untuk mengintegrasikan aplikasi Anda dengan BigQuery. Tujuan dari pendorong ini adalah untuk membantu pengguna memanfaatkan efektivitas BigQuery dengan alat dan infrastruktur yang ada. Untuk mengetahui informasi tentang rilis terbaru dan masalah umum, lihat driver ODBC dan JDBC untuk BigQuery.

Library pandas seperti pandas-gbq memungkinkan Anda berinteraksi dengan data BigQuery di notebook Jupyter. Untuk mengetahui informasi tentang library ini dan perbandingannya dengan penggunaan library klien Python BigQuery, lihat Perbandingan dengan pandas-gbq.

Anda juga dapat menggunakan BigQuery dengan alat analisis dan notebook lainnya. Untuk informasi selengkapnya, lihat Alat analisis terprogram.

Untuk mengetahui daftar lengkap analisis BigQuery dan partner teknologi yang lebih luas, lihat daftar Partner di halaman produk BigQuery.

Memecahkan masalah kueri

Untuk mengetahui informasi tentang cara mengatasi masalah saat menjalankan kueri, lihat Memecahkan masalah kueri.

Langkah berikutnya