"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).

Google menggunakan teknologi AI untuk menerjemahkan konten ke dalam bahasa pilihan Anda. Terjemahan AI mungkin mengandung kesalahan.

Konektor BigQuery

Anda dapat menggunakan konektor BigQuery untuk mengaktifkan akses baca dan tulis terprogram ke BigQuery. Cara ini adalah cara yang ideal untuk memproses data yang disimpan di BigQuery. Akses command line tidak diekspos. Konektor BigQuery adalah library yang memungkinkan aplikasi Spark dan Hadoop memproses data dari BigQuery dan menulis data ke BigQuery menggunakan terminologi native-nya.

Harga

Saat menggunakan konektor, biaya mencakup biaya penggunaan BigQuery. Biaya khusus layanan berikut juga dapat berlaku:

Cloud Storage - konektor mendownload data ke bucket Cloud Storage sebelum atau selama eksekusi tugas. Setelah tugas berhasil diselesaikan, data akan dihapus dari Cloud Storage. Anda akan dikenai biaya untuk penyimpanan ini sesuai dengan harga Cloud Storage. Untuk menghindari biaya berlebih, periksa akun Cloud Storage Anda dan hapus file sementara yang tidak diperlukan.
Storage Read API - konektor membaca data dari tabel menggunakan Storage Read API untuk mencapai throughput tinggi.
- Jika permintaan berasal dari Managed Service untuk Apache Spark serverless atau prosedur tersimpan BigQuery untuk Apache Spark, biaya pembacaan streaming Storage Read API didelegasikan ke konektor tanpa biaya tambahan. Biaya traffic keluar jaringan standar tetap berlaku jika data dibaca di seluruh region.
- Jika permintaan berasal dari workload Apache Spark berbasis cluster (seperti Managed Service untuk Apache Spark di cluster atau Apache Spark yang berjalan di Google Kubernetes Engine (GKE)), harga Storage Read API standar berlaku.

Konektor yang tersedia

Konektor BigQuery berikut tersedia untuk digunakan di ekosistem Hadoop:

Konektor Spark BigQuery menambahkan sumber data Spark, yang memungkinkan DataFrame berinteraksi langsung dengan tabel BigQuery menggunakan operasi read dan write Spark.
Hive BigQuery Connector menambahkan Storage Handler, yang memungkinkan Apache Hive berinteraksi langsung dengan tabel BigQuery menggunakan sintaksis HiveQL.
Konektor BigQuery Hadoop memungkinkan mapper dan reducer Hadoop berinteraksi dengan tabel BigQuery menggunakan versi terpisah dari kelas InputFormat dan OutputFormat.

Perhatian: Konektor Hadoop BigQuery untuk Hadoop MapReduce tidak didukung. Rekomendasi: Gunakan Spark BigQuery Connector untuk meningkatkan performa. Untuk mengetahui informasi selengkapnya, lihat artikel Menggunakan BigQuery Connector dengan Spark.

Menggunakan konektor

Untuk memulai cepat menggunakan konektor BigQuery, lihat contoh berikut:

Langkah berikutnya

Pelajari BigQuery lebih lanjut.
Ikuti contoh BigQuery untuk Spark.
Pelajari lebih lanjut Hive BigQuery Connector.
Ikuti contoh BigQuery untuk Java MapReduce.