Set data publik BigQuery

Set data publik adalah set data apa pun yang disimpan di BigQuery dan disediakan untuk masyarakat umum melalui Program Set Data Publik Google Cloud. Set data publik adalah set data yang dihosting BigQuery untuk Anda akses dan integrasikan ke dalam aplikasi Anda. Google membayar penyimpanan set data ini dan memberikan akses publik ke data menggunakan project. Anda hanya membayar untuk kueri yang Anda lakukan pada data. 1 TB pertama per bulan gratis, sesuai dengan detail harga kueri.

Set data publik tersedia untuk dianalisis menggunakan kueri GoogleSQL atau GoogleSQL. Gunakan nama tabel yang sepenuhnya memenuhi syarat saat membuat kueri set data publik, misalnya bigquery-public-data.bbc_news.fulltext. Jika organisasi Anda membatasi akses data, misalnya dengan perimeter keamanan, Anda mungkin perlu menghubungi administrator untuk mendapatkan izin mengakses set data publik.

Anda dapat mengakses set data publik BigQuery menggunakan konsol, menggunakan alat command line bq, atau dengan melakukan panggilan ke BigQuery REST API menggunakan berbagai library klien seperti Java, .NET, atau Python.Google Cloud Anda juga dapat melihat dan membuat kueri set data publik melalui berbagi BigQuery (sebelumnya Analytics Hub), platform pertukaran data yang membantu Anda menemukan dan mengakses library data.

Set data publik tidak dapat diakses secara default dari dalam a Kontrol Layanan VPC perimeter. Tidak ada perjanjian tingkat layanan (SLA) untuk Program Set Data Publik.

Buka Berbagi (Analytics Hub)

Anda dapat menemukan detail selengkapnya tentang setiap set data dengan mengklik nama set data di bagian Set Data pada Cloud Marketplace.

Buka Set Data di Cloud Marketplace

Sebelum memulai

Untuk mulai menggunakan set data publik BigQuery, Anda harus membuat atau memilih sebuah project. Satu terabyte data pertama yang diproses per bulan bersifat gratis, sehingga Anda dapat mulai membuat kueri set data publik tanpa mengaktifkan penagihan. Jika ingin melampaui paket gratis , Anda juga harus mengaktifkan penagihan.

  1. Login keakun Anda. Google Cloud Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  5. Verify that billing is enabled for your Google Cloud project.

  6. BigQuery secara otomatis diaktifkan dalam project baru. Untuk mengaktifkan BigQuery dalam project yang sudah ada,

    Aktifkan BigQuery API.

    Peran yang diperlukan untuk mengaktifkan API

    Untuk mengaktifkan API, Anda memerlukan izin serviceusage.services.enable. Jika Anda membuat project, kemungkinan Anda sudah memiliki izin ini melalui peran Pemilik (roles/owner). Jika tidak, Anda bisa mendapatkan izin ini melalui peran Admin Penggunaan Layanan (roles/serviceusage.serviceUsageAdmin). Pelajari cara memberikan peran.

    Mengaktifkan API

Lokasi set data publik

Setiap set data publik disimpan di lokasi tertentu seperti US atau EU. Saat ini, tabel contoh BigQuery disimpan di US multi-region lokasi. Saat Anda membuat kueri tabel contoh, berikan flag --location=US pada command line, pilih US sebagai lokasi pemrosesan di Google Cloud konsol, atau tentukan properti location di jobReference bagian dari resource tugas saat Anda menggunakan API. Karena tabel contoh disimpan di AS, Anda tidak dapat menulis hasil kueri tabel contoh ke tabel di region lain, dan Anda tidak dapat menggabungkan tabel contoh dengan tabel di region lain.

Mengakses set data publik di Google Cloud konsol

Anda dapat mengakses set data publik di Google Cloud konsol melalui metode berikut:

Untuk mengetahui kapan tabel data terakhir diperbarui, buka bagian Detail pada tabel seperti yang dijelaskan dalam Mendapatkan informasi tentang tabel, dan lihat kolom Terakhir diubah.

Set data publik lainnya

Ada banyak set data publik lainnya yang tersedia untuk dibuat kuerinya, beberapa di antaranya juga dihosting oleh Google, tetapi lebih banyak lagi yang dihosting oleh pihak ketiga. Set data lainnya mencakup:

Membagikan set data kepada publik

Anda dapat membagikan set data mana pun kepada publik dengan mengubah kontrol akses set data agar mengizinkan akses oleh "Semua Pengguna Terautentikasi". Untuk mengetahui informasi selengkapnya tentang cara menetapkan kontrol akses set data, baca Mengontrol akses ke set data.

Saat Anda membagikan sebuah set data kepada publik:

  • Biaya penyimpanan dibebankan oleh akun penagihan yang terkait dengan project yang berisi set data yang dibagikan secara publik.
  • Biaya kueri dikenakan oleh akun penagihan yang terkait dengan project tempat tugas kueri dijalankan.

Untuk informasi selengkapnya, lihat Ringkasan harga BigQuery.

Tabel contoh

Selain set data publik, BigQuery menyediakan sejumlah tabel contoh yang dapat Anda kueri. Tabel ini terdapat dalam set data bigquery-public-data:samples.

Persyaratan untuk melakukan kueri tabel contoh BigQuery sama dengan persyaratan untuk membuat kueri set data publik.

Set data bigquery-public-data:samples mencakup tabel berikut:

Nama Deskripsi
gsod Berisi informasi cuaca yang dikumpulkan oleh NOAA, seperti jumlah presipitasi dan kecepatan angin dari akhir 1929 hingga awal 2010.
github_nested Berisi linimasa tindakan seperti permintaan pull dan komentar di repositori GitHub dengan skema bertingkat. Dibuat pada September 2012.
github_timeline Berisi linimasa tindakan seperti permintaan pull dan komentar di repositori GitHub dengan skema datar. Dibuat pada Mei 2012.
natality Menjelaskan semua kelahiran di Amerika Serikat yang terdaftar di 50 Negara bagian, Distrik Columbia, dan Kota New York dari tahun 1969 hingga 2008.
shakespeare Berisi indeks kata dari karya Shakespeare, yang menunjukkan frekuensi munculnya setiap kata di setiap korpus.
trigrams Berisi trigram bahasa Inggris dari sampel karya yang diterbitkan antara tahun 1520 dan 2008.
wikipedia Berisi riwayat revisi lengkap untuk semua artikel Wikipedia hingga April 2010.

Hubungi kami

Jika ada pertanyaan tentang program set data publik BigQuery, hubungi kami di bq-public-data@google.com.

Langkah berikutnya

Pelajari cara membuat kueri tabel dalam set data publik di Mulai cepat menggunakan Google Cloud konsol.