Menentukan kolom ObjectRef dalam skema tabel

Kolom ObjectRef memungkinkan Anda mengintegrasikan data tidak terstruktur ke dalam tabel standar BigQuery dengan menyimpan metadata dan informasi koneksi untuk objek di Cloud Storage. Misalnya, dalam tabel produk, Anda dapat menyimpan setiap gambar produk di baris yang sama dengan informasi produk lainnya.

Dokumen ini menjelaskan cara menentukan skema tabel dengan kolom STRUCT yang menggunakan format ObjectRef. Untuk mengetahui informasi selengkapnya tentang cara menggunakan data multimodal, lihat Menganalisis data multimodal dan tutorial Menganalisis data multimodal dengan SQL.

Prasyarat

Untuk mengisi dan memperbarui nilai ObjectRef dalam tabel standar, tabel harus memiliki kolom STRING yang berisi informasi URI untuk objek Cloud Storage terkait.

Anda harus memiliki bucket Cloud Storage yang berisi objek yang sama dengan yang diidentifikasi dalam data URI tabel standar target.

Mempertahankan nilai ObjectRef

Setiap tabel objek yang Anda buat memiliki kolom ref yang berisi nilai ObjectRef untuk objek tertentu. Jika sudah memiliki tabel objek, Anda dapat menggabungkannya dengan tabel standar di kolom URI objek untuk mengisi dan memperbarui nilai ObjectRef. Hal ini lebih efisien karena menghindari pengambilan ulang metadata dari Cloud Storage untuk membuat nilai ObjectRef baru.

Demikian pula, jika Anda sudah memiliki set data Insight Penyimpanan untuk metadata objek, Anda dapat menggunakan kolom ref.uri atau selfLink untuk menggabungkan tabel standar dengan set data Insight Penyimpanan untuk mengisi dan memperbarui nilai ObjectRef. Setiap nilai ObjectRef yang dibuat di set data Insight Penyimpanan tidak memiliki pemberi otorisasi. Untuk mengkueri objek ini, Anda harus memiliki akses langsung ke objek atau menambahkan pemberi otorisasi ke ObjectRef untuk menggunakan akses yang didelegasikan.

Jika belum memiliki tabel objek atau set data Insight Penyimpanan, Anda dapat menggunakan fungsi OBJ.MAKE_REF untuk mengisi dan memperbarui nilai ObjectRef dengan mengambil metadata objek langsung dari Cloud Storage. Pendekatan ini mungkin kurang skalabel, karena memerlukan pengambilan metadata objek dari Cloud Storage.

Membuat kolom ObjectRef

Anda dapat menyimpan nilai ObjectRef di kolom STRUCT yang menggunakan format ObjectRef, yaitu STRUCT<uri STRING, version STRING, authorizer STRING, details JSON>.

Untuk membuat dan mengisi kolom ObjectRef dalam tabel standar, pilih salah satu opsi berikut:

Fungsi SQL

Buat dan isi kolom ObjectRef berdasarkan output dari fungsi OBJ.MAKE_REF:

  1. Di konsol Google Cloud , buka halaman BigQuery.

    Buka BigQuery

  2. Di editor kueri, masukkan pernyataan berikut:

    CREATE OR REPLACE TABLE PROJECT_ID.DATASET_ID.TABLE_NAME
AS
SELECT TABLE_NAME.*,
  OBJ.MAKE_REF(uri, 'CONNECTION_ID') AS objectrefcolumn
FROM DATASET_ID.TABLE_NAME;

    Ganti kode berikut:

    • PROJECT_ID: project ID Anda. Anda dapat melewati argumen ini jika membuat tabel di project saat ini.
    • DATASET_ID: ID set data yang Anda buat.
    • TABLE_NAME: nama tabel standar yang Anda buat ulang.
    • CONNECTION_ID: Nilai STRING yang berisi Koneksi resource Cloud yang dapat digunakan layanan untuk mengakses objek di Cloud Storage, dalam format location.connection_id. Misalnya, us-west1.myconnection. Anda bisa mendapatkan ID koneksi dengan melihat detail koneksi di konsol Google Cloud dan menyalin nilai di bagian terakhir ID koneksi yang sepenuhnya memenuhi syarat yang ditampilkan di ID Koneksi. Misalnya, projects/myproject/locations/connection_location/connections/myconnection.

      Anda harus memberikan peran Storage Object User (roles/storage.objectUser) ke akun layanan koneksi di bucket Cloud Storage mana pun tempat Anda menggunakannya untuk mengakses objek.

      Koneksi harus berada dalam project dan region yang sama dengan kueri tempat Anda memanggil fungsi.

  3. Klik Run.

Untuk mengetahui informasi selengkapnya tentang cara menjalankan kueri, lihat Menjalankan kueri interaktif.

Tabel objek

Buat dan isi kolom ObjectRef berdasarkan data dari kolom ref tabel objek:

  1. Di konsol Google Cloud , buka halaman BigQuery.

    Buka BigQuery

  2. Di editor kueri, masukkan pernyataan berikut:

    CREATE OR REPLACE TABLE PROJECT_ID.DATASET_ID.TABLE_NAME
AS
SELECT TABLE_NAME.*, OBJECT_TABLE.ref AS objectrefcolumn
FROM DATASET_ID.TABLE_NAME
INNER JOIN DATASET_ID.OBJECT_TABLE
ON OBJECT_TABLE.uri = TABLE_NAME.uri;

    Ganti kode berikut:

    • PROJECT_ID: project ID Anda. Anda dapat melewati argumen ini jika membuat tabel di project saat ini.
    • DATASET_ID: ID set data yang Anda buat.
    • TABLE_NAME: nama tabel standar yang Anda buat ulang.
    • OBJECT_TABLE: nama tabel objek yang berisi data objek yang ingin Anda integrasikan ke dalam tabel standar.

  3. Klik Run.

Untuk mengetahui informasi selengkapnya tentang cara menjalankan kueri, lihat Menjalankan kueri interaktif.

Membuat kolom ARRAY<ObjectRef>

Anda dapat membuat kolom ARRAY<STRUCT<uri STRING, version STRING, authorizer STRING, details JSON>> untuk berisi array nilai ObjectRef. Misalnya, Anda dapat membagi video menjadi gambar-gambar terpisah, lalu menyimpan gambar-gambar ini sebagai array nilai ObjectRef.

Anda dapat menggunakan fungsi ARRAY_AGG untuk menggabungkan array nilai ObjectRef, termasuk menggunakan klausa ORDER BY untuk mempertahankan urutan objek jika diperlukan. Anda dapat menggunakan operator UNNEST untuk mengurai array nilai ObjectRef menjadi nilai ObjectRef individual, termasuk menggunakan klausa WITH OFFSET untuk mempertahankan urutan objek jika diperlukan. Anda dapat menggunakan metadata objek, seperti jalur URI dan nama file objek, untuk memetakan nilai ObjectRef yang mewakili potongan objek ke nilai ObjectRef yang mewakili objek asli.

Untuk melihat contoh cara menggunakan array nilai ObjectRef, lihat bagian Memproses data multimodal yang diurutkan menggunakan nilai ARRAY<ObjectRef> dalam tutorial Menganalisis data multimodal dengan SQL.

Memperbarui kolom ObjectRef

Untuk memperbarui kolom ObjectRef dalam tabel standar, pilih salah satu opsi berikut:

Tabel objek

Perbarui kolom ObjectRef menggunakan data dari kolom ref tabel objek:

  1. Di konsol Google Cloud , buka halaman BigQuery.

    Buka BigQuery

  2. Di editor kueri, masukkan pernyataan berikut:

    UPDATE PROJECT_ID.DATASET_ID.TABLE_NAME
SET objectrefcolumn = (SELECT ref FROM DATASET_ID.OBJECT_TABLE WHERE OBJECT_TABLE.uri = TABLE_NAME.uri)
WHERE uri != "";

    Ganti kode berikut:

    • PROJECT_ID: project ID Anda. Anda dapat melewati argumen ini jika membuat tabel di project saat ini.
    • DATASET_ID: ID set data yang Anda buat.
    • TABLE_NAME: nama tabel standar yang Anda buat ulang.
    • OBJECT_TABLE: nama tabel objek yang berisi data objek yang sama dengan kolom ObjectRef tabel standar.

  3. Klik Run.

Untuk mengetahui informasi selengkapnya tentang cara menjalankan kueri, lihat Menjalankan kueri interaktif.

Fungsi SQL

Perbarui kolom ObjectRef menggunakan output dari fungsi OBJ.FETCH_METADATA dan OBJ.MAKE_REF:

  1. Di konsol Google Cloud , buka halaman BigQuery.

    Buka BigQuery

  2. Di editor kueri, masukkan pernyataan berikut:

    UPDATE PROJECT_ID.DATASET_ID.TABLE_NAME
SET objectrefcolumn = (SELECT OBJ.MAKE_REF(uri, 'CONNECTION_ID'))
WHERE uri != "";

    Ganti kode berikut:

    • PROJECT_ID: project ID Anda. Anda dapat melewati argumen ini jika membuat tabel di project saat ini.
    • DATASET_ID: ID set data yang Anda buat.
    • TABLE_NAME: nama tabel standar yang Anda buat ulang.
    • CONNECTION_ID: Nilai STRING yang berisi Koneksi resource Cloud yang dapat digunakan layanan untuk mengakses objek di Cloud Storage, dalam format location.connection_id. Misalnya, us-west1.myconnection. Anda bisa mendapatkan ID koneksi dengan melihat detail koneksi di konsol Google Cloud dan menyalin nilai di bagian terakhir ID koneksi yang sepenuhnya memenuhi syarat yang ditampilkan di ID Koneksi. Misalnya, projects/myproject/locations/connection_location/connections/myconnection.

      Anda harus memberikan peran Storage Object User (roles/storage.objectUser) ke akun layanan koneksi di bucket Cloud Storage mana pun tempat Anda menggunakannya untuk mengakses objek.

      Koneksi harus berada dalam project dan region yang sama dengan kueri tempat Anda memanggil fungsi.

  3. Klik Run.

Untuk mengetahui informasi selengkapnya tentang cara menjalankan kueri, lihat Menjalankan kueri interaktif.

Langkah berikutnya