Mengelola konten penyimpanan kolom secara manual

Halaman ini menjelaskan cara mengelola konten mesin columnar secara manual untuk mempercepat performa kueri. Panduan ini menjelaskan cara menambahkan dan menghapus tabel, tampilan terwujud, dan indeks ScaNN.

Mengelola tabel, tampilan terwujud, dan indeks ScaNN

Berdasarkan workload, Anda dapat menambahkan kolom secara manual ke penyimpanan kolom atau menghapus beberapa atau semua kolom tabel atau tampilan terwujud dari penyimpanan kolom. Evaluasi kueri secara otomatis menggunakan data kolom yang disimpan untuk menjawab kueri.

Demikian pula, Anda dapat menambahkan indeks ScaNN secara manual ke mesin berbasis kolom untuk mempercepat penelusuran vektor. Hal ini memungkinkan penelusuran tetangga terdekat yang efisien pada set data besar embedding vektor.

Saat memilih tabel, tampilan terwujud, dan kolom yang akan ditambahkan ke penyimpanan kolom, pertimbangkan ukuran penyimpanan kolom dan bentuk beban kerja. Kandidat yang baik untuk dipilih mencakup tabel atau tampilan besar yang sering dipindai. Dalam tabel atau tampilan ini, identifikasi indeks non-unik besar yang digunakan oleh beban kerja OLAP. Anda dapat menambahkan kolom indeks ini ke penyimpanan kolom dan berpotensi menghapus indeks, sehingga menghilangkan biaya performa yang terkait dengan pemeliharaannya di instance utama.

Gunakan salah satu metode berikut untuk mengelola konten mesin berbasis kolom:

Lihat Data yang dapat Anda tambahkan ke penyimpanan kolom untuk mengetahui informasi tentang jenis data dan sumber data yang dapat Anda gunakan saat menambahkan tabel, kolom, dan tampilan yang diwujudkan ke penyimpanan kolom.

Sebelum memulai

  • Anda harus memiliki salah satu peran IAM ini di Google Cloud project yang Anda gunakan:
    • roles/alloydb.admin (peran IAM bawaan Admin AlloyDB)
    • roles/owner (peran IAM dasar Pemilik)
    • roles/editor (peran IAM dasar Editor)

    Jika Anda tidak memiliki salah satu peran ini, hubungi Administrator Organisasi Anda untuk meminta akses.

Mengelola konten penyimpanan kolom dengan memperbarui flag database

Anda dapat mengelola konten penyimpanan kolom secara manual dengan memperbarui flag database google_columnar_engine.relations. Flag memiliki satu nilai yang menentukan semua sumber data penyimpanan kolom Anda. Selama mulai ulang, kolom yang ditentukan dalam tanda ini akan otomatis diisi ke dalam penyimpanan kolom.

Anda dapat menggunakan tanda ini bersama dengan kolumnarisasi otomatis. Jika columnar engine memiliki memori yang tersedia setelah mengisi kolom yang Anda tentukan melalui tanda google_columnar_engine.relations, maka kolumnarisasi otomatis akan menambahkan kolom lebih lanjut ke penyimpanan kolom, sesuai kebutuhan.

Untuk mengetahui informasi selengkapnya tentang cara menetapkan flag database instance menggunakan Google Cloud CLI atau konsol Google Cloud , lihat Mengonfigurasi flag database instance.

Menambahkan kolom menggunakan flag

Untuk menambahkan kolom ke penyimpanan kolom, tentukan tanda google_columnar_engine.relations instance. Tetapkan nilainya ke daftar item yang dipisahkan koma, dengan setiap item menentukan daftar kolom yang akan disertakan dari tabel tertentu, dalam format ini:

DATABASE_NAME.SCHEMA_NAME.TABLE_NAME(COLUMN_LIST)

Ganti kode berikut:

  • DATABASE_NAME: database yang berisi kolom yang akan ditambahkan ke penyimpanan kolom.

  • SCHEMA_NAME: skema yang mengidentifikasi tabel atau tampilan yang diwujudkan untuk ditambahkan ke penyimpanan kolom—misalnya, public.

  • TABLE_NAME: tabel atau tampilan terwujud yang berisi kolom yang akan ditambahkan ke penyimpanan kolom.

  • COLUMN_LIST: daftar kolom yang dipisahkan koma yang akan ditambahkan ke penyimpanan kolom.

Untuk menambahkan semua kolom satu tabel atau satu tampilan terwujud, hapus daftar kolom:

DATABASE_NAME.SCHEMA_NAME.TABLE_NAME

Untuk mengetahui informasi selengkapnya tentang menyetel flag database pada instance, lihat Mengonfigurasi flag database instance.

Sintaksis CLI Google Cloud CLI saat menggunakan google_columnar_engine.relations

Jika Anda menggunakan Google Cloud CLI untuk menetapkan flag google_columnar_engine.relations, Anda harus menggunakan sintaksis pembatas alternatif untuk memisahkan flag database yang Anda tetapkan. Hal ini karena daftar kolom dipisahkan dengan koma, sehingga Anda harus menggunakan karakter non-koma saat menentukan tanda dalam argumen command line yang sama.

Contoh berikut menunjukkan penggunaan gcloud CLI untuk menambahkan dua kolom dalam skema public ke penyimpanan kolom. Contoh menetapkan flag terpisah untuk mengaktifkan mesin columnar, karena penggunaan perintah gcloud alloydb instance update untuk menetapkan flag database apa pun juga harus menetapkan semua flag database lain yang ingin Anda miliki nilai non-default, meskipun sudah ditetapkan.

gcloud alloydb instances update INSTANCE_NAME \
    --database-flags=^:^\
google_columnar_engine.relations='DATABASE_NAME.public.TABLE_NAME(COLUMN_1,COLUMN_2)'\
:google_columnar_engine.enabled=on\
[:FLAG_3=VALUE_3 ...] \
    --region=REGION_ID \
    --cluster=CLUSTER_ID

Menghapus kolom menggunakan flag

Untuk menghapus kolom dari penyimpanan kolom, tetapkan nilai baru untuk tanda google_columnar_engine.relations yang dijelaskan di bagian sebelumnya, dengan tidak menyertakan kolom yang ingin Anda hapus.

Untuk menghapus semua kolom dari penyimpanan kolom, hapus setelan flag google_columnar_engine.relations dari instance Anda.

Untuk mengetahui informasi selengkapnya tentang cara menyetel flag database pada instance, lihat Mengonfigurasi flag database instance.

Mengelola konten penyimpanan kolom menggunakan fungsi SQL

Anda dapat mengelola konten column store secara manual menggunakan fungsi SQL.

Menambahkan kolom menggunakan fungsi SQL

Jalankan fungsi SQL google_columnar_engine_add untuk menambahkan kolom ke penyimpanan kolom.

Metode ini menambahkan kolom yang ditentukan ke penyimpanan kolom dan mengelola kolom di node yang terhubung saja. Kolom baru tidak dipertahankan dalam penyimpanan di seluruh mulai ulang instance.

Metode ini tidak mengubah google_columnar_engine.relations flag database. Kolumnarisasi otomatis tidak mempertimbangkan kolom yang ditambahkan oleh fungsi SQL ini.

Klien psql

SELECT google_columnar_engine_add(
    relation => 'TABLE_NAME',
    columns => 'COLUMN_LIST'
);
    Ganti kode berikut:
  • 'TABLE_NAME': String yang berisi nama tabel atau tampilan terwujud. Jika tabel atau tampilan berada dalam skema selain public, tentukan nama skema, titik, dan nama tabel atau tampilan; misalnya, 'myschema.mytable'.
  • 'COLUMN_LIST': String yang berisi daftar nama kolom yang ingin Anda tambahkan, yang peka huruf besar/kecil dan dipisahkan koma. Jika Anda ingin menambahkan semua kolom tabel atau tampilan yang di-materialisasi ke penyimpanan kolom, hilangkan parameter ini.

Menghapus kolom menggunakan fungsi SQL

Jalankan fungsi SQL google_columnar_engine_drop sebagai berikut:

Klien psql

SELECT google_columnar_engine_drop(
    relation => 'TABLE_NAME',
    columns => 'COLUMN_LIST'
);
Ganti kode berikut:
  • 'TABLE_NAME': String yang berisi nama tabel atau tampilan terwujud. Jika tabel atau tampilan berada dalam skema selain public, tentukan nama skema, titik, dan nama tabel atau tampilan; misalnya, 'myschema.mytable'.
  • 'COLUMN_LIST': String yang berisi daftar nama kolom yang ingin Anda tambahkan, yang peka huruf besar/kecil dan dipisahkan koma. Jika Anda ingin menambahkan semua kolom tabel atau tampilan yang di-materialisasi ke penyimpanan kolom, hilangkan parameter ini.

Anda dapat menggunakan fungsi google_columnar_engine_drop untuk menghapus kolom yang ditambahkan dengan mengedit flag database google_columnar_engine.relations. Namun, saat Anda melakukannya, kolom tersebut akan ditambahkan kembali ke penyimpanan berkolom saat instance dimulai ulang.

Mengelola indeks ScaNN di columnar engine

Untuk mempercepat penelusuran vektor, Anda dapat memuat indeks ScaNN ke cache indeks columnar engine.

Menambahkan, menghapus, dan memverifikasi indeks ScaNN menggunakan fungsi SQL

Anda dapat menambahkan, menghapus, dan memverifikasi indeks ScaNN secara manual dari cache indeks menggunakan fungsi SQL. Menambahkan indeks ke cache dapat mempercepat kueri penelusuran vektor.

Menambahkan indeks ScaNN

Untuk menambahkan indeks tertentu ke cache indeks mesin columnar, gunakan fungsi SQL berikut:

SELECT google_columnar_engine_add_index(index => 'SCANN_INDEX_NAME');

Ganti SCANN_INDEX_NAME dengan nama indeks ScaNN yang ingin Anda tambahkan ke cache indeks mesin columnar.

Menghapus indeks ScaNN

Untuk menghapus indeks ScaNN tertentu dari mesin columnar, gunakan fungsi SQL berikut:

SELECT google_columnar_engine_drop_index(index => 'SCANN_INDEX_NAME');

Ganti SCANN_INDEX_NAME dengan nama indeks ScaNN yang ingin Anda hapus.

Memverifikasi penggunaan mesin berbasis kolom

Untuk memverifikasi apakah pemindaian indeks vektor Anda menggunakan mesin columnar, jalankan perintah EXPLAIN ANALYZE dengan opsi COLUMNAR_ENGINE:

EXPLAIN (ANALYZE TRUE, SCANN TRUE, COSTS FALSE, TIMING FALSE, SUMMARY FALSE, VERBOSE FALSE, COLUMNAR_ENGINE TRUE)
SELECT * FROM t ORDER BY val <=> '[0.5,0.5,0.5,0.5]' LIMIT 100;

Perintah ini menampilkan rencana kueri yang mirip dengan berikut ini:

Index Scan using t_ix3 on t t_1 (actual rows=100 loops=1)
      Order By: (val <=> '[0.5,0.5,0.5,0.5]'::vector)
      Limit: 100
      ScaNN Info: (... columnar engine nodes hit=6...)
      Columnar Engine ScaNN Info: (index found=true)

Kehadiran columnar engine nodes hit dan Columnar Engine ScaNN Info: (index found=true) dalam output mengonfirmasi bahwa mesin berbasis kolom digunakan untuk kueri.