Ringkasan tabel Apache Iceberg

Tabel Apache Iceberg, yang dikelola oleh katalog runtime Lakehouse dan endpoint katalog REST Iceberg, adalah tabel Iceberg terbuka dan interoperabel yang mematuhi spesifikasi Tabel Apache Iceberg open source, yang dapat dibaca dan ditulis menggunakan mesin pemrosesan yang kompatibel dengan Iceberg atau BigQuery.

Dalam dokumen ini, tabel tersebut disebut sebagai "tabel Apache Iceberg terkelola" atau "tabel Iceberg".

Opsi tabel

Anda dapat memilih untuk mengaktifkan kemampuan berikut dengan mengonfigurasi opsi tabel:

  1. Interoperabilitas baca/tulis (Pratinjau): Dukungan baca dan tulis yang lancar untuk beberapa mesin, termasuk BigQuery, Managed Service untuk Apache Spark, mesin yang kompatibel dengan Iceberg seperti mesin open source (Apache Spark, Apache Flink, dan Trino), dan mesin pihak ketiga (seperti Snowflake).
  2. Pengelolaan tabel otomatis (Pratinjau): Pengelolaan tabel otomatis (pengoptimalan penyimpanan) seperti pemadatan dan pembersihan sampah memori.

Selain kemampuan sebelumnya, kemampuan berikut juga didukung secara default untuk tabel Apache Iceberg yang dikelola oleh Lakehouse (Pratinjau).

  1. Bahasa definisi data (DDL) BigQuery (Pratinjau): Anda juga dapat membuat atau memperbarui tabel Iceberg menggunakan pernyataan DDL BigQuery (misalnya, CREATE TABLE, ALTER TABLE, dan DROP TABLE), selain membuat atau memperbarui tabel menggunakan mesin yang kompatibel dengan Iceberg seperti Spark, Flink, dan Trino. Setelah dibuat, tabel tersebut tersedia untuk operasi baca dan tulis di mesin tersebut dan di BigQuery, serta merupakan bagian dari konstruksi katalog dan namespace yang sama, yang dikelola oleh katalog runtime Lakehouse.
  2. Dukungan penyediaan kredensial untuk BigQuery (Pratinjau): BigQuery mendukung penggunaan penyediaan kredensial untuk autentikasi saat membaca atau menulis tabel Iceberg di katalog runtime Lakehouse. Anda dapat menyetel penjualan kredensial di tingkat katalog.

Tindakan pengelolaan

Anda dapat melakukan tindakan pengelolaan berikut pada tabel Apache Iceberg:

  • Buat tabel: Buat tabel Apache Iceberg dalam namespace katalog menggunakan konsol Google Cloud , Spark, Trino, gcloud, BigQuery (Pratinjau), atau Iceberg REST Catalog API (CreateIcebergTable).
  • Mendaftarkan tabel: Mendaftarkan tabel Apache Iceberg yang ada dalam namespace katalog menggunakan gcloud atau Iceberg REST Catalog API (RegisterIcebergTable).
  • Mencantumkan tabel: Melihat ID tabel dalam namespace menggunakan konsol Google Cloud , Spark, Trino, gcloud, BigQuery (Pratinjau), atau Iceberg REST Catalog API (ListIcebergTableIdentifiers).
  • Mendapatkan detail tabel: Periksa skema, properti, dan kredensial tabel menggunakan konsol Google Cloud , Spark, Trino, gcloud, BigQuery (Pratinjau), atau Iceberg REST Catalog API (GetIcebergTable, LoadIcebergTableCredentials).
  • Menyisipkan data: Tambahkan baris data ke tabel Iceberg menggunakan Spark, Trino, atau BigQuery (Pratinjau).
  • Mengkueri tabel: Jalankan kueri terhadap tabel Iceberg dari Spark, Trino, atau BigQuery (Pratinjau) menggunakan penamaan tabel empat bagian.
  • Mengubah data dengan DML: Perbarui, hapus, atau gabungkan baris data di tabel Iceberg menggunakan pernyataan DML dari BigQuery (Pratinjau), Spark, atau Trino.
  • Mengubah tabel: Mengembangkan skema tabel dan memperbarui properti metadata menggunakan konsol Google Cloud , Spark, Trino, gcloud, BigQuery (Pratinjau), atau Iceberg REST Catalog API (UpdateIcebergTable).
  • Konfigurasi opsi tabel: Konfigurasi properti untuk mengaktifkan DML BigQuery (Pratinjau) dan pengelolaan tabel otomatis.
  • Mengelola ACL tabel: Lihat dan perbarui kebijakan IAM pada tabel Iceberg Anda untuk mengontrol akses bagi pokok tertentu (get-iam-policy, set-iam-policy).
  • Mengupgrade tabel Iceberg V1 ke V2: Upgrade tabel Iceberg V1 yang ada ke format V2 yang didukung.
  • Menggunakan Vektor Penghapusan Biner di tabel Iceberg V3: Aktifkan vektor penghapusan biner untuk performa penghapusan yang dioptimalkan di tabel Iceberg V3.
  • Menghapus tabel: Menghapus pendaftaran tabel dari katalog tanpa menghapus file penyimpanan pokok menggunakan Google Cloud konsol, Spark, Trino, gcloud, BigQuery (Pratinjau), atau Iceberg REST Catalog API (DeleteIcebergTable).

Langkah berikutnya