Ringkasan tabel Apache Iceberg

Tabel Apache Iceberg, yang dikelola oleh runtime Lakehouse katalog dan endpoint katalog REST Iceberg, adalah tabel Iceberg terbuka dan dapat dioperasikan yang mematuhi spesifikasi Tabel Apache Iceberg open source, yang dapat dibaca dan ditulis menggunakan mesin pemrosesan yang kompatibel dengan Iceberg atau BigQuery.

Dalam dokumen ini, tabel ini disebut sebagai "tabel Iceberg Lakehouse" atau "tabel Iceberg".

Anda dapat ikut serta dan mengaktifkan kemampuan berikut dengan mengonfigurasi opsi tabel:

  1. Interoperabilitas baca/tulis (Pratinjau): Dukungan baca dan tulis yang lancar untuk beberapa mesin, termasuk BigQuery, Managed service untuk Apache Spark, mesin yang kompatibel dengan Iceberg seperti mesin open source (Apache Spark, Apache Flink, dan Trino), dan mesin pihak ketiga (seperti Snowflake).
  2. Pengelolaan tabel otomatis (Pratinjau): Pengelolaan tabel otomatis (pengoptimalan penyimpanan) seperti pemadatan dan pembersihan sampah memori.

Selain kemampuan sebelumnya, kemampuan berikut juga didukung secara default untuk tabel Iceberg Lakehouse (Pratinjau).

  1. Bahasa definisi data (DDL) BigQuery (Pratinjau): Anda juga dapat membuat atau memperbarui tabel Iceberg menggunakan pernyataan DDL BigQuery (misalnya, CREATE TABLE, ALTER TABLE, dan DROP TABLE), selain membuat atau memperbarui tabel menggunakan mesin yang kompatibel dengan Iceberg seperti Spark, Flink, dan Trino. Setelah dibuat, tabel tersebut tersedia untuk dibaca dan ditulis di mesin tersebut dan di BigQuery, serta merupakan bagian dari konstruksi katalog dan namespace yang sama, yang dikelola oleh katalog runtime Lakehouse.
  2. Dukungan credential vending untuk BigQuery (Pratinjau): BigQuery mendukung penggunaan credential vending untuk autentikasi saat membaca atau menulis tabel Iceberg di Katalog Runtime Lakehouse. Anda dapat menetapkan credential vending di tingkat katalog.

Tindakan pengelolaan

Anda dapat melakukan tindakan pengelolaan berikut pada tabel Apache Iceberg:

  • Membuat tabel: Membuat tabel Apache Iceberg dalam namespace katalog menggunakan Google Cloud konsol, Spark, Trino, gcloud, BigQuery (Pratinjau), atau Iceberg REST Catalog API (CreateIcebergTable).
  • Mencantumkan tabel: Melihat ID tabel dalam namespace menggunakan Google Cloud konsol, Spark, Trino, gcloud, BigQuery (Pratinjau), atau Iceberg REST Catalog API (ListIcebergTableIdentifiers).
  • Mendapatkan detail tabel: Memeriksa skema, properti, dan kredensial tabel menggunakan Google Cloud konsol, Spark, Trino, gcloud, BigQuery (Pratinjau), atau Iceberg REST Catalog API (GetIcebergTable, LoadIcebergTableCredentials).
  • Menyisipkan data: Menambahkan baris data ke tabel Iceberg menggunakan Spark, Trino, atau BigQuery (Pratinjau).
  • Mengkueri tabel: Menjalankan kueri terhadap tabel Iceberg dari Spark, Trino, atau BigQuery (Pratinjau) menggunakan penamaan tabel empat bagian.
  • Mengubah data dengan DML: Memperbarui, menghapus, atau menggabungkan baris data di tabel Iceberg menggunakan pernyataan DML dari BigQuery (Pratinjau), Spark, atau Trino.
  • Mengubah tabel: Mengembangkan skema tabel dan memperbarui properti metadata menggunakan Google Cloud konsol, Spark, Trino, gcloud, BigQuery (Pratinjau), atau Iceberg REST Catalog API (UpdateIcebergTable).
  • Mengonfigurasi opsi tabel: Mengonfigurasi properti untuk mengaktifkan DML BigQuery (Pratinjau) dan pengelolaan tabel otomatis.
  • Mengelola ACL tabel: Melihat dan memperbarui kebijakan IAM di tabel Iceberg untuk mengontrol akses bagi principal tertentu (get-iam-policy, set-iam-policy).
  • Mengupgrade tabel Iceberg V1 ke V2: Mengupgrade tabel Iceberg V1 yang ada ke format V2 yang didukung.
  • Menggunakan Vektor Penghapusan Biner di tabel Iceberg V3: Mengaktifkan vektor penghapusan biner untuk performa penghapusan yang dioptimalkan di tabel Iceberg V3.
  • Menghapus tabel: Menghapus pendaftaran tabel dari katalog tanpa menghapus file penyimpanan yang mendasarinya menggunakan Google Cloud konsol, Spark, Trino, gcloud, BigQuery (Pratinjau), atau Iceberg REST Catalog API (DeleteIcebergTable).

Langkah berikutnya