Membuat tampilan

Dengan membuat tampilan Apache Iceberg, Anda dapat mendaftarkan tabel logis non-material yang ditentukan SQL di namespace katalog runtime Lakehouse sehingga mesin yang kompatibel dengan Iceberg seperti Spark dan Trino dapat mengkuerinya. Katalog menulis definisi tampilan ke file metadata.json berversi di Cloud Storage di lokasi tampilan.

Karena katalog memvalidasi skema tabel yang direferensikan saat Anda membuat tampilan, namespace dan setiap tabel yang direferensikan tampilan harus sudah ada. Untuk mengetahui informasi selengkapnya, lihat Ringkasan tampilan Apache Iceberg.

Sebelum memulai

  1. Pastikan penagihan diaktifkan untuk project Google Cloud Anda.

  2. Aktifkan BigLake API, jika belum diaktifkan.

    Peran yang diperlukan untuk mengaktifkan API

    Untuk mengaktifkan API, Anda memerlukan izin serviceusage.services.enable. Jika Anda membuat project, kemungkinan Anda sudah memiliki izin ini melalui peran Pemilik (roles/owner). Jika tidak, Anda bisa mendapatkan izin ini melalui peran Service Usage Admin (roles/serviceusage.serviceUsageAdmin). Pelajari cara memberikan peran.

    Mengaktifkan API

  3. Siapkan katalog runtime Lakehouse dengan katalog multi-bucket atau katalog single-bucket. Tampilan Iceberg tidak didukung di katalog BigQuery atau katalog gabungan.
  4. Tinjau batasan tampilan Iceberg.
  5. Hubungkan mesin open source Anda ke endpoint katalog REST Apache Iceberg.

    • Spark: Gunakan Spark 3.5 atau yang lebih baru dengan runtime Iceberg 1.6.0 atau yang lebih baru. Gunakan runtime Iceberg 1.10.0 atau yang lebih baru agar Spark menemukan endpoint tampilan yang didukung melalui respons GET /v1/config katalog. Tetapkan spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions agar Spark mendelegasikan DDL dan resolusi tampilan ke endpoint katalog REST Apache Iceberg.
    • Trino: Gunakan Trino 482 atau yang lebih baru, dan konfigurasikan konektor Trino Iceberg Anda untuk menggunakan endpoint katalog REST Apache Iceberg. Untuk mengetahui informasi selengkapnya, lihat Dukungan Trino.

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk membuat tampilan, minta administrator untuk memberi Anda peran IAM berikut pada project dan bucket penyimpanan Anda:

  • Membuat tampilan: BigLake Editor (roles/biglake.editor) - project Anda
  • Tulis file metadata tampilan dalam mode kredensial pengguna akhir: Storage Object User (roles/storage.objectUser) - bucket Cloud Storage

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk membuat tampilan. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk membuat tampilan:

  • Membuat tampilan:
    • biglake.views.create di namespace
    • biglake.tables.get di setiap tabel Iceberg yang dirujuk oleh tampilan
  • Menulis file metadata tampilan dalam mode kredensial pengguna akhir: storage.objects.create di bucket Cloud Storage

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Untuk mengetahui daftar lengkap izin lihat, lihat Peran dan izin yang diperlukan.

Membuat tabel dasar

Contoh dalam dokumen ini merujuk pada namespace dan tabel berikut. Jika belum ada, buat:

CREATE NAMESPACE IF NOT EXISTS my_ns;
USE my_ns;

CREATE TABLE IF NOT EXISTS employees (
  id INT,
  name STRING,
  dept STRING,
  salary DOUBLE
) USING iceberg;

CREATE TABLE IF NOT EXISTS departments (
  dept_code STRING,
  dept_name STRING,
  building STRING
) USING iceberg;

Opsional: sisipkan data sampel agar Anda dapat membuat kueri tabel virtual yang Anda buat:

INSERT INTO my_ns.employees VALUES
  (1, 'Alice', 'Engineering', 150000.0),
  (2, 'Bob', 'Marketing', 120000.0),
  (3, 'Charlie', 'Engineering', 135000.0);

INSERT INTO my_ns.departments VALUES
  ('Engineering', 'Eng Org', 'Building A'),
  ('Marketing', 'Growth Org', 'Building B');

Membuat tampilan

Membuat tampilan Iceberg di satu atau beberapa tabel Iceberg.

Spark

Buat tampilan dengan alias kolom eksplisit, komentar tingkat kolom, komentar tingkat tampilan, dan properti kustom. Mesin menyelesaikan nama tabel yang tidak memenuhi syarat dalam definisi tampilan menggunakan default-catalog dan default-namespace tampilan:

CREATE VIEW eng_employees (
  emp_id COMMENT 'Unique employee ID',
  emp_name COMMENT 'Full name of employee',
  salary COMMENT 'Annual compensation'
)
COMMENT 'Curated view of Engineering department employees'
TBLPROPERTIES ('tier' = 'silver')
AS SELECT id, name, salary
FROM employees
WHERE dept = 'Engineering';

Untuk membuat tampilan hanya jika belum ada, gunakan CREATE VIEW IF NOT EXISTS. Jika tampilan ada, pernyataan akan berhasil tanpa mengubahnya:

CREATE VIEW IF NOT EXISTS eng_employees AS
SELECT id, name, salary FROM employees;

Secara default, katalog menulis file metadata yang dikompresi gzip (.gz.metadata.json). Untuk menulis file metadata yang tidak dikompresi (.metadata.json), tetapkan properti write.metadata.compression-codec ke none:

CREATE VIEW uncompressed_eng_view
TBLPROPERTIES ('write.metadata.compression-codec' = 'none')
AS SELECT id, name FROM employees WHERE dept = 'Engineering';

REST

Untuk membuat tampilan Iceberg menggunakan REST API, buat permintaan POST ke endpoint CreateIcebergView:

POST /iceberg/v1/restcatalog/v1/projects/PROJECT_ID/catalogs/CATALOG_ID/namespaces/NAMESPACE_NAME/views

Isi permintaan harus berisi payload JSON CreateViewRequest Iceberg yang valid yang menentukan nama tampilan, skema, versi tampilan, dan properti awal. Jika Anda menetapkan location kustom, nilai tersebut harus mengikuti aturan lokasi penyimpanan tampilan untuk jenis katalog Anda. Lokasi tidak dapat diubah setelah dibuat.

Ganti kode berikut:

  • PROJECT_ID: project ID Google Cloud Anda.
  • CATALOG_ID: ID katalog Anda.
  • NAMESPACE_NAME: nama namespace katalog Anda.

Membuat tampilan dengan join, agregasi, dan subkueri

Definisi tampilan dapat mencakup join, agregasi, ekspresi CASE, ekspresi tabel umum (CTE), UNION ALL, dan subkueri.

Buat tampilan yang menggabungkan dua tabel:

CREATE VIEW employee_directory AS
SELECT e.id, e.name, d.dept_name, d.building
FROM my_ns.employees e
JOIN my_ns.departments d
  ON e.dept = d.dept_code;

Buat tampilan yang menggabungkan data dan menggunakan ekspresi CASE:

CREATE VIEW dept_summary AS
SELECT
  dept,
  CASE WHEN dept = 'Engineering' THEN 'TECH' ELSE 'NON-TECH' END AS category,
  COUNT(*) AS headcount,
  AVG(salary) AS avg_salary
FROM my_ns.employees
GROUP BY dept;

Buat tampilan yang menggunakan CTE, UNION ALL, dan subkueri:

CREATE VIEW high_earners_cte AS
WITH eng AS (
  SELECT id, name, salary FROM my_ns.employees WHERE dept = 'Engineering'
)
SELECT id, name FROM eng WHERE salary >= 140000.0
UNION ALL
SELECT id, name FROM my_ns.employees
WHERE id IN (SELECT id FROM my_ns.employees WHERE dept = 'Marketing');

Membuat tampilan bertingkat

Tampilan dapat mengkueri tampilan lain. Membuat kueri tampilan luar memerlukan biglake.views.get pada kedua tampilan dan akses baca ke setiap tabel yang dirujuk oleh salah satu tampilan.

CREATE VIEW top_eng_employees AS
SELECT emp_id, emp_name
FROM my_ns.eng_employees
WHERE salary >= 140000.0;

Membuat tampilan dengan perjalanan waktu pada tabel yang mendasarinya

Tampilan tidak mempertahankan snapshot datanya sendiri, tetapi definisi tampilan dapat mengkueri tabel Iceberg yang mendasarinya pada stempel waktu atau ID snapshot tertentu. Gunakan pola ini untuk membuat dasar pengukuran historis yang dapat direproduksi untuk kepatuhan, pelaporan, atau pelatihan model.

  1. Sisipkan data untuk membuat versi baru tabel pokok:

    INSERT INTO my_ns.employees VALUES (4, 'Diana', 'Engineering', 160000.0);
    
  2. Buat tampilan yang disematkan ke status tabel sebelum penyisipan. Ganti stempel waktu dengan waktu sebelum penyisipan Anda:

    CREATE VIEW eng_employees_baseline AS
    SELECT id, name, salary
    FROM my_ns.employees TIMESTAMP AS OF 'TIMESTAMP'
    WHERE dept = 'Engineering';
    

    Atau, sematkan tampilan ke ID snapshot tabel tertentu:

    CREATE VIEW eng_employees_snapshot_audit AS
    SELECT id, name, salary
    FROM my_ns.employees VERSION AS OF SNAPSHOT_ID
    WHERE dept = 'Engineering';
    
  3. Membuat kueri tampilan historis. Hasilnya tidak menyertakan data yang baru disisipkan:

    SELECT * FROM eng_employees_baseline;
    

Anda tidak dapat menerapkan TIMESTAMP AS OF atau VERSION AS OF langsung ke ID tampilan. Ekspresikan perjalanan waktu di dalam definisi tampilan, terhadap tabel yang mendasarinya. Untuk mengetahui informasi selengkapnya, lihat Memecahkan masalah tampilan Iceberg.

Langkah berikutnya