Dengan membuat tampilan Apache Iceberg, Anda dapat mendaftarkan tabel logis non-material yang ditentukan SQL di namespace katalog runtime Lakehouse sehingga mesin yang kompatibel dengan Iceberg seperti Spark dan Trino dapat mengkuerinya. Katalog menulis definisi tampilan ke file metadata.json berversi di Cloud Storage di lokasi tampilan.
Karena katalog memvalidasi skema tabel yang direferensikan saat Anda membuat tampilan, namespace dan setiap tabel yang direferensikan tampilan harus sudah ada. Untuk mengetahui informasi selengkapnya, lihat Ringkasan tampilan Apache Iceberg.
Sebelum memulai
-
Pastikan penagihan diaktifkan untuk project Google Cloud Anda.
-
Aktifkan BigLake API, jika belum diaktifkan.
Peran yang diperlukan untuk mengaktifkan API
Untuk mengaktifkan API, Anda memerlukan izin
serviceusage.services.enable. Jika Anda membuat project, kemungkinan Anda sudah memiliki izin ini melalui peran Pemilik (roles/owner). Jika tidak, Anda bisa mendapatkan izin ini melalui peran Service Usage Admin (roles/serviceusage.serviceUsageAdmin). Pelajari cara memberikan peran. - Siapkan katalog runtime Lakehouse dengan katalog multi-bucket atau katalog single-bucket. Tampilan Iceberg tidak didukung di katalog BigQuery atau katalog gabungan.
- Tinjau batasan tampilan Iceberg.
Hubungkan mesin open source Anda ke endpoint katalog REST Apache Iceberg.
- Spark: Gunakan Spark 3.5 atau yang lebih baru dengan runtime Iceberg 1.6.0 atau yang lebih baru. Gunakan runtime Iceberg 1.10.0 atau yang lebih baru agar Spark menemukan endpoint tampilan yang didukung melalui respons
GET /v1/configkatalog. Tetapkanspark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensionsagar Spark mendelegasikan DDL dan resolusi tampilan ke endpoint katalog REST Apache Iceberg. - Trino: Gunakan Trino 482 atau yang lebih baru, dan konfigurasikan konektor Trino Iceberg Anda untuk menggunakan endpoint katalog REST Apache Iceberg. Untuk mengetahui informasi selengkapnya, lihat Dukungan Trino.
- Spark: Gunakan Spark 3.5 atau yang lebih baru dengan runtime Iceberg 1.6.0 atau yang lebih baru. Gunakan runtime Iceberg 1.10.0 atau yang lebih baru agar Spark menemukan endpoint tampilan yang didukung melalui respons
Peran yang diperlukan
Untuk mendapatkan izin yang Anda perlukan untuk membuat tampilan, minta administrator untuk memberi Anda peran IAM berikut pada project dan bucket penyimpanan Anda:
-
Membuat tampilan:
BigLake Editor (
roles/biglake.editor) - project Anda -
Tulis file metadata tampilan dalam mode kredensial pengguna akhir:
Storage Object User (
roles/storage.objectUser) - bucket Cloud Storage
Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.
Peran bawaan ini berisi izin yang diperlukan untuk membuat tampilan. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:
Izin yang diperlukan
Izin berikut diperlukan untuk membuat tampilan:
-
Membuat tampilan:
-
biglake.views.createdi namespace -
biglake.tables.getdi setiap tabel Iceberg yang dirujuk oleh tampilan
-
-
Menulis file metadata tampilan dalam mode kredensial pengguna akhir:
storage.objects.createdi bucket Cloud Storage
Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.
Untuk mengetahui daftar lengkap izin lihat, lihat Peran dan izin yang diperlukan.
Membuat tabel dasar
Contoh dalam dokumen ini merujuk pada namespace dan tabel berikut. Jika belum ada, buat:
CREATE NAMESPACE IF NOT EXISTS my_ns;
USE my_ns;
CREATE TABLE IF NOT EXISTS employees (
id INT,
name STRING,
dept STRING,
salary DOUBLE
) USING iceberg;
CREATE TABLE IF NOT EXISTS departments (
dept_code STRING,
dept_name STRING,
building STRING
) USING iceberg;
Opsional: sisipkan data sampel agar Anda dapat membuat kueri tabel virtual yang Anda buat:
INSERT INTO my_ns.employees VALUES
(1, 'Alice', 'Engineering', 150000.0),
(2, 'Bob', 'Marketing', 120000.0),
(3, 'Charlie', 'Engineering', 135000.0);
INSERT INTO my_ns.departments VALUES
('Engineering', 'Eng Org', 'Building A'),
('Marketing', 'Growth Org', 'Building B');
Membuat tampilan
Membuat tampilan Iceberg di satu atau beberapa tabel Iceberg.
Spark
Buat tampilan dengan alias kolom eksplisit, komentar tingkat kolom, komentar tingkat tampilan, dan properti kustom. Mesin menyelesaikan nama tabel yang tidak memenuhi syarat dalam definisi tampilan menggunakan default-catalog dan default-namespace tampilan:
CREATE VIEW eng_employees (
emp_id COMMENT 'Unique employee ID',
emp_name COMMENT 'Full name of employee',
salary COMMENT 'Annual compensation'
)
COMMENT 'Curated view of Engineering department employees'
TBLPROPERTIES ('tier' = 'silver')
AS SELECT id, name, salary
FROM employees
WHERE dept = 'Engineering';
Untuk membuat tampilan hanya jika belum ada, gunakan
CREATE VIEW IF NOT EXISTS. Jika tampilan ada, pernyataan akan berhasil tanpa mengubahnya:
CREATE VIEW IF NOT EXISTS eng_employees AS
SELECT id, name, salary FROM employees;
Secara default, katalog menulis file metadata yang dikompresi gzip
(.gz.metadata.json). Untuk menulis file metadata yang tidak dikompresi
(.metadata.json), tetapkan properti write.metadata.compression-codec ke
none:
CREATE VIEW uncompressed_eng_view
TBLPROPERTIES ('write.metadata.compression-codec' = 'none')
AS SELECT id, name FROM employees WHERE dept = 'Engineering';
REST
Untuk membuat tampilan Iceberg menggunakan REST API, buat permintaan POST ke endpoint CreateIcebergView:
POST /iceberg/v1/restcatalog/v1/projects/PROJECT_ID/catalogs/CATALOG_ID/namespaces/NAMESPACE_NAME/views
Isi permintaan harus berisi payload JSON CreateViewRequest Iceberg yang valid yang menentukan nama tampilan, skema, versi tampilan, dan properti awal. Jika Anda menetapkan location kustom, nilai tersebut harus mengikuti aturan lokasi penyimpanan tampilan untuk jenis katalog Anda. Lokasi tidak dapat diubah setelah dibuat.
Ganti kode berikut:
PROJECT_ID: project ID Google Cloud Anda.CATALOG_ID: ID katalog Anda.NAMESPACE_NAME: nama namespace katalog Anda.
Membuat tampilan dengan join, agregasi, dan subkueri
Definisi tampilan dapat mencakup join, agregasi, ekspresi CASE, ekspresi tabel umum (CTE), UNION ALL, dan subkueri.
Buat tampilan yang menggabungkan dua tabel:
CREATE VIEW employee_directory AS
SELECT e.id, e.name, d.dept_name, d.building
FROM my_ns.employees e
JOIN my_ns.departments d
ON e.dept = d.dept_code;
Buat tampilan yang menggabungkan data dan menggunakan ekspresi CASE:
CREATE VIEW dept_summary AS
SELECT
dept,
CASE WHEN dept = 'Engineering' THEN 'TECH' ELSE 'NON-TECH' END AS category,
COUNT(*) AS headcount,
AVG(salary) AS avg_salary
FROM my_ns.employees
GROUP BY dept;
Buat tampilan yang menggunakan CTE, UNION ALL, dan subkueri:
CREATE VIEW high_earners_cte AS
WITH eng AS (
SELECT id, name, salary FROM my_ns.employees WHERE dept = 'Engineering'
)
SELECT id, name FROM eng WHERE salary >= 140000.0
UNION ALL
SELECT id, name FROM my_ns.employees
WHERE id IN (SELECT id FROM my_ns.employees WHERE dept = 'Marketing');
Membuat tampilan bertingkat
Tampilan dapat mengkueri tampilan lain. Membuat kueri tampilan luar memerlukan
biglake.views.get pada kedua tampilan dan akses baca ke setiap tabel yang dirujuk oleh
salah satu tampilan.
CREATE VIEW top_eng_employees AS
SELECT emp_id, emp_name
FROM my_ns.eng_employees
WHERE salary >= 140000.0;
Membuat tampilan dengan perjalanan waktu pada tabel yang mendasarinya
Tampilan tidak mempertahankan snapshot datanya sendiri, tetapi definisi tampilan dapat mengkueri tabel Iceberg yang mendasarinya pada stempel waktu atau ID snapshot tertentu. Gunakan pola ini untuk membuat dasar pengukuran historis yang dapat direproduksi untuk kepatuhan, pelaporan, atau pelatihan model.
Sisipkan data untuk membuat versi baru tabel pokok:
INSERT INTO my_ns.employees VALUES (4, 'Diana', 'Engineering', 160000.0);Buat tampilan yang disematkan ke status tabel sebelum penyisipan. Ganti stempel waktu dengan waktu sebelum penyisipan Anda:
CREATE VIEW eng_employees_baseline AS SELECT id, name, salary FROM my_ns.employees TIMESTAMP AS OF 'TIMESTAMP' WHERE dept = 'Engineering';Atau, sematkan tampilan ke ID snapshot tabel tertentu:
CREATE VIEW eng_employees_snapshot_audit AS SELECT id, name, salary FROM my_ns.employees VERSION AS OF SNAPSHOT_ID WHERE dept = 'Engineering';Membuat kueri tampilan historis. Hasilnya tidak menyertakan data yang baru disisipkan:
SELECT * FROM eng_employees_baseline;
Anda tidak dapat menerapkan TIMESTAMP AS OF atau VERSION AS OF langsung ke ID tampilan. Ekspresikan perjalanan waktu di dalam definisi tampilan, terhadap tabel yang mendasarinya. Untuk mengetahui informasi selengkapnya, lihat Memecahkan masalah tampilan Iceberg.
Langkah berikutnya
- Pelajari cara menggunakan tampilan daftar.
- Pelajari cara membuat kueri tampilan.
- Pelajari cara mengubah tampilan.