"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).

Google menggunakan teknologi AI untuk menerjemahkan konten ke dalam bahasa pilihan Anda. Terjemahan AI mungkin mengandung kesalahan.

Membuat tabel Apache Iceberg dengan metadata di katalog runtime Lakehouse

Dokumen ini menunjukkan cara menjalankan workload batch SQL dan PySpark Managed Service untuk Apache Spark guna membuat tabel Apache Iceberg dengan metadata yang disimpan dalam katalog runtime Lakehouse. Untuk mengetahui informasi tentang cara lain untuk menjalankan kode Spark, lihat Menjalankan kode PySpark di notebook BigQuery dan Menjalankan beban kerja Apache Spark

Sebelum memulai

Jika Anda belum melakukannya, buat Google Cloud project dan bucket Cloud Storage.

Menyiapkan project
Buat bucket Cloud Storage di project Anda.
1. Di konsol Google Cloud , buka halaman Buckets Cloud Storage.
  Buka Buckets
2. Klik Create.
3. Di halaman Buat bucket, masukkan informasi bucket Anda. Untuk melanjutkan ke langkah berikutnya, klik Lanjutkan.
  1. Di bagian Mulai, lakukan tindakan berikut:
    - Masukkan nama yang unik secara global yang memenuhi persyaratan penamaan bucket.
    - Untuk menambahkan label bucket, luaskan bagian Label (), klik Tambahkan label, lalu tentukan key dan value untuk label Anda.
  2. Di bagian Pilih tempat untuk menyimpan data Anda, lakukan tindakan berikut:
    1. Pilih Jenis lokasi.
    2. Pilih lokasi tempat data bucket Anda disimpan secara permanen dari menu drop-down Location type.
      - Jika memilih jenis lokasi dual-region, Anda juga dapat memilih untuk mengaktifkan replikasi turbo dengan menggunakan kotak centang yang relevan.
    3. Untuk menyiapkan replikasi lintas bucket, pilih Tambahkan replikasi lintas bucket melalui Storage Transfer Service dan ikuti langkah-langkah berikut:
      Menyiapkan replikasi lintas bucket
      
      Di menu Bucket, pilih bucket.
      
      Di bagian Replication settings, klik Configure untuk mengonfigurasi setelan bagi tugas replikasi.
      
      Panel Konfigurasi replikasi lintas bucket akan muncul.
      
      Untuk memfilter objek yang akan direplikasi menurut awalan nama objek, masukkan awalan yang ingin Anda sertakan atau kecualikan objeknya, lalu klik Tambahkan awalan.
      
      Untuk menetapkan kelas penyimpanan bagi objek yang direplikasi, pilih kelas penyimpanan dari menu Kelas penyimpanan. Jika Anda melewati langkah ini, objek yang direplikasi akan menggunakan kelas penyimpanan bucket tujuan secara default.
      
      Klik Done.
  3. Di bagian Choose how to store your data, lakukan tindakan berikut:
    1. Pilih kelas penyimpanan default untuk bucket atau Autoclass untuk pengelolaan kelas penyimpanan otomatis untuk data bucket Anda.
    2. Untuk mengaktifkan namespace hierarkis, di bagian Optimalkan penyimpanan untuk beban kerja intensif data, pilih Aktifkan namespace hierarkis di bucket ini.
      Catatan: Anda tidak dapat mengaktifkan namespace hierarkis di bucket yang ada.
  4. Di bagian Pilih cara mengontrol akses ke objek, pilih apakah bucket Anda menerapkan pencegahan akses publik atau tidak, lalu pilih metode kontrol akses untuk objek bucket Anda.
    Catatan: Anda tidak dapat mengubah setelan Prevent public access jika setelan ini diterapkan di kebijakan organisasi.
  5. Di bagian Pilih cara melindungi data objek, lakukan tindakan berikut:
    - Pilih salah satu opsi di bagian Perlindungan data yang ingin Anda tetapkan untuk bucket Anda.
      - Untuk mengaktifkan penghapusan sementara, klik kotak centang Kebijakan penghapusan sementara (Untuk pemulihan data), dan tentukan jumlah hari Anda ingin menyimpan objek setelah penghapusan.
      - Untuk menyetel Pembuatan Versi Objek, klik kotak centang Pembuatan versi objek (Untuk kontrol versi), dan tentukan jumlah maksimum versi per objek dan jumlah hari setelah versi lama berakhir.
      - Untuk mengaktifkan kebijakan retensi pada objek dan bucket, klik kotak centang Retensi (Untuk kepatuhan), lalu lakukan hal berikut:
        
        Untuk mengaktifkan Penguncian Retensi Objek, klik kotak Aktifkan retensi objek.
        
        Untuk mengaktifkan Bucket Lock, centang kotak Setel kebijakan retensi bucket, lalu pilih satuan waktu dan durasi untuk periode retensi data Anda.
    - Untuk memilih cara data objek Anda akan dienkripsi, luaskan bagian Enkripsi data (), lalu pilih metode Enkripsi data.
4. Klik Create.
Berikan peran BigQuery Data Editor (roles/bigquery.dataEditor) kepada akun layanan default Compute Engine, PROJECT_NUMBER-compute@developer.gserviceaccount.com. Untuk mengetahui petunjuknya, lihat bagian Memberikan satu peran.

Contoh Google Cloud CLI:
```
gcloud projects add-iam-policy-binding PROJECT_ID \
    --member PROJECT_NUMBER-compute@developer.gserviceaccount.com \
--role roles/bigquery.dataEditor
```
Catatan:
- PROJECT_ID dan PROJECT_NUMBER tercantum di bagian Project info di Google Cloud konsol Dasbor.

Pemetaan resource OSS ke resource BigQuery

Perhatikan pemetaan berikut antara istilah resource open source dan istilah resource BigQuery:

Resource OSS	Resource BigQuery
Namespace, Database	Set data
Tabel Berpartisi atau Tidak Berpartisi	Tabel
Lihat	Lihat

Membuat tabel Iceberg

Bagian ini menunjukkan cara membuat tabel Iceberg dengan metadata di katalog runtime Lakehouse menggunakan Managed Service untuk Apache Spark, Spark SQL, dan beban kerja batch PySpark.

Spark SQL

Menjalankan beban kerja Spark SQL untuk membuat tabel Iceberg

Langkah-langkah berikut menunjukkan cara menjalankan workload batch SQL Managed Service untuk Apache Spark guna membuat tabel Iceberg dengan metadata tabel yang disimpan dalam katalog runtime Lakehouse.

Salin perintah Spark SQL berikut secara lokal atau di Cloud Shell ke dalam file iceberg-table.sql.

USE CATALOG_NAME;
CREATE NAMESPACE IF NOT EXISTS example_namespace;
USE example_namespace;
DROP TABLE IF EXISTS example_table;
CREATE TABLE example_table (id int, data string) USING ICEBERG LOCATION 'gs://BUCKET/WAREHOUSE_FOLDER';
INSERT INTO example_table VALUES (1, 'first row');
ALTER TABLE example_table ADD COLUMNS (newDoubleCol double);
DESCRIBE TABLE example_table;

Ganti kode berikut:

CATALOG_NAME: Nama katalog Iceberg.
BUCKET dan WAREHOUSE_FOLDER: Bucket dan folder Cloud Storage yang digunakan sebagai direktori gudang data Iceberg.

Jalankan perintah berikut secara lokal atau di Cloud Shell dari direktori yang berisi iceberg-table.sql untuk mengirimkan beban kerja Spark SQL.
```
gcloud dataproc batches submit spark-sql iceberg-table.sql \
    --project=PROJECT_ID \
    --region=REGION \
    --deps-bucket=BUCKET_NAME \
    --version=2.2 \
    --subnet=SUBNET_NAME \
    --properties="spark.sql.catalog.CATALOG_NAME=org.apache.iceberg.spark.SparkCatalog,spark.sql.catalog.CATALOG_NAME.catalog-impl=org.apache.iceberg.gcp.bigquery.BigQueryMetastoreCatalog,spark.sql.catalog.CATALOG_NAME.gcp_project=PROJECT_ID,spark.sql.catalog.CATALOG_NAME.gcp_location=LOCATION,spark.sql.catalog.CATALOG_NAME.warehouse=gs://BUCKET/WAREHOUSE_FOLDER"
  
```
Catatan:
- PROJECT_ID: Project ID Google Cloud Anda. Project ID tercantum di bagian Project info di Google Cloud Dasbor konsol.
- REGION: Region Compute Engine yang tersedia untuk menjalankan workload.
- BUCKET_NAME: Nama bucket Cloud Storage Anda. Spark mengupload dependensi workload ke folder /dependencies di bucket ini sebelum menjalankan workload batch. WAREHOUSE_FOLDER berada di bucket ini.
- --version: Managed Service untuk Apache Spark versi runtime 2.2 atau yang lebih baru.
- SUBNET_NAME: Nama subnet VPC di REGION. Jika Anda menghilangkan tanda ini, Managed Service untuk Apache Spark akan memilih subnet default di region sesi. Managed Service untuk Apache Spark mengaktifkan Akses Google Pribadi (PGA) di subnet. Untuk persyaratan konektivitas jaringan, lihat Konfigurasi jaringan Managed Service untuk Apache Spark.
- LOCATION: Lokasi BigQuery yang didukung. Lokasi defaultnya adalah "US".
- --properties Properti katalog.
Melihat metadata tabel di BigQuery
1. Di konsol Google Cloud , buka halaman BigQuery.
  
  Buka BigQuery Studio
2. Melihat metadata tabel Iceberg.

PySpark

Langkah-langkah berikut menunjukkan cara menjalankan workload batch PySpark Managed Service untuk Apache Spark guna membuat tabel Iceberg dengan metadata tabel yang disimpan dalam katalog runtime Lakehouse.

Salin kode PySpark berikut secara lokal atau di Cloud Shell ke dalam file iceberg-table.py.

from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("iceberg-table-example").getOrCreate()

catalog = "CATALOG_NAME"
namespace = "NAMESPACE"

spark.sql(f"USE `{catalog}`;")
spark.sql(f"CREATE NAMESPACE IF NOT EXISTS `{namespace}`;")
spark.sql(f"USE `{namespace}`;")

# Create table and display schema
spark.sql("DROP TABLE IF EXISTS example_iceberg_table")
spark.sql("CREATE TABLE example_iceberg_table (id int, data string) USING ICEBERG") 
spark.sql("DESCRIBE example_iceberg_table;")

# Insert table data.
spark.sql("INSERT INTO example_iceberg_table VALUES (1, 'first row');")

# Alter table, then display schema. 
spark.sql("ALTER TABLE example_iceberg_table ADD COLUMNS (newDoubleCol double);")
spark.sql("DESCRIBE example_iceberg_table;")