Membuat operasi

Dokumen ini menunjukkan cara menentukan operasi SQL kustom dalam file SQLX khusus.

Dataform dapat menjalankan operasi SQL kustom yang tidak sesuai dengan model Dataform untuk memublikasikan tabel atau menulis pernyataan. Anda dapat menentukan perintah SQL kustom agar Dataform dapat dijalankan di BigQuery.

Sebelum memulai

  1. Di Google Cloud konsol, buka halaman Dataform.

    Buka halaman Dataform

  2. Pilih atau buat repositori.

  3. Pilih atau buat ruang kerja pengembangan.

Peran yang diperlukan

Untuk mendapatkan izin yang diperlukan guna menentukan operasi SQL kustom, minta administrator untuk memberi Anda peran IAM Editor Dataform (roles/dataform.editor) di ruang kerja. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Membuat file untuk definisi operasi kustom

Simpan file SQLX definisi operasi kustom di direktori definitions/. Untuk membuat file SQLX baru di direktori definitions/, ikuti langkah-langkah berikut:

  1. Buka ruang kerja pengembangan Anda.
  2. Di panel Files, di samping definitions/, klik menu More .
  3. Klik Create file.

  4. Di kolom Add a file path, masukkan nama file yang diikuti dengan .sqlx setelah definitions/. Misalnya, definitions/sample-operation.sqlx.

    Nama file hanya boleh menyertakan angka, huruf, tanda hubung, dan garis bawah.

  5. Klik Create file.

Menentukan operasi SQL kustom

Anda dapat menentukan operasi SQL kustom dalam file SQLX type: operations. Anda dapat menulis pernyataan BigQuery SQL apa pun dalam file operations. Dataform menjalankan operasi SQL kustom Anda di BigQuery tanpa modifikasi.

Anda dapat menentukan beberapa operasi SQL kustom dalam satu file SQLX. BigQuery menjalankan semua operasi dalam file dalam konteks yang sama, dan membuat SQL yang dijalankan dengan menggabungkan semua operasi dengan titik koma (;).

Untuk menentukan beberapa operasi SQL kustom saat menggunakan framework Dataform open source dengan data warehouse selain BigQuery, pisahkan operasi dengan ---.

Untuk menentukan operasi SQL kustom dalam file SQLX khusus, ikuti langkah-langkah berikut:

  1. Di ruang kerja pengembangan, pilih file SQLX untuk definisi operasi kustom.

  2. Di file tersebut, masukkan cuplikan kode berikut:

    config { type: "operations" }

  3. Di luar blok config, tulis operasi SQL Anda.

  4. Opsional: Klik Format.

Contoh kode berikut menunjukkan beberapa operasi SQL kustom yang ditentukan dalam file operations:

config { type: "operations" }

DELETE FROM dataset.table WHERE country = 'GB';

DELETE FROM dataset.table WHERE country = 'FR';

Contoh kode berikut menunjukkan operasi SQL kustom yang membuat tampilan secara manual:

config { type: "operations" }
CREATE OR REPLACE VIEW dataset.table AS (SELECT 1 AS TEST)

Membuat tabel output yang dapat direferensikan

Anda dapat membuat tabel secara manual dalam operasi SQL kustom yang dapat Anda referensikan dalam skrip lain. Untuk membuat tabel yang tersedia untuk skrip lain, Anda harus mendeklarasikan bahwa operasi tersebut memiliki output.

Agar nama tabel output cocok dengan nama file operations, Anda dapat menggunakan fungsi self dalam operasi CREATE.

Untuk membuat tabel dalam operasi kustom dan membuatnya tersedia untuk skrip lain, ikuti langkah-langkah berikut:

  1. Di ruang kerja pengembangan, pilih file SQLX untuk definisi operasi kustom.

  2. Di file SQLX, masukkan cuplikan kode berikut:

    config {
 type: "operations",
 hasOutput: true
}

  3. Agar nama tabel output cocok dengan nama file, tulis operasi SQL CREATE dengan fungsi self dalam format berikut:

    CREATE OR REPLACE TABLE ${self()} AS (CUSTOM_SQL_QUERY)

    Ganti CUSTOM_SQL_QUERY dengan pernyataan SQL SELECT definisi tabel Anda.

  4. Opsional: Klik Format.

Mereferensikan tabel output operasi SQL kustom

  • Untuk mereferensikan tabel output operasi SQL kustom dalam definisi SQLX tabel lain, masukkan nama file tabel output dalam fungsi ref.

Contoh kode berikut menunjukkan operasi SQL kustom dalam file custom_SQL_operation_table.sqlx yang membuat tabel yang dapat direferensikan bernama custom_SQL_operation_table:

// filename is custom_SQL_operation_table.sqlx
config {
type: "operations",
hasOutput: true
}
CREATE OR REPLACE VIEW ${self()} AS (SELECT 1 AS TEST)

Contoh kode berikut menunjukkan cara mereferensikan custom\_SQL\_operation\_table table dalam file SQLX definisi tabel:

config { type: "table" }
SELECT * FROM ${ref("custom_SQL_operation_table")}

Membuat tabel kosong

Anda mungkin ingin membuat tabel kosong sehingga layanan lain dapat mengisinya dengan data. Anda dapat membuat tabel kosong dalam operasi SQL kustom dengan fungsi CREATE TABLE. Agar dapat mereferensikan tabel kosong dalam definisi tindakan alur kerja lainnya, misalnya, tabel dan tampilan, Anda dapat menambahkan properti hasOutput:true ke blok config operasi tabel kosong.

  • Untuk membuat tabel kosong, gunakan fungsi CREATE TABLE dalam file type: "operations" dalam format berikut:
config {
  type: "operations",
  hasOutput: true  // optional, lets you reference the empty table
}

CREATE TABLE ${self()} (

)

Contoh kode berikut menunjukkan operasi SQL kustom yang membuat tabel kosong dengan kolom bilangan bulat dan string. Tabel kosong yang dibuat tidak dapat direferensikan oleh tindakan alur kerja lainnya:

config {
  type: "operations"
}

CREATE TABLE ${self()} (
  x INT64,
  y STRING
)

Langkah berikutnya