Menghubungkan repositori Git dan menjalankan alur kerja

Panduan memulai ini akan memandu Anda melalui proses pembuatan repositori Dataform, menghubungkannya ke repositori Git pihak ketiga yang ada, dan menjalankan alur kerja. Anda melakukan tugas berikut menggunakan konsolGoogle Cloud dan Dataform API:

  • Membuat repositori Dataform.
  • Hubungkan repositori ke repositori GitHub dataform-co/dataform-example-project-bigquery GitHub.
  • Buat dan lakukan inisialisasi ruang kerja pengembangan.
  • Tambahkan tampilan baru ke project.
  • Kompilasi project dan jalankan alur kerja di BigQuery.

Sebelum memulai

  1. Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the BigQuery, Dataform, and Secret Manager APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the BigQuery, Dataform, and Secret Manager APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

    8.

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk melakukan semua tugas dalam panduan memulai ini, minta administrator Anda untuk memberikan peran IAM berikut:

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Membuat repositori Dataform

Repositori adalah container utama untuk project Dataform Anda. Pilih salah satu opsi berikut:

Konsol

  1. Buka halaman Dataform BigQuery.

    Buka Dataform

  2. Klik Buat repositori.

  3. Di halaman Create repository, lakukan hal berikut:

    1. Di kolom Repository ID, masukkan quickstart-repo.
    2. Dalam daftar Region, pilih region—misalnya, europe-west4.
    3. Dalam daftar Service account, pilih akun layanan kustom untuk repositori.
    4. Klik Create.
    5. Klik Go to repositories.

Anda telah berhasil membuat repositori Dataform. Selanjutnya, Anda dapat menghubungkan repositori Dataform ke repositori Git jarak jauh.

API

Untuk membuat repositori, gunakan metode projects.locations.repositories.create. Jalankan permintaan API dengan informasi berikut:

  • Endpoint: POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories
  • Parameter kueri: repositoryId=REPOSITORY_ID

Atau, di terminal, jalankan perintah curl berikut:

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{"serviceAccount": "SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com"}' \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories?repositoryId=REPOSITORY_ID"

Ganti kode berikut:

  • SERVICE_ACCOUNT_NAME: ID akun layanan kustom yang dibuat untuk menjalankan tugas BigQuery.
  • PROJECT_ID: ID unik Google Cloud project tempat Anda ingin membuat repositori Dataform.
  • LOCATION: region Google Cloud tempat Anda ingin membuat repositori—misalnya, europe-west4.
  • REPOSITORY_ID: ID unik untuk repositori Dataform baru Anda—misalnya, quickstart-repo.

Anda telah berhasil membuat repositori Dataform. Selanjutnya, Anda dapat menghubungkan repositori Dataform ke repositori Git jarak jauh.

Menghubungkan ke repositori Git

Untuk menghubungkan repositori Dataform ke project Anda, pilih salah satu opsi berikut:

Konsol

  1. Buka halaman Secret Manager.

    Buka Secret Manager

  2. Klik Buat secret.

  3. Di kolom Name, masukkan dataform-git-token.

  4. Di kolom Secret value, masukkan token akses pribadi (PAT) GitHub Anda.

    Untuk mengetahui petunjuk tentang cara membuat PAT, lihat Mengelola token akses pribadi Anda.

    Sebaiknya tetapkan tanggal habis masa berlaku token Anda sesuai dengan kebijakan keamanan organisasi Anda.

  5. Klik Create secret.

  6. Di halaman detail rahasia, klik tab Permissions, lalu klik Grant access.

  7. Di kolom New principals, masukkan agen layanan Dataform Anda: service-PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.com.

    Ganti PROJECT_NUMBER dengan Google Cloud nomor project Anda. Untuk mengetahui detail tentang cara menemukan nomor project, lihat Menemukan nama, nomor, dan ID project.

  8. Di kolom Select a role, pilih Secret Manager > Secret Manager Secret Accessor.

  9. Klik Simpan.

  10. Di konsol Google Cloud , buka halaman Dataform.

    Buka Dataform

  11. Klik quickstart-repo.

  12. Di halaman repositori, klik Setelan > Hubungkan dengan Git.

  13. Di panel Link to remote repository, pilih HTTPS.

  14. Di kolom URL repositori Git jarak jauh, masukkan https://github.com/dataform-co/dataform-example-project-bigquery.git.

  15. Di kolom Default remote branch name, masukkan master.

  16. Di menu Secret, pilih dataform-git-token.

  17. Klik Tautkan.

Anda telah berhasil menghubungkan repositori Dataform ke repositori Git jarak jauh dan memberikan izin yang diperlukan. Selanjutnya, Anda dapat membuat dan melakukan inisialisasi ruang kerja pengembangan.

API

  1. Untuk menyimpan token akses pribadi Git, buat secret di Secret Manager dengan metode projects.secrets.create. Jalankan permintaan API dengan informasi berikut:

    • Endpoint: POST https://secretmanager.googleapis.com/v1/projects/PROJECT_ID/secrets
    • Parameter kueri: secretId=dataform-git-token

    • Body:

      {
  "replication": {
    "automatic": {}
  }
}

    Atau, di terminal, jalankan perintah curl berikut:

    curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "replication": {
      "automatic": {}
    }
  }' \
  "https://secretmanager.googleapis.com/v1/projects/PROJECT_ID/secrets?secretId=dataform-git-token"

  2. Tambahkan versi ke secret yang berisi token akses pribadi (PAT) GitHub Anda. Untuk mengetahui petunjuk tentang cara membuat PAT, lihat Mengelola token akses pribadi Anda. Sebaiknya tetapkan tanggal habis masa berlaku token Anda sesuai dengan kebijakan keamanan organisasi Anda.

    Untuk menambahkan versi rahasia, gunakan metode projects.secrets.addVersion. Jalankan permintaan API dengan informasi berikut:

    • Endpoint: POST https://secretmanager.googleapis.com/v1/projects/PROJECT_ID/secrets/dataform-git-token:addVersion

    • Body:

      {
  "payload": {
    "data": "GITHUB_PAT"
  }
}

    Atau, di terminal, jalankan perintah curl berikut:

    curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "payload": {
      "data": "$(echo -n "GITHUB_PAT" | base64)"
    }
  }' \
  "https://secretmanager.googleapis.com/v1/projects/PROJECT_ID/secrets/dataform-git-token:addVersion"

    Ganti GITHUB_PAT dengan token akses pribadi GitHub Anda. Perintah curl akan otomatis mengonversi PAT Anda menjadi string berenkode Base64 sebelum mengirim permintaan.

  3. Agar Dataform dapat mengakses secret, berikan peran Secret Manager Secret Accessor (roles/secretmanager.secretAccessor) kepada agen layanan Dataform. Untuk memberikan peran, pilih salah satu opsi berikut:

    gcloud

    Jalankan perintah gcloud secrets add-iam-policy-binding:

    gcloud secrets add-iam-policy-binding dataform-git-token \
    --member="serviceAccount:service-PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.com" \
    --role="roles/secretmanager.secretAccessor"

    Ganti PROJECT_NUMBER dengan Google Cloud nomor project Anda. Untuk mengetahui detail tentang cara menemukan nomor project, lihat Menemukan nama, nomor, dan ID project.

    Secret Manager API

    Gunakan metode projects.secrets.setIamPolicy. Jalankan permintaan API dengan informasi berikut:

    • Endpoint: POST https://secretmanager.googleapis.com/v1/projects/PROJECT_ID/secrets/dataform-git-token:setIamPolicy

    • Body:

      {
  "policy": {
    "bindings": [
      {
        "role": "roles/secretmanager.secretAccessor",
        "members": [
          "serviceAccount:service-PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.com"
        ]
      }
    ]
  }
}

    Atau, di terminal, jalankan perintah curl berikut:

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{
  "policy": {
    "bindings": [
      {
        "role": "roles/secretmanager.secretAccessor",
        "members": [
          "serviceAccount:service-PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.com"
        ]
      }
    ]
  }
}' \
"https://secretmanager.googleapis.com/v1/projects/PROJECT_ID/secrets/dataform-git-token:setIamPolicy"

    Ganti PROJECT_NUMBER dengan Google Cloud nomor project Anda. Untuk mengetahui detail tentang cara menemukan nomor project, lihat Menemukan nama, nomor, dan ID project.

  4. Untuk menghubungkan repositori Anda ke repositori Git jarak jauh, gunakan metode projects.locations.repositories.patch. Jalankan permintaan API dengan informasi berikut:

    • Endpoint: PATCH https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID
    • Parameter kueri: updateMask=gitRemoteSettings

    Atau, di terminal, jalankan perintah curl berikut:

    curl -X PATCH \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "gitRemoteSettings": {
      "url": "https://github.com/dataform-co/dataform-example-project-bigquery.git",
      "defaultBranch": "master",
      "authenticationTokenSecretVersion": "projects/PROJECT_ID/secrets/dataform-git-token/versions/1"
    }
  }' \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID?updateMask=gitRemoteSettings"

Anda telah berhasil menghubungkan repositori Dataform ke repositori Git jarak jauh dan memberikan izin yang diperlukan. Selanjutnya, Anda dapat membuat dan melakukan inisialisasi ruang kerja pengembangan.

Membuat dan melakukan inisialisasi ruang kerja pengembangan

Ruang kerja adalah lingkungan pengembangan yang terisolasi. Untuk membuat dan menginisialisasi ruang kerja, pilih salah satu opsi berikut:

Konsol

  1. Buka halaman Dataform BigQuery.

    Buka Dataform

  2. Klik quickstart-repo.

  3. Di repositori Anda, buka tab Development Workspaces.

  4. Klik Buat ruang kerja pengembangan.

  5. Di kolom Workspace ID, masukkan dev-workspace.

  6. Klik Create.

  7. Di tab Ruang Kerja Pengembangan, pilih ruang kerja dev-workspace.

Anda telah berhasil membuat dan melakukan inisialisasi ruang kerja pengembangan. Selanjutnya, Anda dapat mengonfigurasi setelan alur kerja.

API

Untuk membuat ruang kerja, gunakan metode projects.locations.repositories.workspaces.create. Jalankan permintaan API dengan informasi berikut:

  • Endpoint: POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces
  • Parameter kueri: workspaceId=WORKSPACE_ID

Atau, di terminal, jalankan perintah curl berikut:

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d "{}" \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces?workspaceId=WORKSPACE_ID"

Ganti WORKSPACE_ID dengan ID unik untuk ruang kerja pengembangan Dataform baru Anda—misalnya, dev-workspace.

Anda telah berhasil membuat dan melakukan inisialisasi ruang kerja pengembangan. Selanjutnya, Anda dapat mengonfigurasi setelan alur kerja.

Mengonfigurasi setelan alur kerja

Di bagian ini, Anda akan memperbarui project ID dalam file workflow_settings.yaml untuk memastikan Dataform menjalankan alur kerja di project Google Cloud Anda. Untuk mengonfigurasi setelan alur kerja, pilih salah satu opsi berikut:

Konsol

  1. Buka halaman Dataform BigQuery.

    Buka Dataform

  2. Klik quickstart-repo.

  3. Di repositori Anda, buka tab Ruang Kerja Pengembangan, lalu klik dev-workspace.

  4. Di panel File, pilih workflow_settings.yaml.

  5. Dalam file, ganti nilai defaultProject dengan project ID Anda.

    File akan otomatis disimpan.

Anda telah berhasil memperbarui setelan alur kerja. Selanjutnya, Anda dapat menambahkan deklarasi sumber baru ke project Anda.

API

  1. Buat file lokal bernama workflow_settings.yaml dan tempelkan konfigurasi berikut ke dalam file:

    defaultProject: PROJECT_ID
defaultDataset: dataform
dataformCoreVersion: CORE_VERSION

    Ganti CORE_VERSION dengan versi stabil (non-beta) terbaru Dataform core—misalnya, 3.0.43. Anda dapat menemukan versi terbaru yang tercantum di Rilis.

  2. Di terminal Anda, encode konten file menjadi string Base64:

    base64 -w 0 workflow_settings.yaml

  3. Salin string output yang dihasilkan untuk digunakan di placeholder SETTINGS_DEFINITION jika Anda memutuskan untuk menggunakan perintah curl alternatif nanti dalam langkah-langkah ini.

  4. Untuk memperbarui setelan alur kerja, gunakan metode projects.locations.repositories.workspaces.writeFile. Jalankan permintaan API dengan informasi berikut:

    • Endpoint: POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile

    Atau, di terminal, jalankan perintah curl berikut:

    curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "path": "workflow_settings.yaml",
    "contents": "SETTINGS_DEFINITION"
  }' \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile"

    Ganti SETTINGS_DEFINITION dengan konten file YAML sebagai string berenkode Base64.

Anda telah berhasil memperbarui setelan alur kerja. Selanjutnya, Anda dapat menambahkan deklarasi sumber baru ke project Anda.

Membuat sumber

Di bagian ini, Anda akan menambahkan deklarasi sumber SQLX baru ke project yang menentukan set data BigQuery yang ada sehingga Dataform dapat mereferensikannya sebagai sumber data dalam alur kerja Anda. Untuk membuat sumber baru, pilih salah satu opsi berikut:

Konsol

  1. Buka halaman Dataform BigQuery.

    Buka Dataform

  2. Klik quickstart-repo.

  3. Di repositori Anda, buka tab Ruang Kerja Pengembangan, lalu klik dev-workspace.

  4. Di panel Files, pilih folder definitions.

  5. Klik Tindakan file lainnya > Buat file.

  6. Di kolom Add a file path, masukkan definitions/sources/tags.sqlx.

  7. Klik Create file.

  8. Di editor SQL untuk file definitions/sources/tags.sqlx baru, tempel kode berikut:

    config {
  type: "declaration",
  database: "bigquery-public-data",
  schema: "stackoverflow",
  name: "tags"
}

Anda telah berhasil membuat pernyataan sumber. Selanjutnya, Anda dapat menambahkan tampilan baru ke project.

API

  1. Buat file lokal bernama tags.sqlx.

  2. Tempelkan kode berikut ke dalam file tags.sqlx:

    config {
  type: "declaration",
  database: "bigquery-public-data",
  schema: "stackoverflow",
  name: "tags"
}

  3. Di terminal Anda, encode konten file menjadi satu string berkelanjutan:

    base64 -w 0 tags.sqlx

  4. Salin string output yang dihasilkan untuk digunakan di placeholder SOURCE_DEFINITION jika Anda memutuskan untuk menggunakan perintah curl alternatif nanti dalam langkah-langkah ini.

  5. Untuk membuat file deklarasi sumber di ruang kerja Anda, gunakan metode projects.locations.repositories.workspaces.writeFile. Jalankan permintaan API dengan informasi berikut:

    • Endpoint: POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile

    Atau, di terminal, jalankan perintah curl berikut:

    curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "path": "definitions/sources/tags.sqlx",
    "contents": "SOURCE_DEFINITION"
  }' \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile"

    Ganti SOURCE_DEFINITION dengan konten file SQLX sebagai string berenkode Base64.

Anda telah berhasil membuat pernyataan sumber. Selanjutnya, Anda dapat menambahkan tampilan baru ke project.

Membuat tampilan

Di bagian ini, Anda akan menambahkan file SQLX baru ke project yang menentukan tampilan. Untuk membuat tampilan baru, pilih salah satu opsi berikut:

Konsol

  1. Buka halaman Dataform BigQuery.

    Buka Dataform

  2. Klik quickstart-repo.

  3. Di repositori Anda, buka tab Ruang Kerja Pengembangan, lalu klik dev-workspace.

  4. Di panel Files, pilih folder definitions.

  5. Klik Tindakan file lainnya > Buat file.

  6. Di kolom Add a file path, masukkan definitions/top_question_tags.sqlx.

  7. Klik Create file.

  8. Di editor SQL untuk file definitions/top_question_tags.sqlx baru, tempel kode berikut:

    config {
  type: "view",
  name: "top_question_tags",
  tags: ["daily"],
  schema: "reporting",
}

select
    tag_name,
    count
from ${ref("tags")}
order by count desc
limit 100

Anda telah berhasil membuat tampilan. Selanjutnya, Anda dapat mengompilasi project.

API

  1. Buat file lokal bernama top_question_tags.sqlx.

  2. Tempelkan kode berikut ke dalam file top_question_tags.sqlx:

    config {
  type: "view",
  name: "top_question_tags",
  tags: ["daily"],
  schema: "reporting",
}

select
    tag_name,
    count
from ${ref("tags")}
order by count desc
limit 100

  3. Di terminal Anda, encode konten file menjadi satu string berkelanjutan:

    base64 -w 0 top_question_tags.sqlx

  4. Salin string output yang dihasilkan untuk digunakan di placeholder VIEW_DEFINITION jika Anda memutuskan untuk menggunakan perintah curl alternatif nanti dalam langkah-langkah ini.

  5. Untuk membuat file definisi tampilan di ruang kerja, gunakan metode projects.locations.repositories.workspaces.writeFile. Jalankan permintaan API dengan informasi berikut:

    • Endpoint: POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile

    Atau, di terminal, jalankan perintah curl berikut:

    curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "path": "definitions/top_question_tags.sqlx",
    "contents": "VIEW_DEFINITION"
  }' \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile"

    Ganti VIEW_DEFINITION dengan konten file SQLX sebagai string berenkode Base64.

Anda telah berhasil membuat tampilan. Selanjutnya, Anda dapat mengompilasi project.

Kompilasikan project

Kompilasi mengonversi file SQLX menjadi grafik eksekusi SQL murni. Untuk mengompilasi project, pilih salah satu opsi berikut:

Konsol

Konsol Google Cloud akan mengompilasi project Anda secara otomatis. Anda dapat memverifikasi kompilasi di tab Grafik yang dikompilasi di ruang kerja Anda.

Anda telah berhasil mengompilasi project dan memverifikasi grafik eksekusi. Selanjutnya, Anda dapat menjalankan alur kerja di BigQuery.

API

  1. Untuk membuat hasil kompilasi berdasarkan ruang kerja Anda, gunakan metode projects.locations.repositories.compilationResults.create. Jalankan permintaan API dengan informasi berikut:

    • Endpoint: POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/compilationResults

    Atau, di terminal, jalankan perintah curl berikut:

    curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "workspace": "projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID"
  }' \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/compilationResults"

  2. Untuk memverifikasi bahwa project Anda berhasil dikompilasi, gunakan metode projects.locations.repositories.compilationResults.get. Jalankan permintaan API dengan informasi berikut:

    • Endpoint: GET https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/compilationResults/COMPILATION_ID

    Atau, di terminal, jalankan perintah curl berikut:

    curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/compilationResults/COMPILATION_ID"

    Ganti COMPILATION_ID dengan ID unik untuk hasil kompilasi Anda. ID ini diberikan dalam respons permintaan kompilasi pada langkah sebelumnya.

  3. Dalam respons, periksa kolom compilationErrors. Jika daftar kosong, project Anda berhasil dikompilasi.

Anda telah berhasil mengompilasi project dan memverifikasi grafik eksekusi. Selanjutnya, Anda dapat menjalankan alur kerja di BigQuery.

Jalankan alur kerja

Untuk memicu eksekusi alur kerja Anda di BigQuery, pilih salah satu opsi berikut:

Konsol

  1. Buka halaman Dataform BigQuery.

    Buka Dataform

  2. Klik quickstart-repo.

  3. Di repositori Anda, buka tab Ruang Kerja Pengembangan, lalu klik dev-workspace.

  4. Di toolbar, klik Start Execution > Execute actions.

  5. Pilih Semua tindakan.

  6. Klik Start execution.

Anda telah berhasil menjalankan alur kerja.

API

Untuk memicu pemanggilan alur kerja, gunakan metode projects.locations.repositories.workflowInvocations.create. Jalankan permintaan API dengan informasi berikut:

  • Endpoint: POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workflowInvocations

Atau, di terminal, jalankan perintah curl berikut:

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "compilationResult": "projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/compilationResults/COMPILATION_ID"
  }' \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workflowInvocations"

Anda telah berhasil menjalankan alur kerja.

Pembersihan

Agar akun Google Cloud Anda tidak dikenai biaya untuk resource yang digunakan pada halaman ini, ikuti langkah-langkah berikut.

Menghapus set data BigQuery

Untuk menghindari biaya aset BigQuery, hapus set data yang dibuat oleh alur kerja ini, seperti set data bernama reporting dan staging.

  1. Di konsol Google Cloud , buka halaman BigQuery.

    Buka BigQuery

  2. Di panel Explorer, luaskan project Anda dan pilih set data.

  3. Klik menu Tindakan , lalu pilih Hapus.

  4. Pada dialog Delete dataset, masukkan delete ke dalam kolom, lalu klik Delete.

Hapus rahasia Secret Manager

Untuk membersihkan resource keamanan Anda, hapus secret yang digunakan untuk koneksi Git.

  1. Di konsol Google Cloud , buka halaman Secret Manager.

    Buka Secret Manager

  2. Pilih secret dataform-git-token.

  3. Klik Hapus.

  4. Di dialog konfirmasi, masukkan nama rahasia untuk mengonfirmasi, lalu klik Hapus.

Menghapus ruang kerja pengembangan Dataform

Pembuatan ruang kerja pengembangan Dataform tidak menimbulkan biaya, tetapi untuk menghapus ruang kerja pengembangan, ikuti langkah-langkah berikut:

  1. Di konsol Google Cloud , buka halaman Dataform.

    Buka Dataform

  2. Klik quickstart-repo.

  3. Di tab Development Workspaces, klik menu More dengan dev-workspace, lalu pilih Delete.

  4. Untuk mengonfirmasi, klik Hapus.

Menghapus repositori Dataform

Pembuatan repositori Dataform tidak menimbulkan biaya, tetapi untuk menghapus repositori, ikuti langkah-langkah berikut:

  1. Di konsol Google Cloud , buka halaman Dataform.

    Buka Dataform

  2. Dengan quickstart-repo, klik menu Lainnya, lalu pilih Hapus.

  3. Di jendela Hapus repositori, masukkan nama repositori untuk mengonfirmasi penghapusan.

  4. Untuk mengonfirmasi, klik Hapus.

Langkah berikutnya