Mengaktifkan silsilah data Hive

Dokumen ini menunjukkan cara mengaktifkan dan menggunakan asal data untuk tugas Managed Service for Apache Spark Hive.

Anda mengaktifkan Linage data untuk tugas Hive Managed Service for Apache Spark menggunakan tindakan inisialisasi saat membuat cluster.

Saat Anda mengaktifkan Silsilah data Hive di cluster, tugas Hive yang Anda kirimkan ke cluster akan merekam peristiwa silsilah data dan memublikasikannya ke Dataplex Universal Catalog.

Memvisualisasikan informasi silsilah

Grafik Silsilah data menampilkan hubungan antara resource project Anda dan proses yang membuatnya. Anda dapat mengakses grafik silsilah menggunakan Dataplex Universal Catalog, BigQuery Studio, dan Vertex AI di konsol Google Cloud .

Harga

Managed Service for Apache Spark Hive data lineage ditawarkan selama Pratinjau tanpa biaya tambahan. Harga Managed Service for Apache Spark standar berlaku.

Sebelum memulai

  1. Di konsol Google Cloud , pada halaman pemilih project, pilih project yang berisi cluster Managed Service for Apache Spark yang silsilahnya ingin Anda lacak.

    Buka pemilih project

  2. Aktifkan Data Lineage API dan Dataplex API.

    Aktifkan API

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk menggunakan silsilah data di Managed Service for Apache Spark, minta administrator untuk memberi Anda peran IAM berikut di akun layanan VM cluster Managed Service for Apache Spark:

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Mengaktifkan silsilah data Hive

Untuk mengaktifkan asal-usul data Hive di cluster, tentukan hive-lineage.sh tindakan inisialisasi saat Anda membuat cluster Managed Service for Apache Spark. Tindakan inisialisasi ini disimpan dalam bucket regional di Cloud Storage.

Contoh pembuatan cluster gcloud CLI:

gcloud dataproc clusters create CLUSTER_NAME \
    --project PROJECT_ID \
    --region REGION \
    --image-version IMAGE_VERSION \
    --initialization-actions gs://goog-dataproc-initialization-actions-REGION/hive-lineage/hive-lineage.sh

Ganti kode berikut:

  • CLUSTER_NAME: Nama cluster.
  • PROJECT_ID: Project ID Google Cloud Anda. Project ID tercantum di bagian Project info di Google Cloud Dasbor konsol.
  • REGION: Region Compute Engine tempat cluster akan berada.
  • IMAGE_VERSION Versi image yang ditujukan untuk cluster.
  • --initialization-actions: Menentukan tindakan penginstalan yang berada di lokasi regional Cloud Storage, yang mengaktifkan asal data Hive.
    • Secara opsional, tambahkan tindakan inisialisasi konektor Hive-BigQuery. Jika ingin mengintegrasikan tabel BigQuery dengan beban kerja Hive, Anda harus menginstal konektor Hive-BigQuery di cluster. Lihat contoh silsilah data Hive dengan BigQuery, yang menjalankan tindakan inisialisasi konektor untuk menginstal konektor Hive-BigQuery di cluster.

Mengirimkan tugas Hive

Saat Anda mengirimkan tugas Hive ke cluster Managed Service for Apache Spark yang dibuat dengan silsilah data Hive diaktifkan, Managed Service for Apache Spark akan merekam dan melaporkan informasi silsilah data ke Katalog Universal Dataplex.

Contoh pengiriman tugas Hive gcloud CLI:

gcloud dataproc jobs submit hive \
    --cluster=CLUSTER_NAME \
    --project PROJECT_ID \
    --region REGION \
    --properties=hive.openlineage.namespace=CUSTOM_NAMESPACE \
    --execute HIVE_QUERY

Ganti kode berikut:

  • CLUSTER_NAME: Nama cluster.
  • PROJECT_ID: Project ID Google Cloud Anda. Project ID tercantum di bagian Project info di Google Cloud Dasbor konsol.
  • REGION: Region Compute Engine tempat cluster Anda berada.
  • CUSTOM_NAMESPACE: Namespace Hive kustom opsional yang dapat Anda tentukan untuk mengidentifikasi tugas Hive.
  • HIVE_QUERY: Kueri Hive yang akan dikirimkan ke cluster. Daripada menentukan kueri, Anda dapat mengganti flag --execute HIVE_QUERY dengan flag --file SQL_FILE untuk menentukan lokasi file yang berisi kueri.

Melihat silsilah di Dataplex Universal Catalog

Grafik silsilah menampilkan hubungan antara resource project Anda dan proses yang membuatnya. Anda dapat melihat informasi silsilah data di konsol Google Cloud , atau mengambilnya dari Data Lineage API dalam bentuk data JSON.

Contoh silsilah data Hive dengan BigQuery

Contoh di bagian ini terdiri dari langkah-langkah berikut:

  1. Buat cluster Managed Service for Apache Spark yang mengaktifkan asal-usul data Hive dan menginstal konektor Hive-BigQuery di cluster.
  2. Jalankan kueri Hive di cluster untuk menyalin data antar-tabel Hive.
  3. Melihat grafik silsilah data yang dihasilkan di BigQuery Studio.

Membuat cluster Managed Service untuk Apache Spark

Jalankan perintah berikut di jendela terminal lokal atau di Cloud Shell untuk membuat cluster Managed Service for Apache Spark.

gcloud dataproc clusters create CLUSTER_NAME \
    --project PROJECT_ID \
    --region REGION \
    --image-version IMAGE_VERSION \
    --initialization-actions gs://goog-dataproc-initialization-actions-REGION/connectors/connectors.sh, gs://goog-dataproc-initialization-actions-REGION/hive-lineage/hive-lineage.sh \
    --metadata hive-bigquery-connector-version=HIVE_BQ_VERSION

Catatan:

Menjalankan kueri Hive

Jalankan kueri Hive untuk melakukan tindakan berikut:

  • Buat us_states tabel eksternal dengan input data sampel dari gs://cloud-samples-data/bigquery/hive-partitioning-samples/autolayout.
  • Buat tabel terkelola us_states_copy di set data BigQuery yang ditentukan.
  • Salin seluruh data dari us_states ke us_states_copy.

Untuk menjalankan kueri:

  1. Di jendela terminal lokal atau di Cloud Shell, gunakan editor teks, seperti vi atau nano, untuk menyalin pernyataan kueri Hive berikut ke dalam file hive-example.sql, lalu simpan file di direktori saat ini.
  2. Kirimkan file hive-example.sql ke cluster Managed Service untuk Apache Spark yang dibuat sebelumnya dengan mengganti flag --execute HIVE_QUERY dengan flag --file SQL_FILE untuk menentukan lokasi file hive-example.sql yang disimpan. Perhatikan bahwa variabel PROJECT dan BQ_DATASET harus diisi.

Hive BigQueryStorageHandler

CREATE EXTERNAL TABLE us_states (
    name STRING,
    post_abbr STRING
)
STORED AS PARQUET
LOCATION 'gs://cloud-samples-data/bigquery/hive-partitioning-samples/autolayout';

CREATE TABLE us_states_copy (
    name STRING,
    post_abbr STRING
)
STORED BY 'com.google.cloud.hive.bigquery.connector.BigQueryStorageHandler'
TBLPROPERTIES (
  'bq.table'='PROJECT.BQ_DATASET.us_states_copy'
);

INSERT INTO us_states_copy SELECT * FROM us_states;

Melihat grafik silsilah data

Setelah tugas Hive selesai dengan berhasil, lihat silsilah data di BigQuery Studio di konsol Google Cloud :

Grafik silsilah Hive

Untuk mengetahui informasi tentang menampilkan grafik di BigQuery Studio, lihat Melihat silsilah di BigQuery. Untuk mengetahui informasi tentang pemahaman grafik, lihat Model informasi silsilah data.

Langkah berikutnya