Mengekspor data dari instance Looker yang dihosting pelanggan

Admin instance Looker yang dihosting pelanggan dapat mempertimbangkan untuk bermigrasi ke lingkungan yang dihosting Looker terutama untuk menukar biaya administrasi infrastruktur dengan peningkatan kenyamanan, ketersediaan fitur yang ditingkatkan, dan keandalan terkelola. Menggunakan instance yang dihosting Looker akan sangat mengurangi upaya yang diperlukan untuk menginstal, mengonfigurasi, dan memelihara aplikasi Looker, karena semua fungsi IT yang diperlukan dan terkait dengan aplikasi Looker akan ditangani untuk Anda.

Memigrasikan instance yang dihosting pelanggan ke lingkungan yang dihosting Looker melibatkan langkah-langkah utama berikut:

Pengambilan dan penyiapan: Anda membuka tiket dengan tim Looker dan melengkapi kuesioner Migrasi On-Prem Looker. Tim Looker akan membuat instance yang dihosting baru berdasarkan jawaban Anda atas kuesioner tersebut.
Enkripsi: SRE Looker membuat pasangan kunci GnuPG (GPG) dan membagikan kunci publik kepada Anda.
Ekspor: Anda menghentikan instance Looker dan mengekspor datanya (database, sistem file, dan kunci yang dikelola pelanggan (CMK)).
Transit dan impor data: Tim Looker mengimpor cadangan ke instance yang dihosting Looker dan memverifikasinya.

Halaman ini menjelaskan cara melakukan tugas yang diperlukan untuk Langkah 3: Ekspor:

Mengevaluasi performa dan ukuran sistem file dan database instance Anda
Mencadangkan, mengenkripsi, dan membuat checksum data yang akan dikirim dari sistem file Looker
Mencadangkan, mengenkripsi, dan membuat checksum data yang akan dikirim dari skema database Looker
Buat, enkripsi, dan buat checksum file kunci CMK
Memvalidasi artefak cadangan Anda
Menyerahkan file cadangan Anda untuk migrasi

Sebelum memulai

Sebelum dapat menggunakan skrip di halaman ini untuk mencadangkan data instance, Anda harus memastikan bahwa konfigurasi enkripsi, database, dan instance Looker Anda memenuhi persyaratan migrasi.

Konfigurasi yang diperlukan

Versi Looker dan database berikut diperlukan untuk menjalankan skrip yang dijelaskan di halaman ini:

Instance Looker Anda harus menjalankan versi rilis Looker yang didukung.
Instance Anda harus menggunakan database yang kompatibel dengan MySQL versi 8.0.0 atau yang lebih baru, sehingga file skema database yang diekspor dapat digunakan oleh Looker.

Jika Anda menggunakan AWS KMS, migrasikan ke enkripsi AES-256 GCM Looker dengan mengikuti langkah-langkah yang dijelaskan di halaman dokumentasi Mengubah kunci enkripsi Looker.

Untuk memastikan penyimpanan data dan tampilan karakter yang tepat, kolasi database Anda harus disetel ke utf8mb4 (direkomendasikan) atau utf8. Menggunakan kolasi lain dapat menyebabkan kerusakan data atau error saat menyimpan karakter khusus.

Mengevaluasi instance Anda untuk migrasi

Untuk menentukan apakah instance Looker yang dihosting pelanggan dapat dimigrasikan ke instance Looker (asli) yang dihosting Looker, Anda harus mengevaluasi ukuran dan performa database serta sistem file instance Anda. Evaluasi ini juga menilai apakah lingkungan sumber Anda dapat menangani ekstraksi data yang terjadi selama proses pembuatan cadangan. Informasi ini membantu tim Looker mengalokasikan sumber daya yang memadai untuk instance yang dihosting Looker target.

Untuk melakukan evaluasi, Anda harus meng-clone repositori GitHub yang berisi skrip Looker untuk mengevaluasi penggunaan komputasi dan performa sistem file instance Looker. Skrip ini mengandalkan Go Looker SDK dan tersedia di repositori Looker O2C Migration Evaluation di GitHub.

Bagian berikut akan menjelaskan langkah-langkah yang perlu Anda selesaikan untuk menjalankan skrip yang mengevaluasi instance Anda, yang mencakup tugas berikut:

Buat clone repositori yang berisi skrip.
Buat kredensial API.
Jalankan perintah untuk memeriksa penggunaan komputasi.
Jalankan perintah untuk memeriksa performa sistem file.

Menginstal alat evaluasi

Instal alat, bahasa, dan SDK berikut di komputer tempat Anda akan mencadangkan data instance Looker:

Buat clone repositori Evaluasi Migrasi O2C Looker

Untuk meng-clone repositori yang berisi skrip evaluasi, jalankan perintah berikut dari direktori beranda pengguna yang akan menjalankan analisis dan pencadangan:

git clone https://github.com/looker-open-source/looker-o2c-migration-tool.git

Membuat kredensial API

Skrip evaluasi menggunakan Looker SDK untuk mengambil data, yang bertindak sebagai klien API yang mengirim permintaan melalui jaringan ke server Looker Anda. Pengguna admin yang menjalankan skrip harus memiliki client ID dan secret klien Looker API. Untuk membuat kredensial API bagi akun admin Looker Anda, ikuti langkah-langkah berikut:

Buka halaman Pengguna di panel Admin.
Pilih Edit untuk akun Anda.
Di halaman detail akun, temukan bagian API3 Keys, lalu pilih Edit Keys.
Pilih Kunci API Baru.
Looker akan menampilkan Client ID dan Client Secret. Salin nilai ini dan simpan di lokasi yang aman.

Buat informasi penggunaan komputasi

Untuk menggunakan skrip evaluasi migrasi guna menampilkan informasi tentang penggunaan komputasi instance Anda, jalankan perintah berikut di komputer yang memiliki koneksi jaringan langsung ke endpoint API aplikasi Looker:

cd looker-o2c-migration-tool
go run main.go --client-id API_CLIENT_ID --client-secret API_CLIENT_SECRET --looker-instance-address LOOKER_INSTANCE_ADDRESS --output-csv-path OUTPUT_CSV_PATH --ssl=SSL

Ganti kode berikut:

API_CLIENT_ID: ID klien Anda dari langkah sebelumnya.
API_CLIENT_SECRET: Rahasia klien Anda dari langkah sebelumnya.
LOOKER_INSTANCE_ADDRESS: Alamat instance Looker Anda, termasuk protokolnya.
OUTPUT_CSV_PATH: Jalur untuk output CSV, seperti /content/compute_usage_info.csv.
SSL: Apakah koneksi antara komputer Anda dan instance Looker harus menggunakan sertifikat SSL. Nilainya adalah true secara default.

Perintah ini menghasilkan file CSV yang berisi detail penggunaan instance Looker.

Membuat informasi performa sistem file

Skrip ini menunjukkan ukuran dan jumlah file dari setiap direktori terkait model, beserta uji kecepatan penulisan disk. Hal ini mengasumsikan bahwa Looker diinstal di direktori beranda pengguna dengan nama pengguna looker, seperti yang dijelaskan di halaman dokumentasi Menginstal aplikasi Looker.

Untuk menggunakan skrip evaluasi migrasi guna menampilkan informasi tentang performa sistem file instance Anda, jalankan perintah berikut di mesin tempat instance Looker Anda dihosting:

cd looker-o2c-migration-tool
go run main.go --file-system-evaluation --output-csv-path OUTPUT_CSV_PATH

Ganti kode berikut:

OUTPUT_CSV_PATH: Jalur untuk output CSV, seperti /content/fs_perf_info.csv

Perintah ini menghasilkan file CSV dengan performa sistem file instance Looker.

Menyiapkan instance untuk pencadangan

Bersiaplah untuk mencadangkan data instance Anda dengan menginstal paket dan dependensi yang diperlukan untuk menjalankan skrip yang dijelaskan di halaman ini. Anda juga dapat menetapkan beberapa variabel lingkungan untuk menyederhanakan penulisan perintah.

Menginstal dan memverifikasi dependensi

Saat menginstal dependensi yang diperlukan untuk mencadangkan data instance Looker, gunakan pengelola paket yang standar untuk distribusi Linux Anda. Versi berikut sesuai dengan paket yang disediakan di Debian 12 (Bookworm) dan mewakili versi minimum setiap paket yang diperlukan.

Instal paket berikut di komputer tempat Anda akan mencadangkan data instance Looker:

bash 5.2.15
gpg 2.2.40 (GnuPG) – Proses pembuatan cadangan menggunakan gpg untuk mengenkripsi cadangan database dan sistem file sebelum dibagikan kepada tim Looker.
libgcrypt 1.10.2
Gpg-agent 2.2.40 (GnuPG)
GNU tar 1.34
gzip 1.12
md5sum 9.1 (GNU coreutils)
GNU grep 3.11 (dengan dukungan untuk PCRE2 10.42 11-12-2022 atau yang lebih baru)
GNU sed 4.9
mariadb-client-core (harus terhubung ke MySQL 8.X Anda)

Sebagai contoh, jalankan perintah berikut untuk menginstal paket yang diperlukan pada sistem Linux berbasis Debian:

sudo apt-get update
sudo apt-get install -y \
    bash \
    gnupg \
    libgcrypt20 \
    gnupg-agent \
    tar \
    gzip \
    coreutils \
    grep \
    sed \
    mariadb-client-core

Menentukan variabel

Perintah berikut menentukan beberapa variabel yang akan digunakan selama proses pembuatan cadangan. Konfigurasi di terminal tempat Anda berencana menjalankan perintah lebih lanjut.

Variabel lingkungan: Menetapkan jalur direktori cadangan

Perintah berikut akan menetapkan jalur untuk direktori cadangan tempat file akan dibuat. Jalankan perintah ini di terminal mana pun tempat Anda berencana melakukan tugas pembuatan cadangan khusus direktori:

BACKUP_DIRECTORY="DIRECTORY_PATH"
BACKUP_DIRECTORY="${BACKUP_DIRECTORY%/}"

Ganti kode berikut:

DIRECTORY_PATH: Jalur tempat file cadangan akan dibuat. Pastikan direktori ini cukup besar untuk menyimpan cadangan. Jangan sertakan / di awal jalur.

Variabel lingkungan: Menetapkan jalur sumber untuk pencadangan sistem file

Definisi variabel untuk jalur sumber pencadangan sistem file mengasumsikan bahwa looker adalah nama pengguna untuk pengguna yang menginstal aplikasi Looker dan penginstalan dilakukan di direktori beranda pengguna, seperti yang dijelaskan di halaman dokumentasi Menginstal aplikasi Looker. Anda harus mengubah variabel jika menginstal Looker di direktori yang berbeda. Tetapkan variabel ini di terminal tempat Anda akan menjalankan pencadangan sistem file Looker:

  LOOKER_USER="looker"
  ROOT_LOOKER_FS_DIRECTORY="$(getent passwd "$LOOKER_USER" | cut -d: -f 6)"

Variabel lingkungan: Menentukan instance Looker baru

Tentukan variabel untuk merepresentasikan nama dan ID unik instance yang akan Anda impor. Tim Looker akan memberi Anda nilai untuk variabel ini.

export luid='LOOKER_HOSTED_INSTANCE_ID'
export customer='LOOKER_HOSTED_INSTANCE_NAME'

Ganti kode berikut:

LOOKER_HOSTED_INSTANCE_ID: ID unik instance Looker yang akan Anda migrasikan
LOOKER_HOSTED_INSTANCE_NAME: Nama instance Looker baru yang akan Anda migrasikan

Variabel lingkungan: Kunci enkripsi

Perintah berikut akan menginstal kunci GPG publik di instance Anda. Konfigurasikan di terminal tempat Anda akan menjalankan perintah pencadangan instance (Looker akan memberi Anda nilai untuk variabel ini):

base64_encryption_key="BASE64_ENCRYPTION_KEY"

Ganti kode berikut:

BASE64_ENCRYPTION_KEY: Kunci enkripsi yang digunakan skrip pencadangan untuk mengenkripsi cadangan Anda. Tim Looker akan memberikan nilai untuk variabel ini.

Membuat kunci enkripsi publik

Perintah berikut akan menginstal kunci pgp publik di instance Anda. Skrip pencadangan menggunakan kunci ini untuk mengenkripsi cadangan Anda. Konfigurasikan di terminal tempat Anda akan menjalankan perintah untuk mencadangkan instance.

echo -n "${base64_encryption_key}" | base64 -d | gpg --import

Mencadangkan data instance Anda

Jalankan perintah berikut untuk mengemas komponen penting sistem file dan skema database instance Anda secara aman sehingga dapat ditransfer dan dipulihkan ke instance Looker (asli) yang dihosting Looker yang baru. Skrip akan melakukan pencadangan, menggunakan md5sum untuk memverifikasi dan memvalidasi integritas cadangan. Terakhir, alat ini mengenkripsi cadangan menggunakan GnuPG sebelum mengekspor hasilnya dalam format file MD5.

Mencadangkan data sistem file instance Anda

Jalankan perintah ini dari direktori tempat Anda ingin mengekspor data cadangan dan di terminal yang sama tempat Anda menetapkan variabel lingkungan. Pilih tab untuk jenis instance yang dihosting Looker yang ingin Anda migrasikan.

Looker (asli)

Jalankan perintah ini untuk memastikan bahwa hook sisi server Git kustom yang digunakan untuk validasi data atau otomatisasi alur kerja disertakan dalam cadangan:

cd "${BACKUP_DIRECTORY}"

function findHookPath() {
rootPath=$1

find \
    ${rootPath}/models{-user-*,}/*/.git/config \
    -maxdepth 0 \
    -type f \
    -xtype f \
  | xargs -I {} grep hooksPath {} \
  | sort \
  | uniq \
  | sed -r -e 's/^.+hooksPath = //g' \
  | xargs -I {} dirname {} \
  | sort \
  | uniq \
  | sed -r -e "s#\.\.\/\.\.\/#${rootPath}/#g"

}

hooksPath=$(findHookPath "${ROOT_LOOKER_FS_DIRECTORY}" | sort | uniq | head -1)

Jalankan perintah ini untuk mencantumkan semua direktori yang diperlukan dan mencadangkannya:

time find "${ROOT_LOOKER_FS_DIRECTORY}" \
  -maxdepth 1 \
  -type d \
  \( \
         -name marketplace \
      -o -name bare_models \
      -o -name deploy_keys \
      -o -name models \
      -o -name remote_dependencies \
      -o -name models-self-service \
      -o -name "models-user-*" \
      -o -wholename "${hooksPath}" \
  \) | tar \
  --gzip \
  --create \
  --file="${customer}_looker_fs_backup.tar.gz" \
  --files-from=-

Jalankan perintah ini untuk mengambil "sidik jari" cadangan sebelum dienkripsi:

time md5sum "${customer}_looker_fs_backup.tar.gz" > "${customer}_fs_backup.md5"

Jalankan perintah ini untuk mengenkripsi cadangan:

time gpg --encrypt --yes \
  --output "${customer}_looker_fs_backup.tar.gz.enc" \
  --recipient "looker-devops+migration-${luid}@google.com" \
  "${customer}_looker_fs_backup.tar.gz"

Jalankan perintah ini untuk mengambil "sidik jari" lain setelah enkripsi:

time md5sum "${customer}_looker_fs_backup.tar.gz.enc" >> "${customer}_fs_backup.md5"

Checksum membantu Looker memverifikasi integritas pencadangan data Anda.

Looker (Google Cloud core)

Jalankan perintah ini untuk memastikan bahwa hook sisi server Git kustom yang digunakan untuk validasi data atau otomatisasi alur kerja disertakan dalam cadangan:

cd "${BACKUP_DIRECTORY}"

function findHookPath() {
rootPath=$1

find \
    ${rootPath}/models{-user-*,}/*/.git/config \
    -maxdepth 0 \
    -type f \
    -xtype f \
  | xargs -I {} grep hooksPath {} \
  | sort \
  | uniq \
  | sed -r -e 's/^.+hooksPath = //g' \
  | xargs -I {} dirname {} \
  | sort \
  | uniq \
  | sed -r -e "s#\.\.\/\.\.\/#${rootPath}/#g"

}

hooksPath=$(findHookPath "${ROOT_LOOKER_FS_DIRECTORY}" | sort | uniq | head -1)

Jalankan perintah ini untuk mencantumkan semua direktori yang diperlukan dan mencadangkannya:

time find "${ROOT_LOOKER_FS_DIRECTORY}" \
  -maxdepth 1 \
  -type d \
  \( \
         -name marketplace \
      -o -name bare_models \
      -o -name deploy_keys \
      -o -name models \
      -o -name remote_dependencies \
      -o -name models-self-service \
      -o -name "models-user-looker" \
      -o -wholename "${hooksPath}" \
  \) | tar \
  --gzip \
  --create \
  --file="${customer}_looker_fs_backup.tar.gz" \
  --files-from=-

Jalankan perintah ini untuk mengambil "sidik jari" cadangan sebelum dienkripsi:

time md5sum "${customer}_looker_fs_backup.tar.gz" > "${customer}_fs_backup.md5"

Jalankan perintah ini untuk mengenkripsi cadangan:

time gpg --encrypt --yes \
  --output "${customer}_looker_fs_backup.tar.gz.enc" \
  --recipient "looker-devops+migration-${luid}@google.com" \
  "${customer}_looker_fs_backup.tar.gz"

Jalankan perintah ini untuk mengambil "sidik jari" lain setelah enkripsi:

time md5sum "${customer}_looker_fs_backup.tar.gz.enc" >> "${customer}_fs_backup.md5"

Checksum membantu Looker memverifikasi integritas pencadangan data Anda.

Skrip ini menghasilkan file berikut untuk bagian sistem file dari migrasi:

${customer}_looker_fs_backup.tar.gz.enc: Cadangan sistem file terkompresi dan terenkripsi.
${customer}_fs_backup.md5: File yang berisi checksum untuk verifikasi.

Mencadangkan skema database instance Anda

Perintah ini menyiapkan lingkungan Anda untuk mencadangkan skema database instance Looker dengan membuat file konfigurasi sementara yang memungkinkan alat migrasi terhubung ke database internal instance Looker Anda. Daripada meneruskan data sensitif seperti nama pengguna dan nama host langsung ke perintah, skrip ini menuliskannya ke file konfigurasi, yang dapat dibaca oleh alat seperti mysqldump dan mysql.

Jalankan perintah berikut untuk membuat file konfigurasi sementara dan menetapkan berbagai setelan:

export database_name="DATABASE_SCHEMA_NAME"
temporary_cnf_file="$(mktemp --tmpdir=. --suffix .cnf)"
echo "[client]
host=DATABASE_HOST
port=DATABASE_PORT
user=DATABASE_USER
password=PASSWORD

[mariadb-dump]
no-sandbox

[mysql]
no-auto-rehash

[mysqldump]
no-tablespaces
loose_set-gtid-purged=OFF
single-transaction
quick
max_allowed_packet=1G
ignore-table=${database_name}.LookerQ_LookerBQ_ACTIVEMQ_ACKS
ignore-table=${database_name}.LookerQ_LookerBQ_ACTIVEMQ_LOCK
ignore-table=${database_name}.LookerQ_LookerBQ_ACTIVEMQ_MSGS

[Server-specific settings - mostly for mysqld/mariadbd processes]
max_allowed_packet = 1024M
" > ${temporary_cnf_file}

Ganti kode berikut:

DATABASE_HOST: DNS atau IP database Looker.
DATABASE_PORT: Port database.
DATABASE_USER: Nama pengguna database untuk menjalankan ekspor.
PASSWORD: Nilai teks biasa untuk sandi pengguna yang akan menjalankan ekspor. Looker tidak akan memeriksa sandi ini. Namun, jika Anda lebih memilih untuk menghilangkan persyaratan sandi teks biasa, Anda dapat membiarkan variabel ini kosong, dan sistem akan memaksa Anda untuk memasukkan sandi saat Anda menjalankan perintah pencadangan.
DATABASE_SCHEMA_NAME: Nama database atau skema Anda.

Jika database Anda memerlukan sertifikat SSL untuk koneksi, tambahkan jalur berikut ke file konfigurasi sementara:

Tetapkan jalur ke file Certificate Authority (CA):

ssl-ca=/etc/mysql/certs/ca.pem

Tetapkan jalur ke sertifikat SSL klien:

ssl-cert=/etc/mysql/certs/client-cert.pem

Tetapkan jalur ke kunci pribadi SSL klien:

ssl-key=/etc/mysql/certs/client-key.pem

Untuk database MySQL, memerlukan SSL dan memverifikasi sertifikat server:

loose-ssl-mode=VERIFY_CA

Untuk database MariaDB, memerlukan SSL dan memverifikasi sertifikat server:

loose-ssl-verify-server-cert=ON

Jalankan perintah berikut untuk melakukan, mengenkripsi, dan memverifikasi pencadangan skema database Anda.

Buka direktori tempat Anda ingin menyimpan cadangan:

cd "${BACKUP_DIRECTORY}"

Jalankan perintah ini untuk mencadangkan database Anda:

time mysqldump \
    --defaults-file="${temporary_cnf_file}" \
    "${database_name}" \
  | gzip > "${customer}_looker_db_backup.sql.gz"

Jalankan perintah ini untuk mengambil "sidik jari" cadangan Anda sebelum dienkripsi:

time md5sum "${customer}_looker_db_backup.sql.gz" >> "${customer}_db_backup.md5"

Jalankan perintah ini untuk mengenkripsi cadangan Anda:

time gpg --encrypt --yes \
    --output "${customer}_looker_db_backup.sql.gz.enc" \
    --recipient "looker-devops+migration-${luid}@google.com" \
    "${customer}_looker_db_backup.sql.gz"

Jalankan perintah ini untuk mengambil "sidik jari" lain setelah enkripsi:

time md5sum "${customer}_looker_db_backup.sql.gz.enc" >> "${customer}_db_backup.md5"

Skrip ini menghasilkan file berikut untuk bagian skema database dari migrasi:

${customer}_looker_db_backup.sql.gz.enc: Cadangan skema database terenkripsi dan terkompresi.
${customer}_db_backup.md5: File yang berisi checksum untuk verifikasi.

Enkripsi kunci enkripsi yang dikelola pelanggan (CMK) Anda

Perintah berikut akan memvalidasi, memformat, dan mengenkripsi CMK. Tanpa enkripsi ini, database yang dimigrasikan tidak dapat didekripsi di lingkungan Looker yang baru.

Perhatian: Perintah CMK berikutnya hanya perlu dijalankan satu kali di komputer yang menghosting database internal Anda atau komputer yang menghosting instance Looker, tetapi tidak di keduanya.

Pertama, tetapkan variabel dengan CMK Anda saat ini, yang harus dalam format base64:

CMK="CUSTOMER_CMK_KEY"

Ganti kode berikut:

CUSTOMER_CMK_KEY: Nilai CMK Anda

Kemudian, jalankan perintah berikut untuk membuat file kunci CMK, membuat checksum CMK yang didekripsi, mengenkripsi file CMK, dan membuat checksum CMK yang dienkripsi:

echo -n "${CMK}" > "${customer}_looker_cmk_key"

time md5sum "${customer}_looker_cmk_key" >> "${customer}_cmk_key.md5"

time gpg --encrypt --yes \
  --output "${customer}_looker_cmk_key.enc" \
  --recipient "looker-devops+migration-${luid}@google.com" \
  "${customer}_looker_cmk_key"

time md5sum "${customer}_looker_cmk_key.enc" >> "${customer}_cmk_key.md5"

Skrip ini menghasilkan file berikut untuk bagian CMK migrasi:

${customer}_looker_cmk_key.enc: File CMK terenkripsi
${BACKUP_DIRECTORY}/${customer}_cmk_key.md5: File yang berisi checksum untuk verifikasi

Menyiapkan file migrasi

Skrip yang telah Anda jalankan hingga saat ini telah menghasilkan file berikut:

compute_usage_info.csv: File CSV yang berisi informasi tentang penggunaan komputasi instance Anda
fs_perf_info.csv: File CSV yang berisi informasi tentang performa sistem file instance Anda
${customer}_looker_fs_backup.tar.gz.enc: Cadangan sistem file terkompresi dan terenkripsi
${customer}_fs_backup.md5: File yang berisi checksum untuk verifikasi
${customer}_looker_db_backup.sql.gz.enc: Cadangan skema database terenkripsi dan terkompresi
${customer}_db_backup.md5: File yang berisi checksum untuk verifikasi
${customer}_cmk_key.md5: File yang berisi checksum untuk verifikasi
${customer}_looker_cmk_key.enc: File CMK terenkripsi

Untuk menggabungkan file MD5 menjadi satu file bernama ${customer}_backup.md5, jalankan perintah berikut di direktori cadangan Anda:

cat \
    "${customer}_db_backup.md5" \
    "${customer}_fs_backup.md5" \
    "${customer}_cmk_key.md5" \
  | sort | uniq \
  > "${customer}_backup.md5"

Memvalidasi artefak cadangan Anda

Untuk memastikan file cadangan Anda lengkap, aman, dan siap untuk migrasi, gunakan alat Looker On-Prem Data Verifier. Alat ini melakukan validasi yang komprehensif, termasuk memeriksa checksum MD5, kunci enkripsi GPG, struktur database, dan validitas CMK.

Instal alat validasi

Untuk menjalankan alat validasi, Anda harus menginstal Go dan GnuPG di perangkat Anda.

Untuk meng-clone repositori dan membangun alat, jalankan perintah berikut:

git clone https://github.com/looker-open-source/customer-scripts.git
cd customer-scripts/onprem-data-verifier
go build -o onprem-verifier main.go

Menjalankan alat validasi

Alat ini beroperasi pada direktori yang berisi file cadangan Anda. Pastikan semua file yang diperlukan (empat artefak terenkripsi dan tiga artefak yang didekripsi) ada di ${BACKUP_DIRECTORY} Anda sebelum menjalankan alat.

Jalankan perintah berikut untuk memvalidasi artefak Anda:

./onprem-verifier \
  --backupDir "${BACKUP_DIRECTORY}" \
  --customerName "${customer}" \
  --luid "${luid}"

Setelah berhasil, alat akan membuat file metadata.json. Anda harus menyertakan file ini saat menyerahkan artefak cadangan Anda kepada tim Looker.

Menyerahkan file Anda

Di akhir proses pencadangan dan enkripsi, Anda akan memiliki file berikut:

${customer}_looker_db_backup.sql.gz.enc
${customer}_looker_fs_backup.tar.gz.enc
${customer}_looker_cmk_key.enc
${customer}_backup.md5
metadata.json
compute_usage_info.csv
fs_perf_info.csv

Kirimkan file ini ke tim Looker Anda untuk diimpor ke instance yang dihosting Looker.

Mengekspor data dari instance Looker yang dihosting pelanggan Tetap teratur dengan koleksi Simpan dan kategorikan konten berdasarkan preferensi Anda.

Sebelum memulai

Konfigurasi yang diperlukan

Mengevaluasi instance Anda untuk migrasi

Menginstal alat evaluasi

Buat clone repositori Evaluasi Migrasi O2C Looker

Membuat kredensial API

Buat informasi penggunaan komputasi

Membuat informasi performa sistem file

Menyiapkan instance untuk pencadangan

Menginstal dan memverifikasi dependensi

Menentukan variabel

Variabel lingkungan: Menetapkan jalur direktori cadangan

Variabel lingkungan: Menetapkan jalur sumber untuk pencadangan sistem file

Variabel lingkungan: Menentukan instance Looker baru

Variabel lingkungan: Kunci enkripsi

Membuat kunci enkripsi publik

Mencadangkan data instance Anda

Mencadangkan data sistem file instance Anda

Looker (asli)

Looker (Google Cloud core)

Mencadangkan skema database instance Anda

Enkripsi kunci enkripsi yang dikelola pelanggan (CMK) Anda

Menyiapkan file migrasi

Memvalidasi artefak cadangan Anda

Instal alat validasi

Menjalankan alat validasi

Menyerahkan file Anda

Mengekspor data dari instance Looker yang dihosting pelanggan