Mengekspor data dari instance Looker yang dihosting pelanggan

Admin instance Looker yang dihosting pelanggan dapat mempertimbangkan untuk bermigrasi ke lingkungan yang dihosting Looker, terutama untuk menukar overhead administrasi infrastruktur dengan peningkatan kemudahan, ketersediaan fitur yang ditingkatkan, dan keandalan yang dikelola. Menggunakan instance yang dihosting Looker akan sangat mengurangi upaya yang diperlukan untuk menginstal, mengonfigurasi, dan memelihara aplikasi Looker, karena semua fungsi IT yang diperlukan dan terkait dengan aplikasi Looker akan ditangani untuk Anda.

Migrasi instance yang dihosting pelanggan ke lingkungan yang dihosting Looker melibatkan langkah-langkah utama berikut:

1. Penerimaan dan penyiapan: Anda membuka tiket dengan tim Looker dan mengisi kuesioner Migrasi Lokal Looker. Tim Looker membuat instance baru yang dihosting berdasarkan jawaban Anda atas kuesioner tersebut.
2. Enkripsi: SRE Looker membuat pasangan kunci GnuPG (GPG) dan membagikan kunci publik kepada Anda.
3. Ekspor: Anda menghentikan instance Looker dan mengekspor datanya (database, sistem file, dan kunci yang dikelola pelanggan (CMK)).
4. Transit dan impor data: Tim Looker mengimpor cadangan ke instance yang dihosting Looker dan memverifikasinya.

Halaman ini menjelaskan cara melakukan tugas yang diperlukan untuk Langkah 3: Ekspor:

• Mengevaluasi performa dan ukuran sistem file dan database instance Anda
• Mencadangkan, mengenkripsi, dan membuat checksum data yang akan dikirim dari sistem file Looker
• Mencadangkan, mengenkripsi, dan membuat checksum data yang akan dikirim dari skema database Looker
• Membuat, mengenkripsi, dan membuat checksum file kunci CMK
• Memvalidasi artefak cadangan Anda
• Menyerahkan file cadangan Anda untuk migrasi

Catatan: Anda mungkin perlu mengubah skrip di halaman ini untuk lingkungan Anda.

Sebelum memulai

Sebelum dapat menggunakan skrip di halaman ini untuk mencadangkan data instance, Anda harus memastikan bahwa instance, database, dan konfigurasi enkripsi Looker Anda memenuhi persyaratan migrasi.

Konfigurasi yang diperlukan

Versi Looker dan database berikut diperlukan untuk menjalankan skrip yang dijelaskan di halaman ini:

• Instance Looker Anda harus menjalankan versi rilis Looker yang didukung.
• Instance Anda harus menggunakan database yang kompatibel dengan MySQL versi 8.0.0 atau yang lebih baru, sehingga file skema database yang diekspor dapat digunakan oleh Looker.

Jika Anda menggunakan AWS KMS, migrasikan ke enkripsi AES-256 GCM Looker dengan mengikuti langkah-langkah yang dijelaskan di halaman dokumentasi Mengubah kunci enkripsi Looker.

Untuk memastikan penyimpanan data dan tampilan karakter yang tepat, kolasi database Anda harus ditetapkan ke utf8mb4 (direkomendasikan) atau utf8. Menggunakan kolasi lain dapat menyebabkan kerusakan data atau error saat menyimpan karakter khusus.

Mengevaluasi instance Anda untuk migrasi

Untuk menentukan apakah instance Looker yang dihosting pelanggan dapat dimigrasikan ke instance Looker (asli) yang dihosting Looker, Anda harus mengevaluasi ukuran dan performa database dan sistem file instance Anda. Evaluasi ini juga menilai apakah lingkungan sumber Anda dapat menangani ekstraksi data yang terjadi selama proses pembuatan cadangan. Informasi ini membantu tim Looker mengalokasikan resource yang cukup untuk instance yang dihosting Looker target.

Untuk melakukan evaluasi, Anda harus meng-clone repositori GitHub yang berisi skrip Looker untuk mengevaluasi penggunaan komputasi dan performa sistem file instance Looker. Skrip ini mengandalkan Go Looker SDK dan tersedia di repositori Evaluasi Migrasi Looker O2C di GitHub.

Bagian berikut akan menjelaskan langkah-langkah yang perlu Anda selesaikan untuk menjalankan skrip yang mengevaluasi instance Anda, yang mencakup tugas-tugas berikut:

1. Meng-clone repositori yang berisi skrip.
2. Membuat kredensial API.
3. Menjalankan perintah untuk memeriksa penggunaan komputasi.
4. Menjalankan perintah untuk memeriksa performa sistem file.

Menginstal alat evaluasi

Instal alat, bahasa, dan SDK berikut di komputer tempat Anda akan mencadangkan data instance Looker:

1. Git
2. Bahasa pemrograman Go
3. Go Looker SDK

Meng-clone repositori Evaluasi Migrasi Looker O2C

Untuk meng-clone repositori yang berisi skrip evaluasi, jalankan perintah berikut dari direktori beranda pengguna yang akan menjalankan analisis dan pencadangan:

git clone https://github.com/looker-open-source/looker-o2c-migration-tool.git

Membuat kredensial API

Skrip evaluasi menggunakan Looker SDK untuk mengambil data, yang bertindak sebagai klien API yang mengirim permintaan melalui jaringan ke server Looker Anda. Pengguna admin yang menjalankan skrip harus memiliki client ID dan rahasia klien Looker API. Untuk membuat kredensial API untuk akun admin Looker Anda, ikuti langkah-langkah berikut:

1. Buka halaman Users di panel Admin.
2. Pilih Edit untuk akun Anda.
3. Di halaman detail akun, temukan bagian API3 Keys dan pilih Edit Keys.
4. Pilih New API Key.
5. Looker akan menampilkan Client ID dan Client Secret. Salin nilai ini dan simpan di lokasi yang aman.

Membuat informasi penggunaan komputasi

Untuk menggunakan skrip evaluasi migrasi guna menampilkan informasi tentang penggunaan komputasi instance Anda, jalankan perintah berikut di komputer yang memiliki koneksi jaringan langsung ke endpoint API aplikasi Looker:

cd looker-o2c-migration-tool
go run main.go --client-id API_CLIENT_ID --client-secret API_CLIENT_SECRET --looker-instance-address LOOKER_INSTANCE_ADDRESS --output-csv-path OUTPUT_CSV_PATH --ssl=SSL

Ganti kode berikut:

• API_CLIENT_ID: Client ID Anda dari langkah sebelumnya.
• API_CLIENT_SECRET: Rahasia klien Anda dari langkah sebelumnya.
• LOOKER_INSTANCE_ADDRESS: Alamat instance Looker Anda, termasuk protokol.
• OUTPUT_CSV_PATH: Jalur untuk output CSV, seperti /content/compute_usage_info.csv.
• SSL: Apakah koneksi antara komputer Anda dan instance Looker harus menggunakan sertifikat SSL. Nilainya adalah true secara default.

Perintah ini akan menghasilkan file CSV dengan detail penggunaan instance Looker.

Membuat informasi performa sistem file

Skrip ini menampilkan ukuran dan jumlah file dari setiap direktori terkait model, beserta pengujian kecepatan tulis disk. Skrip ini mengasumsikan bahwa Looker diinstal di direktori beranda pengguna dengan nama pengguna looker, seperti yang dijelaskan di halaman dokumentasi Menginstal aplikasi Looker.

Untuk menggunakan skrip evaluasi migrasi guna menampilkan informasi tentang performa sistem file instance Anda, jalankan perintah berikut di komputer tempat instance Looker Anda dihosting:

cd looker-o2c-migration-tool
go run main.go --file-system-evaluation --output-csv-path OUTPUT_CSV_PATH

Ganti kode berikut:

• OUTPUT_CSV_PATH: Jalur untuk output CSV, seperti /content/fs_perf_info.csv

Perintah ini akan menghasilkan file CSV dengan performa sistem file instance Looker.

Menyiapkan instance Anda untuk pencadangan

Siapkan pencadangan data instance Anda dengan menginstal paket dan dependensi yang diperlukan untuk menjalankan skrip yang dijelaskan di halaman ini. Anda juga dapat menetapkan beberapa variabel lingkungan untuk menyederhanakan penulisan perintah.

Menginstal dan memverifikasi dependensi

Saat menginstal dependensi yang diperlukan untuk mencadangkan data instance Looker Anda, gunakan pengelola paket yang standar untuk distribusi Linux Anda. Versi berikut sesuai dengan paket yang disediakan di Debian 12 (Bookworm) dan mewakili versi minimum setiap paket yang diperlukan.

Instal paket berikut di komputer tempat Anda akan mencadangkan data instance Looker:

1. bash 5.2.15

2. gpg 2.2.40 (GnuPG) – Proses pembuatan cadangan menggunakan gpg untuk mengenkripsi cadangan database dan sistem file sebelum dibagikan kepada tim Looker.

3. libgcrypt 1.10.2

4. Gpg-agent 2.2.40 (GnuPG)

5. GNU tar 1.34

6. gzip 1.12

7. md5sum 9.1 (GNU coreutils)

8. GNU grep 3.11 (dengan dukungan untuk PCRE2 10.42 2022-12-11 atau yang lebih baru)

9. GNU sed 4.9

10. mariadb-client-core (harus terhubung ke MySQL 8.X Anda)

Sebagai contoh, jalankan perintah berikut untuk menginstal paket yang diperlukan pada sistem Linux berbasis Debian:

sudo apt-get update
sudo apt-get install -y \
    bash \
    gnupg \
    libgcrypt20 \
    gnupg-agent \
    tar \
    gzip \
    coreutils \
    grep \
    sed \
    mariadb-client-core

Menentukan variabel

Perintah berikut menentukan beberapa variabel yang akan digunakan selama proses pembuatan cadangan. Konfigurasikan variabel tersebut di terminal mana pun tempat Anda berencana menjalankan perintah lebih lanjut.

Variabel lingkungan: Menetapkan jalur direktori cadangan

Perintah berikut akan menetapkan jalur untuk direktori cadangan tempat file akan dibuat. Jalankan perintah ini di terminal mana pun tempat Anda berencana melakukan tugas pembuatan cadangan khusus direktori:

BACKUP_DIRECTORY="DIRECTORY_PATH"
BACKUP_DIRECTORY="${BACKUP_DIRECTORY%/}"

Ganti kode berikut:

• DIRECTORY_PATH: Jalur tempat file cadangan akan dibuat. Pastikan direktori ini cukup besar untuk menyimpan cadangan. Jangan sertakan / di awal jalur.

Peringatan: Jangan tetapkan jalur direktori cadangan sebagai direktori root.

Variabel lingkungan: Menetapkan jalur sumber untuk pencadangan sistem file

Definisi variabel untuk jalur sumber pencadangan sistem file mengasumsikan bahwa looker adalah nama pengguna untuk pengguna yang menginstal aplikasi Looker dan bahwa penginstalan dilakukan di direktori beranda pengguna, seperti yang dijelaskan di halaman dokumentasi Menginstal aplikasi Looker. Anda harus mengubah variabel jika menginstal Looker di direktori yang berbeda. Tetapkan variabel ini di terminal tempat Anda akan menjalankan pencadangan sistem file Looker:

  LOOKER_USER="looker"
  ROOT_LOOKER_FS_DIRECTORY="$(getent passwd "$LOOKER_USER" | cut -d: -f 6)"

Variabel lingkungan: Menentukan instance Looker baru

Tentukan variabel untuk mewakili nama dan ID unik instance yang akan Anda impor. Tim Looker akan memberi Anda nilai untuk variabel ini.

export luid='LOOKER_HOSTED_INSTANCE_ID'
export customer='LOOKER_HOSTED_INSTANCE_NAME'

Ganti kode berikut:

• LOOKER_HOSTED_INSTANCE_ID: ID unik instance Looker yang akan Anda migrasikan
• LOOKER_HOSTED_INSTANCE_NAME: Nama instance Looker baru yang akan Anda migrasikan

Variabel lingkungan: Kunci enkripsi

Perintah berikut akan menginstal kunci GPG publik di instance Anda. Konfigurasikan kunci tersebut di terminal mana pun tempat Anda akan menjalankan perintah pencadangan instance (Looker akan memberi Anda nilai untuk variabel ini):

base64_encryption_key="BASE64_ENCRYPTION_KEY"

Ganti kode berikut:

• BASE64_ENCRYPTION_KEY: Kunci enkripsi yang digunakan skrip cadangan untuk mengenkripsi cadangan Anda. Tim Looker akan memberi Anda nilai untuk variabel ini.

Membuat kunci enkripsi publik

Perintah berikut akan menginstal kunci pgp publik di instance Anda. Skrip cadangan menggunakan kunci ini untuk mengenkripsi cadangan Anda. Konfigurasikan kunci tersebut di terminal mana pun tempat Anda akan menjalankan perintah untuk mencadangkan instance Anda.

echo -n "${base64_encryption_key}" | base64 -d | gpg --import

Mencadangkan data instance Anda

Jalankan perintah berikut untuk mengemas komponen penting dari sistem file dan skema database instance Anda secara aman sehingga dapat ditransfer dan dipulihkan ke instance Looker (asli) yang dihosting Looker baru. Skrip akan melakukan pencadangan, menggunakan md5sum untuk memverifikasi dan memvalidasi integritas cadangan. Terakhir, skrip akan mengenkripsi cadangan menggunakan GnuPG sebelum mengekspor hasilnya dalam format file MD5.

Mencadangkan data sistem file instance Anda

Jalankan perintah ini dari direktori tempat Anda ingin mengekspor data cadangan dan di terminal yang sama tempat Anda menetapkan variabel lingkungan. Pilih tab untuk jenis instance yang dihosting Looker yang akan Anda migrasikan.

Looker (asli)

Jalankan perintah ini untuk memastikan bahwa semua hook sisi server Git kustom yang digunakan untuk validasi data atau otomatisasi alur kerja disertakan dalam cadangan:

cd "${BACKUP_DIRECTORY}"

function findHookPath() {
rootPath=$1

find \
    ${rootPath}/models{-user-*,}/*/.git/config \
    -maxdepth 0 \
    -type f \
    -xtype f \
  | xargs -I {} grep hooksPath {} \
  | sort \
  | uniq \
  | sed -r -e 's/^.+hooksPath = //g' \
  | xargs -I {} dirname {} \
  | sort \
  | uniq \
  | sed -r -e "s#\.\.\/\.\.\/#${rootPath}/#g"

}

hooksPath=$(findHookPath "${ROOT_LOOKER_FS_DIRECTORY}" | sort | uniq | head -1)

Jalankan perintah ini untuk mencantumkan semua direktori yang diperlukan dan mencadangkannya:

time find "${ROOT_LOOKER_FS_DIRECTORY}" \
  -maxdepth 1 \
  -type d \
  \( \
         -name marketplace \
      -o -name bare_models \
      -o -name deploy_keys \
      -o -name models \
      -o -name remote_dependencies \
      -o -name models-self-service \
      -o -name "models-user-*" \
      -o -wholename "${hooksPath}" \
  \) | tar \
  --gzip \
  --create \
  --file="${customer}_looker_fs_backup.tar.gz" \
  --files-from=-

Jalankan perintah ini untuk mengambil "sidik jari" cadangan sebelum enkripsi:

time md5sum "${customer}_looker_fs_backup.tar.gz" > "${customer}_fs_backup.md5"

Jalankan perintah ini untuk mengenkripsi cadangan:

time gpg --encrypt --yes \
  --output "${customer}_looker_fs_backup.tar.gz.enc" \
  --recipient "looker-devops+migration-${luid}@google.com" \
  "${customer}_looker_fs_backup.tar.gz"

Jalankan perintah ini untuk mengambil "sidik jari" lain setelah enkripsi:

time md5sum "${customer}_looker_fs_backup.tar.gz.enc" >> "${customer}_fs_backup.md5"

Checksum membantu Looker memverifikasi integritas cadangan data Anda.

Looker (Google Cloud core)

Jalankan perintah ini untuk memastikan bahwa semua hook sisi server Git kustom yang digunakan untuk validasi data atau otomatisasi alur kerja disertakan dalam cadangan:

cd "${BACKUP_DIRECTORY}"

function findHookPath() {
rootPath=$1

find \
    ${rootPath}/models{-user-*,}/*/.git/config \
    -maxdepth 0 \
    -type f \
    -xtype f \
  | xargs -I {} grep hooksPath {} \
  | sort \
  | uniq \
  | sed -r -e 's/^.+hooksPath = //g' \
  | xargs -I {} dirname {} \
  | sort \
  | uniq \
  | sed -r -e "s#\.\.\/\.\.\/#${rootPath}/#g"

}

hooksPath=$(findHookPath "${ROOT_LOOKER_FS_DIRECTORY}" | sort | uniq | head -1)

Jalankan perintah ini untuk mencantumkan semua direktori yang diperlukan dan mencadangkannya:

time find "${ROOT_LOOKER_FS_DIRECTORY}" \
  -maxdepth 1 \
  -type d \
  \( \
         -name marketplace \
      -o -name bare_models \
      -o -name deploy_keys \
      -o -name models \
      -o -name remote_dependencies \
      -o -name models-self-service \
      -o -name "models-user-looker" \
      -o -wholename "${hooksPath}" \
  \) | tar \
  --gzip \
  --create \
  --file="${customer}_looker_fs_backup.tar.gz" \
  --files-from=-

Jalankan perintah ini untuk mengambil "sidik jari" cadangan sebelum enkripsi:

time md5sum "${customer}_looker_fs_backup.tar.gz" > "${customer}_fs_backup.md5"

Jalankan perintah ini untuk mengenkripsi cadangan:

time gpg --encrypt --yes \
  --output "${customer}_looker_fs_backup.tar.gz.enc" \
  --recipient "looker-devops+migration-${luid}@google.com" \
  "${customer}_looker_fs_backup.tar.gz"

Jalankan perintah ini untuk mengambil "sidik jari" lain setelah enkripsi:

time md5sum "${customer}_looker_fs_backup.tar.gz.enc" >> "${customer}_fs_backup.md5"

Checksum membantu Looker memverifikasi integritas cadangan data Anda.

Skrip ini menghasilkan file berikut untuk bagian sistem file migrasi:

1. ${customer}_looker_fs_backup.tar.gz.enc: Cadangan sistem file terenkripsi dan terkompresi.
2. ${customer}_fs_backup.md5: File yang berisi checksum untuk verifikasi.

Mencadangkan skema database instance Anda

Catatan: Jalankan perintah ini di terminal yang sama tempat Anda menetapkan variabel lingkungan.

Perintah ini menyiapkan lingkungan Anda untuk mencadangkan skema database instance Looker dengan membuat file konfigurasi sementara yang memungkinkan alat migrasi terhubung ke database internal instance Looker Anda. Daripada meneruskan data sensitif seperti nama pengguna dan nama host ke dalam perintah secara langsung, skrip ini menuliskannya ke dalam file konfigurasi, yang dapat dibaca oleh alat seperti mysqldump dan mysql.

Jalankan perintah berikut untuk membuat file konfigurasi sementara dan menetapkan berbagai setelan:

export database_name="DATABASE_SCHEMA_NAME"
temporary_cnf_file="$(mktemp --tmpdir=. --suffix .cnf)"
echo "[client]
host=DATABASE_HOST
port=DATABASE_PORT
user=DATABASE_USER
password=PASSWORD

[mariadb-dump]
no-sandbox

[mysql]
no-auto-rehash

[mysqldump]
no-tablespaces
loose_set-gtid-purged=OFF
single-transaction
quick
max_allowed_packet=1G
ignore-table=${database_name}.LookerQ_LookerBQ_ACTIVEMQ_ACKS
ignore-table=${database_name}.LookerQ_LookerBQ_ACTIVEMQ_LOCK
ignore-table=${database_name}.LookerQ_LookerBQ_ACTIVEMQ_MSGS

[Server-specific settings - mostly for mysqld/mariadbd processes]
max_allowed_packet = 1024M
" > ${temporary_cnf_file}

Ganti kode berikut:

• DATABASE_HOST: DNS atau IP database Looker.
• DATABASE_PORT: Port database.
• DATABASE_USER: Nama pengguna database untuk menjalankan ekspor.
• PASSWORD: Nilai teks yang tidak dienkripsi untuk sandi pengguna yang akan menjalankan ekspor. Looker tidak akan memeriksa sandi ini. Namun, jika Anda lebih suka menghilangkan persyaratan sandi teks yang tidak dienkripsi, Anda dapat mengosongkan variabel ini, dan sistem akan meminta sandi Anda secara paksa saat Anda menjalankan perintah pencadangan.
• DATABASE_SCHEMA_NAME: Nama database atau skema Anda.

Jika database Anda memerlukan sertifikat SSL untuk koneksi, tambahkan jalur berikut ke file konfigurasi sementara:

Tetapkan jalur ke file Certificate Authority (CA):

ssl-ca=/etc/mysql/certs/ca.pem

Tetapkan jalur ke sertifikat SSL klien:

ssl-cert=/etc/mysql/certs/client-cert.pem

Tetapkan jalur ke kunci pribadi SSL klien:

ssl-key=/etc/mysql/certs/client-key.pem

Untuk database MySQL, memerlukan SSL dan memverifikasi sertifikat server:

loose-ssl-mode=VERIFY_CA

Untuk database MariaDB, memerlukan SSL dan memverifikasi sertifikat server:

loose-ssl-verify-server-cert=ON

Jalankan perintah berikut untuk melakukan, mengenkripsi, dan memverifikasi pencadangan skema database Anda.

Peringatan: JANGAN tambahkan parameter berikut ke perintah pencadangan:

• --skip-lock-tables: Parameter ini dapat menghasilkan cadangan yang tidak konsisten.
• --skip-opt: Parameter ini menonaktifkan parameter --extended-insert, yang akan memperlambat proses pemulihan.
• --routines: Looker akan menolak cadangan Anda.
• --triggers: Looker akan menolak cadangan Anda.
• --set-gtid-purged=ON: Parameter ini akan mengganggu proses pemulihan.

Buka direktori tempat Anda ingin menyimpan cadangan:

cd "${BACKUP_DIRECTORY}"

Jalankan perintah ini untuk mencadangkan database Anda:

time mysqldump \
    --defaults-file="${temporary_cnf_file}" \
    "${database_name}" \
  | gzip > "${customer}_looker_db_backup.sql.gz"

Jalankan perintah ini untuk mengambil "sidik jari" cadangan Anda sebelum enkripsi:

time md5sum "${customer}_looker_db_backup.sql.gz" >> "${customer}_db_backup.md5"

Jalankan perintah ini untuk mengenkripsi cadangan Anda:

time gpg --encrypt --yes \
    --output "${customer}_looker_db_backup.sql.gz.enc" \
    --recipient "looker-devops+migration-${luid}@google.com" \
    "${customer}_looker_db_backup.sql.gz"

Jalankan perintah ini untuk mengambil "sidik jari" lain setelah enkripsi:

time md5sum "${customer}_looker_db_backup.sql.gz.enc" >> "${customer}_db_backup.md5"

Skrip ini menghasilkan file berikut untuk bagian skema database migrasi:

1. ${customer}_looker_db_backup.sql.gz.enc: Cadangan skema database terenkripsi dan terkompresi.
2. ${customer}_db_backup.md5: File yang berisi checksum untuk verifikasi.

Mengenkripsi kunci enkripsi yang dikelola pelanggan (CMK)

Perintah berikut akan memvalidasi, memformat, dan mengenkripsi CMK. Tanpa enkripsi ini, database yang dimigrasikan tidak dapat didekripsi di lingkungan Looker baru.

Perhatian: Perintah CMK berikutnya hanya perlu dijalankan satu kali di komputer yang menghosting database internal Anda atau komputer yang menghosting instance Looker, tetapi tidak di keduanya.

Pertama, tetapkan variabel dengan CMK Anda saat ini, yang harus dalam format base64:

CMK="CUSTOMER_CMK_KEY"

Ganti kode berikut:

• CUSTOMER_CMK_KEY: Nilai CMK Anda

Kemudian, jalankan perintah berikut untuk membuat file kunci CMK, membuat checksum CMK yang didekripsi, mengenkripsi file CMK, dan membuat checksum CMK yang dienkripsi:

echo -n "${CMK}" > "${customer}_looker_cmk_key"

time md5sum "${customer}_looker_cmk_key" >> "${customer}_cmk_key.md5"

time gpg --encrypt --yes \
  --output "${customer}_looker_cmk_key.enc" \
  --recipient "looker-devops+migration-${luid}@google.com" \
  "${customer}_looker_cmk_key"

time md5sum "${customer}_looker_cmk_key.enc" >> "${customer}_cmk_key.md5"

Skrip ini menghasilkan file berikut untuk bagian CMK migrasi:

• ${customer}_looker_cmk_key.enc: File CMK terenkripsi
• ${BACKUP_DIRECTORY}/${customer}_cmk_key.md5: File yang berisi checksum untuk verifikasi

Menyiapkan file migrasi Anda

Skrip yang telah Anda jalankan hingga saat ini telah menghasilkan file berikut:

• compute_usage_info.csv: File CSV yang berisi informasi tentang penggunaan komputasi instance Anda
• fs_perf_info.csv: File CSV yang berisi informasi tentang performa sistem file instance Anda
• ${customer}_looker_fs_backup.tar.gz.enc: Cadangan sistem file terenkripsi dan terkompresi
• ${customer}_fs_backup.md5: File yang berisi checksum untuk verifikasi
• ${customer}_looker_db_backup.sql.gz.enc: Cadangan skema database terenkripsi dan terkompresi
• ${customer}_db_backup.md5: File yang berisi checksum untuk verifikasi
• ${customer}_cmk_key.md5: File yang berisi checksum untuk verifikasi
• ${customer}_looker_cmk_key.enc: File CMK terenkripsi

Untuk menggabungkan file MD5 ke dalam satu file bernama ${customer}_backup.md5, jalankan perintah berikut di direktori cadangan Anda:

cat \
    "${customer}_db_backup.md5" \
    "${customer}_fs_backup.md5" \
    "${customer}_cmk_key.md5" \
  | sort | uniq \
  > "${customer}_backup.md5"

Memvalidasi artefak cadangan Anda

Untuk memastikan bahwa file cadangan Anda lengkap, aman, dan siap untuk migrasi, gunakan alat Looker On-Prem Data Verifier. Alat ini melakukan validasi komprehensif, termasuk memeriksa checksum MD5, kunci enkripsi GPG, struktur database, dan validitas CMK.

Menginstal alat validasi

Untuk menjalankan alat validasi, Anda harus menginstal Go dan GnuPG di komputer Anda.

Untuk meng-clone repositori dan membuat alat, jalankan perintah berikut:

git clone https://github.com/looker-open-source/customer-scripts.git
cd customer-scripts/onprem-data-verifier
go build -o onprem-verifier main.go

Menjalankan alat validasi

Alat ini beroperasi di direktori yang berisi file cadangan Anda. Pastikan semua file yang diperlukan (empat artefak terenkripsi dan tiga artefak yang didekripsi) ada di ${BACKUP_DIRECTORY} Anda sebelum menjalankan alat.

Jalankan perintah berikut untuk memvalidasi artefak Anda:

./onprem-verifier \
  --backupDir "${BACKUP_DIRECTORY}" \
  --customerName "${customer}" \
  --luid "${luid}"

Setelah berhasil, alat ini akan membuat file metadata.json. Anda harus menyertakan file ini saat menyerahkan artefak cadangan Anda kepada tim Looker.

Menyerahkan file Anda

Di akhir proses pencadangan dan enkripsi, Anda akan memiliki file berikut:

• ${customer}_looker_db_backup.sql.gz.enc
• ${customer}_looker_fs_backup.tar.gz.enc
• ${customer}_looker_cmk_key.enc
• ${customer}_backup.md5
• metadata.json
• compute_usage_info.csv
• fs_perf_info.csv

Kirimkan file ini ke tim Looker Anda untuk diimpor ke instance yang dihosting Looker.