Pengantar migrasi BigQuery

BigQuery Migration Service adalah solusi komprehensif untuk memigrasikan data warehouse Anda ke BigQuery. Solusi ini mencakup fitur yang membantu Anda di setiap fase migrasi, termasuk penilaian dan perencanaan, terjemahan SQL untuk berbagai dialek SQL, dan transfer data.

Anda dapat menemukan BigQuery Migration Service di konsol BigQuery saat Anda membuka Migration > Services.

Dengan BigQuery Migration Service, Anda dapat melakukan hal berikut:

  • Menilai: Rencanakan migrasi data warehouse Anda dengan menjalankan penilaian migrasi BigQuery.
  • Menerjemahkan SQL: Layanan terjemahan mengotomatiskan konversi kueri SQL Anda ke GoogleSQL, termasuk penyesuaian SQL yang ditingkatkan Gemini. Anda dapat menggunakan penerjemah SQL batch, penerjemah SQL interaktif, atau SQL Translation API untuk memigrasikan workload Anda ke BigQuery.
  • Mentransfer data: Siapkan transfer data yang memuat data dari sumber data Anda ke BigQuery. Untuk mengetahui informasi selengkapnya, lihat Apa yang dimaksud dengan BigQuery Data Transfer Service?.
  • Mendaftarkan atau memigrasikan open lakehouse: Migrasikan metadata dari katalog eksternal, seperti Apache Hive Metastore dan Apache Iceberg REST Catalogs, ke tabel katalog Lakehouse REST untuk Apache Iceberg.

Anda juga dapat menggunakan alat open source berikut untuk membantu proses migrasi Anda:

  • Alat migrasi data: Gunakan alat migrasi data untuk mengotomatiskan migrasi data warehouse Anda ke BigQuery. Alat ini menggunakan BigQuery Data Transfer Service, layanan terjemahan BigQuery, dan alat validasi data untuk mentransfer data, menerjemahkan, dan memvalidasi kueri DDL, DML, dan SQL.
  • Alat validasi data: Setelah memigrasikan data Anda ke BigQuery, jalankan alat validasi data untuk memvalidasi bahwa tabel sumber dan tujuan Anda cocok.
  • Pemeta izin BigQuery: Gunakan pemeta izin untuk mengotomatiskan pembuatan dan pemeliharaan peta izin yang dapat diubah pengguna. Anda dapat menggunakan pemeta izin untuk menganalisis dan menyelaraskan izin duplikat dan grup pengguna, sekaligus membuat laporan error. Alat ini menghasilkan skrip JSON dan Terraform untuk pembuatan grup, pengguna, dan binding BigQuery.
  • Template Managed Service untuk Apache Airflow: Gunakan template Managed Service untuk Apache Airflow guna menyederhanakan pembuatan DAG Airflow baru atau migrasi tugas teratur yang ada dari lokal ke cloud.
  • Cloud Foundation Fabric: Lihat contoh dan modul Terraform untuk Google Cloud, termasuk blueprint zona aktivasi di seluruh organisasi, blueprint referensi untuk pola jaringan dan fitur produk, serta library modul yang dapat disesuaikan.

Sumber migrasi

BigQuery Migration Service mendukung migrasi data warehouse berikut ke BigQuery:

Kuota

Kuota dan batas berlaku untuk jumlah tugas serta ukuran file. Untuk mengetahui informasi lebih lanjut tentang kuota dan batas layanan migrasi, lihat Kuota dan batas.

Harga

Penggunaan BigQuery Migration API tidak dikenai biaya. Namun, penyimpanan yang digunakan untuk file input dan output dikenakan biaya normal. Untuk mengetahui informasi selengkapnya, lihat Harga penyimpanan.

Selain itu, Anda dapat menggunakan fungsi estimasi biaya di Pusat Migrasi Google Cloud untuk membuat estimasi biaya dalam menjalankan penyiapan data warehouse yang Anda migrasikan ke BigQuery. Untuk mengetahui informasi selengkapnya, lihat Memulai estimasi biaya dan Menentukan persyaratan data warehousing.

Langkah berikutnya