Menerapkan alur kerja analisis agentic untuk data terdistribusi

Last reviewed 2026-10-16 UTC

Dokumen ini menyediakan arsitektur tingkat tinggi untuk mengimplementasikan alur kerja analisis lintas cloud yang menggunakan agen AI. Dokumen ini ditujukan untuk cloud architect, data engineer, dan data scientist yang ingin menggunakan AI agentic untuk alur kerja analisis di seluruh data lake multi-cloud, data warehouse terstruktur, dan penyimpanan data tidak terstruktur. Dokumen ini mengasumsikan bahwa Anda memiliki pemahaman mendasar tentang konsep AI agentic, analisis data, dan arsitektur cloud.

Bagian Deployment dalam dokumen ini menyediakan codelab yang dapat Anda gunakan untuk mempelajari cara membangun solusi analisis agentic.

Arsitektur

Diagram berikut menunjukkan arsitektur untuk solusi analisis agentic yang memperoleh insight bisnis dari data terstruktur dan tidak terstruktur yang didistribusikan di beberapa penyimpanan data dan penyedia layanan cloud.

Arsitektur yang menggunakan lingkungan pengembangan agentic dan model AI untuk menganalisis data yang didistribusikan di Google Cloud dan penyedia layanan cloud lainnya.

Komponen dalam arsitektur ini diatur ke dalam lapisan berikut:

  • Tindakan pengguna dan agen

    • Lingkungan pengembangan agentic: Praktisi data, seperti data engineer dan data scientist, mengirimkan permintaan bahasa alami menggunakan salah satu metode berikut:
      • Lingkungan pengembangan agentic seperti Google Antigravity IDE atau Microsoft Visual Studio Code.
      • Agen CLI seperti Gemini CLI, Claude Code, atau Codex.
    • Google Cloud Data Agent Kit: Data Agent Kit memungkinkan agen mengakses data tepercaya di Google Cloud dengan memuat keterampilan yang sesuai dan terhubung ke server MCP jarak jauh untuk layanan Google Cloud .
    • Model dasar: Untuk menghasilkan insight bisnis dari konteks dan data tepercaya, lingkungan pengembangan agentic menggunakan model dasar, seperti model dari rangkaian Gemini. Model ini menggunakan keterampilan yang sesuai dari Data Agent Kit dan menggunakan alat server MCP yang diperlukan untuk menerapkan alur kerja analisis yang kompleks.

  • Alur kerja analisis

    • Lakehouse Tanpa Batas: Lakehouse menyediakan katalog metadata terpadu berperforma tinggi yang mengintegrasikan format tabel terbuka Apache Iceberg dengan penyimpanan tingkat perusahaan di Google Cloud. Dengan akses data lintas cloud, Lakehouse memungkinkan Anda menggabungkan katalog eksternal seperti Databricks Unity Catalog tanpa memindahkan atau menyalin data.
    • Managed Service untuk Apache Spark: Ini adalah komponen pemrosesan data inti dalam arsitektur. Fitur Lightning Engine Managed Service untuk Apache Spark mendukung pemrosesan data serverless berperforma tinggi dalam mode batch dan mode interaktif. Tugas pemrosesan data Spark menggunakan metadata dari katalog Iceberg di Lakehouse, membaca data terstruktur dari BigQuery, dan melakukan pembacaan tanpa salinan dari sumber eksternal seperti Amazon S3.
    • Knowledge Catalog: Agen menggunakan Knowledge Catalog untuk melakukan pemindaian cerdas terhadap data tidak terstruktur di Cloud Storage, mengekstrak metadata semantik, dan membangun grafik konteks.

  • Penyimpanan data tepercaya

    • Data di Google Cloud: BigQuery berfungsi sebagai warehouse pusat untuk data terstruktur, termasuk ekstrak terstruktur dari data tidak terstruktur di Cloud Storage.
    • Data dari sumber eksternal: Arsitektur ini menunjukkan sumber data eksternal, seperti data di bucket Amazon S3 dan metadata di Databricks Unity Catalog. Cross-Cloud Interconnect menyediakan konektivitas khusus bandwidth tinggi antara Google Cloud dan penyedia layanan cloud lainnya.

Produk yang digunakan

Arsitektur ini menggunakan produk dan alat Google Cloud berikut:

  • Google Cloud Data Agent Kit: Ekstensi agen yang memungkinkan data scientist, data engineer, dan developer aplikasi data mengelola seluruh siklus proses data dari dalam lingkungan pengembangan agen pilihan mereka.
  • BigQuery: Data warehouse perusahaan yang membantu Anda mengelola dan menganalisis data dengan fitur bawaan seperti machine learning, analisis geospasial, dan business intelligence.
  • Managed Service untuk Apache Spark: Layanan terkelola yang menjalankan workload batch Apache Spark di infrastruktur komputasi terkelola.
  • Lakehouse: Mesin penyimpanan berperforma tinggi yang memungkinkan Anda membangun data lakehouse terbuka dan menyediakan antarmuka terpadu untuk analisis lanjutan dan AI.
  • Knowledge Catalog: Layanan yang didukung AI yang menyediakan katalog aset data terpadu dengan kemampuan metadata dan tata kelola yang cerdas.
  • Gemini: Rangkaian model AI multimodal yang dikembangkan oleh Google.
  • Cloud Storage: Penyimpanan objek berbiaya rendah dan tanpa batas untuk beragam jenis data. Data dapat diakses dari dalam dan luar Google Cloud, serta direplikasi di berbagai lokasi untuk redundansi.
  • Cross-Cloud Interconnect: Layanan yang menyediakan konektivitas khusus berlatensi rendah dan bandwidth tinggi antara Google Cloud dan penyedia layanan cloud lainnya.
  • Server MCP Google Cloud: Layanan jarak jauh yang dikelola Google yang mengimplementasikan Model Context Protocol (MCP) untuk memberikan akses ke produk dan layanan Google dan Google Cloud kepada aplikasi AI.

Kasus penggunaan

Arsitektur yang dijelaskan dalam dokumen ini cocok untuk kasus penggunaan berikut:

  • Analisis data multi-cloud: Buat kueri dan analisis data yang didistribusikan di seluruh Google Cloud dan penyedia layanan cloud lainnya secara efisien tanpa memindahkan file atau membangun pipeline ekstraksi, transformasi, pemuatan (ETL) yang kompleks. Misalnya, Marketing Manager di retailer global dapat menganalisis efektivitas kampanye marketing dengan menggabungkan data loyalitas pelanggan di Amazon S3 dengan data operasi pemasaran di BigQuery.
  • Penemuan data cerdas: Gunakan perintah bahasa alami dan agen AI untuk menemukan, membuat kueri, dan memproses set data gabungan di berbagai lingkungan. Misalnya, spesialis pengadaan dapat menentukan penyebab umum gangguan supply chain berdasarkan data terstruktur dalam sistem pengelolaan supply chain (SCM) yang digabungkan dengan insight dari komunikasi email tidak terstruktur dan laporan penilaian kerusakan.
  • Ekstraksi data terstruktur dari sumber tidak terstruktur: Pindai data tidak terstruktur dalam jumlah besar, dapatkan metadata semantik, dan simpan ekstrak data terstruktur di BigQuery untuk analisis downstream. Misalnya, pengontrol operasi dapat menganalisis pengeluaran secara efisien dengan mengekstrak data terstruktur dari ribuan invoice yang disimpan dalam format tidak terstruktur, seperti file PDF.

Pertimbangan keamanan

Untuk membantu mengatasi risiko keamanan unik agen AI, Google merekomendasikan pendekatan yang menggabungkan kontrol keamanan deterministik dengan pertahanan dinamis berbasis penalaran:

  • Pengawasan manusia: Gabungkan alur human-in-the-loop dalam sistem penting bisnis sehingga pengawas manusia dapat meninjau output dan menyetujui, mengganti, atau menjeda tindakan agen.
  • Agent Identity: Tetapkan identitas yang terikat workload untuk setiap agen guna menerapkan kontrol akses dengan hak istimewa terendah dan mengelola kredensial untuk alat eksternal secara terpusat.
  • Agent Gateway: Terapkan tata kelola traffic ingress dan egress, kebijakan akses default-deny, serta pemeriksaan perintah dan alat inline dengan Model Armor.
  • Agent Registry: Memastikan bahwa agen hanya terhubung ke sub-agen dan alat MCP yang disetujui.

Panduan di bagian ini tidak lengkap. Untuk mengetahui informasi selengkapnya tentang faktor desain dan praktik terbaik, serta rekomendasi tentang cara membangun dan men-deploy sistem AI multi-agen, lihat Sistem AI multi-agen di Google Cloud.

Untuk prinsip dan rekomendasi keamanan yang khusus untuk workload AI dan ML, lihat Perspektif AI dan ML: Keamanan dalam Framework Arsitektur yang Baik.

Deployment

Untuk mempelajari cara membangun solusi analisis agentic menggunakan Data Agent Kit, lihat codelab, Data mentah hingga perkiraan dalam hitungan detik dengan agen AI. Codelab ini menunjukkan cara Data Agent Kit memungkinkan Anda menganalisis data secara efisien dari dalam lingkungan pengembangan agentic pilihan Anda. Semua data sampel yang digunakan codelab disimpan diGoogle Cloud.

Langkah berikutnya

Kontributor

Penulis: Kumar Dhanagopal | Developer Solusi Lintas Produk

Kontributor lainnya: