"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).

Google uses AI technology to translate content into your preferred language. AI translations can contain errors.

Menggunakan server MCP Managed Service untuk Apache Spark

Dokumen ini menunjukkan cara menggunakan server Model Context Protocol (MCP) jarak jauh Managed Service untuk Apache Spark untuk terhubung dengan aplikasi AI termasuk Gemini CLI, ChatGPT, Claude, dan aplikasi kustom yang Anda kembangkan. Server MCP jarak jauh Managed Service untuk Apache Spark memungkinkan Anda melakukan operasi berbasis cluster, seperti membuat cluster, mengirimkan tugas, atau membuat kebijakan penskalaan otomatis dari aplikasi AI Anda. Server MCP jarak jauh Managed Service untuk Apache Spark diaktifkan saat Anda mengaktifkan Managed Service untuk Apache Spark API.

Model Context Protocol (MCP) menstandarkan cara model bahasa besar (LLM) dan aplikasi atau agen AI terhubung ke sumber data eksternal. Server MCP memungkinkan Anda menggunakan alat, resource, dan perintahnya untuk mengambil tindakan dan mendapatkan data terbaru dari layanan backend-nya.

Apa perbedaan antara server MCP lokal dan jarak jauh?

Server MCP lokal: Biasanya berjalan di komputer lokal Anda dan menggunakan aliran input dan output standar (stdio) untuk komunikasi antar-layanan di perangkat yang sama.
Server MCP jarak jauh: Berjalan di infrastruktur layanan dan menawarkan endpoint HTTP ke aplikasi AI untuk komunikasi antara klien MCP AI dan server MCP. Untuk mengetahui informasi selengkapnya tentang arsitektur MCP, lihat Arsitektur MCP.

Untuk mengetahui informasi tentang server MCP lokal Managed Service untuk Apache Spark, lihat Pengantar MCP Toolbox for Databases.

Server MCP Google dan Google Cloud jarak jauh

Server MCP Google dan Google Cloud jarak jauh memiliki fitur dan manfaat berikut:

Penemuan yang disederhanakan dan terpusat
Endpoint HTTP global atau regional terkelola
Otorisasi terperinci
Keamanan perintah dan respons opsional dengan perlindungan Model Armor
Logging audit terpusat

Untuk mengetahui informasi tentang server MCP lainnya dan informasi tentang keamanan dan kontrol tata kelola yang tersedia untuk server MCP Google Cloud, lihat Ringkasan server MCP Google Cloud.

Sebelum memulai

Login keakun Anda. Google Cloud Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Go to project selector

Verify that you have the permissions required to complete this guide.

Verify that billing is enabled for your Google Cloud project.

Enable the Managed Service for Apache Spark, Cloud Storage, and BigQuery APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Go to project selector

Verify that you have the permissions required to complete this guide.

Verify that billing is enabled for your Google Cloud project.

Enable the Managed Service for Apache Spark, Cloud Storage, and BigQuery APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Peran yang diperlukan

Peran IAM tertentu diperlukan untuk menjalankan contoh di halaman ini. Bergantung pada kebijakan organisasi, peran ini mungkin sudah diberikan. Untuk memeriksa pemberian peran, lihat Apakah Anda perlu memberikan peran?.

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran pengguna

Untuk mendapatkan izin yang diperlukan untuk menggunakan Managed Service untuk Apache Spark, minta administrator untuk memberi Anda peran IAM berikut:

Editor Dataproc (roles/dataproc.editor) di project
Pengguna Akun Layanan (roles/iam.serviceAccountUser) di akun layanan default Compute Engine

Untuk mendapatkan izin yang diperlukan untuk menggunakan server MCP Managed Service untuk Apache Spark, minta administrator untuk memberi Anda peran IAM berikut di project:

Melakukan panggilan alat MCP: Pengguna Alat MCP (roles/mcp.toolUser)

Peran bawaan ini berisi izin yang diperlukan untuk menggunakan server MCP Managed Service untuk Apache Spark. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk menggunakan server MCP Managed Service untuk Apache Spark:

Melakukan panggilan alat MCP: mcp.tools.call

Peran akun layanan

Untuk memastikan bahwa akun layanan default Compute Engine memiliki izin yang diperlukan untuk membuat cluster dan mengirimkan tugas, minta administrator untuk memberikan peran IAM Dataproc Worker (roles/dataproc.worker) ke akun layanan default Compute Engine di project.

Peran bawaan ini berisi izin yang diperlukan untuk membuat cluster dan mengirimkan tugas. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk membuat cluster dan mengirimkan tugas:

Melakukan panggilan alat MCP: mcp.tools.call

Autentikasi dan otorisasi

Server MCP jarak jauh Managed Service untuk Apache Spark menggunakan protokol OAuth 2.0 dengan Identity and Access Management (IAM) untuk autentikasi dan otorisasi. Semua Google Cloud identitas didukung untuk autentikasi ke server MCP.

Server MCP jarak jauh Managed Service untuk Apache Spark tidak menerima kunci API.

Sebaiknya buat identitas terpisah untuk agen yang menggunakan alat MCP agar akses ke resource dapat dikontrol dan dipantau. Untuk mengetahui informasi selengkapnya tentang autentikasi, lihat Mengautentikasi ke server MCP.

Cakupan OAuth MCP Managed Service untuk Apache Spark

OAuth 2.0 menggunakan cakupan dan kredensial untuk menentukan apakah akun utama yang diautentikasi diizinkan untuk melakukan tindakan tertentu pada resource. Untuk mengetahui informasi selengkapnya tentang cakupan OAuth 2.0 di Google, baca Menggunakan OAuth 2.0 untuk mengakses Google API.

Managed Service untuk Apache Spark memiliki cakupan OAuth alat MCP berikut:

URI cakupan untuk gcloud CLI	Deskripsi
`https://www.googleapis.com/auth/dataproc`	Melihat dan mengelola data Anda di Managed Service untuk Apache Spark serta melihat alamat email untuk Akun Google Anda

Cakupan tambahan mungkin diperlukan pada resource yang diakses selama panggilan alat. Untuk melihat daftar cakupan yang diperlukan untuk Managed Service untuk Apache Spark, lihat Managed Service untuk Apache Spark API.

Mengonfigurasi klien MCP untuk menggunakan server MCP Managed Service untuk Apache Spark

Aplikasi dan agen AI, seperti Claude atau Antigravity, dapat membuat instance klien MCP yang terhubung ke satu server MCP. Aplikasi AI dapat memiliki beberapa klien yang terhubung ke server MCP yang berbeda. Jika aplikasi Anda tidak tercantum dalam panduan khusus klien, Anda dapat menggunakan informasi berikut untuk terhubung dari sebagian besar aplikasi.

Di aplikasi AI Anda, cari cara untuk menambahkan atau terhubung ke server MCP jarak jauh. Untuk server MCP Managed Service untuk Apache Spark, masukkan hal berikut sesuai kebutuhan:

Nama server: Server MCP Managed Service untuk Apache Spark
URL server atau Endpoint: https://dataproc-us-central1.googleapis.com/mcp
Transportasi: HTTP
Detail autentikasi: Bergantung pada cara autentikasi yang Anda inginkan, Anda dapat memasukkan Google Cloud kredensial, ID Klien OAuth dan secret, atau identitas dan kredensial agen. Untuk mengetahui informasi selengkapnya tentang autentikasi, lihat Mengautentikasi ke server MCP.
Cakupan OAuth: cakupan OAuth 2.0 yang ingin Anda gunakan saat terhubung ke server MCP Managed Service untuk Apache Spark. Untuk mengetahui informasi selengkapnya, lihat Cakupan OAuth MCP Managed Service untuk Apache Spark.

Untuk panduan khusus aplikasi tentang cara menyiapkan dan terhubung ke server MCP, lihat Panduan khusus klien.

Untuk panduan yang lebih umum, lihat referensi berikut:

Alat yang tersedia

Alat MCP yang bersifat hanya baca memiliki atribut MCP mcp.tool.isReadOnly yang ditetapkan ke true. Anda mungkin hanya ingin mengizinkan alat hanya baca di lingkungan tertentu melalui kebijakan organisasi Anda.

Untuk melihat detail alat MCP yang tersedia dan deskripsinya untuk server MCP Managed Service untuk Apache Spark, lihat Referensi MCP Managed Service untuk Apache Spark.

Mencantumkan alat

Gunakan pemeriksa MCP untuk mencantumkan alat, atau kirim tools/list permintaan HTTP langsung ke server MCP jarak jauh Managed Service untuk Apache Spark. Metode tools/list tidak memerlukan autentikasi.

POST /mcp HTTP/1.1
Host: dataproc.googleapis.com
Content-Type: application/json

{
  "jsonrpc": "2.0",
  "method": "tools/list",
}

Contoh kasus penggunaan

Berikut adalah contoh kasus penggunaan untuk server MCP Managed Service untuk Apache Spark:

"Mencantumkan cluster Managed Service untuk Apache Spark di PROJECT_ID dan REGION."
"Mendapatkan status terbaru untuk CLUSTER_NAME cluster di PROJECT_ID dan REGION."
"Menghapus CLUSTER_NAME di PROJECT_ID dan REGION serta melakukan polling hingga selesai. Laporkan error jika gagal."

Ganti kode berikut:

PROJECT_ID: Project ID Google Cloud Project ID tercantum di bagian Project info DI Dasbor Google Cloud konsol Dashboard.
REGION: Region Compute Engine tempat cluster Managed Service untuk Apache Spark berada.
CLUSTER_NAME: Nama cluster Managed Service untuk Apache Spark yang ada.

Konfigurasi keamanan dan keselamatan opsional

MCP memperkenalkan risiko dan pertimbangan keamanan baru karena berbagai tindakan yang dapat Anda lakukan dengan alat MCP. Untuk meminimalkan dan mengelola risiko ini, Google Cloud menawarkan setelan default dan kebijakan yang dapat disesuaikan untuk mengontrol penggunaan alat MCP di Google Cloud organisasi atau project Anda.

Untuk mengetahui informasi selengkapnya tentang keamanan dan tata kelola MCP, lihat Keamanan dan keselamatan AI.

Menggunakan Model Armor

Model Armor adalah Google Cloud layanan yang dirancang untuk meningkatkan keamanan dan keselamatan aplikasi AI Anda. Layanan ini berfungsi dengan menyaring perintah dan respons LLM secara proaktif, melindungi dari berbagai risiko, dan mendukung praktik AI yang bertanggung jawab. Baik Anda men-deploy AI di lingkungan cloud, maupun di penyedia cloud eksternal, Model Armor dapat membantu Anda mencegah input berbahaya, memverifikasi keamanan konten, melindungi data sensitif, mempertahankan kepatuhan, dan menerapkan kebijakan keamanan dan keselamatan AI Anda secara konsisten di seluruh lanskap AI yang beragam.

Jika Model Armor diaktifkan dengan logging diaktifkan, Model Armor akan mencatat seluruh payload. Hal ini dapat mengekspos informasi sensitif dalam log Anda.

Mengaktifkan Model Armor

Anda harus mengaktifkan Model Armor API sebelum dapat menggunakan Model Armor.

Konsol

Aktifkan Model Armor API.
Peran yang diperlukan untuk mengaktifkan API
Untuk mengaktifkan API, Anda memerlukan peran IAM Service Usage Admin (roles/serviceusage.serviceUsageAdmin), yang berisi izin serviceusage.services.enable. Pelajari cara memberikan peran.
Mengaktifkan API
Pilih project tempat Anda ingin mengaktifkan Model Armor.

gcloud

Sebelum memulai, ikuti langkah-langkah berikut menggunakan Google Cloud CLI dengan Model Armor API:

Di konsol, aktifkan Cloud Shell. Google Cloud

Aktifkan Cloud Shell

Di bagian bawah konsol Google Cloud , sesi Cloud Shell akan dimulai dan menampilkan prompt command line. Cloud Shell adalah lingkungan shell dengan Google Cloud CLI yang sudah terinstal, dan dengan nilai yang sudah ditetapkan untuk project Anda saat ini. Diperlukan waktu beberapa detik untuk melakukan inisialisasi pada sesi.
Jalankan perintah berikut untuk menetapkan endpoint API untuk layanan Model Armor.
```
gcloud config set api_endpoint_overrides/modelarmor "https://modelarmor.LOCATION.rep.googleapis.com/"
```
Ganti LOCATION dengan region tempat Anda ingin menggunakan Model Armor.

Mengonfigurasi perlindungan untuk server MCP Google dan Google Cloud jarak jauh

Untuk membantu melindungi panggilan dan respons alat MCP, Anda dapat menggunakan setelan tingkat Model Armor. Setelan minimum menentukan filter keamanan minimum yang berlaku di seluruh project. Konfigurasi ini menerapkan kumpulan filter yang konsisten ke semua panggilan dan respons alat MCP dalam project.

Siapkan setelan minimum Model Armor dengan sanitasi MCP diaktifkan. Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi setelan minimum Model Armor.

Lihat contoh perintah berikut:

gcloud model-armor floorsettings update \
--full-uri='projects/PROJECT_ID/locations/global/floorSetting' \
--enable-floor-setting-enforcement=TRUE \
--add-integrated-services=GOOGLE_MCP_SERVER \
--google-mcp-server-enforcement-type=INSPECT_AND_BLOCK \
--enable-google-mcp-server-cloud-logging \
--malicious-uri-filter-settings-enforcement=ENABLED \
--add-rai-settings-filters='[{"confidenceLevel": "MEDIUM_AND_ABOVE", "filterType": "DANGEROUS"}]'

Ganti PROJECT_ID dengan Google Cloud project IDAnda.

Perhatikan setelan berikut:

INSPECT_AND_BLOCK: Jenis penerapan yang memeriksa konten untuk server MCP Google dan memblokir perintah dan respons yang cocok dengan filter.
ENABLED: Setelan yang mengaktifkan filter atau penerapan.
MEDIUM_AND_ABOVE: Tingkat kepercayaan untuk setelan filter AI yang Bertanggung Jawab - Berbahaya. Anda dapat mengubah setelan ini, meskipun nilai yang lebih rendah dapat menyebabkan lebih banyak positif palsu. Untuk mengetahui informasi selengkapnya, lihat Tingkat kepercayaan Model Armor.

Menonaktifkan pemindaian traffic MCP dengan Model Armor

Untuk menghentikan Model Armor agar tidak otomatis memindai traffic ke dan dari server MCP Google berdasarkan setelan tingkat project, jalankan perintah berikut:

gcloud model-armor floorsettings update \
  --full-uri='projects/PROJECT_ID/locations/global/floorSetting' \
  --remove-integrated-services=GOOGLE_MCP_SERVER

Ganti PROJECT_ID dengan the Google Cloud project ID. Model Armor tidak otomatis menerapkan aturan yang ditentukan dalam setelan tingkat project ini ke traffic server MCP Google mana pun.

Setelan tingkat Model Armor dan konfigurasi umum dapat memengaruhi lebih dari sekadar MCP. Karena Model Armor terintegrasi dengan layanan seperti Vertex AI, setiap perubahan yang Anda buat pada setelan tingkat dapat memengaruhi perilaku pemindaian traffic dan keamanan di semua layanan terintegrasi, bukan hanya MCP.

Mengontrol penggunaan MCP dengan kebijakan penolakan IAM

Kebijakan penolakan Identity and Access Management (IAM) membantu Anda mengamankan Google Cloud server MCP jarak jauh. Konfigurasi kebijakan ini untuk memblokir akses alat MCP yang tidak diinginkan.

Misalnya, Anda dapat menolak atau mengizinkan akses berdasarkan:

Akun utama
Properti alat seperti hanya baca
ID klien OAuth aplikasi

Untuk mengetahui informasi selengkapnya, lihat Mengontrol penggunaan MCP dengan Identity and Access Management.

Langkah berikutnya

Baca dokumentasi referensi MCP Managed Service untuk Apache Spark.
Pelajari lebih lanjut server MCP Google Cloud.