Melihat cluster Connect

Anda dapat melihat detail cluster Connect untuk mempelajari lebih lanjut detail konfigurasinya, termasuk nama cluster utama Google Cloud Managed Service for Apache Kafka, status cluster Connect, alokasi resource, setelan jaringan, dan konektor yang dihosting oleh cluster Connect.

Untuk melihat cluster Connect, Anda dapat menggunakan Google Cloud konsol, gcloud CLI, library klien, atau Managed Kafka API. Anda tidak dapat menggunakan Apache Kafka API open source untuk mencantumkan cluster Connect.

Peran dan izin yang diperlukan untuk melihat cluster Connect

Untuk mendapatkan izin yang diperlukan guna membuat daftar cluster Connect Anda, minta administrator untuk memberi Anda peran IAM Managed Kafka Viewer(roles/managedkafka.viewer) di project Anda. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk mencantumkan cluster Connect Anda. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk mencantumkan cluster Connect Anda:

Berikan izin cluster daftar di lokasi yang ditentukan: managedkafka.connectClusters.list
Berikan izin untuk mendapatkan detail cluster di lokasi yang ditentukan: managedkafka.connectClusters.get

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Untuk mengetahui informasi selengkapnya tentang peran Managed Kafka Viewer, lihat Peran standar Managed Service for Apache Kafka.

Melihat detail cluster Connect

Konsol

Di konsol Google Cloud , buka halaman Connect Clusters.

Buka Connect Clusters
Klik cluster Connect yang ingin Anda lihat.
Halaman Connect cluster ditampilkan dengan empat tab:
- Resource: Memberikan tampilan terfokus dari konektor yang berjalan di cluster Anda, termasuk status dan jenis operasionalnya.
- Konfigurasi: Menampilkan properti dan setelan penting cluster Connect, seperti cluster Kafka utama, status, alokasi resource, dan setelan jaringan.
- Log: Menyediakan aliran entri log real-time dari cluster Connect Anda untuk pemantauan dan pemecahan masalah.
- Pemantauan: Menyediakan metrik untuk membantu Anda memantau performa dan penggunaan resource cluster Connect.

gcloud

In the Google Cloud console, activate Cloud Shell.

Activate Cloud Shell

At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

Gunakan perintah gcloud managed-kafka connect-clusters describe untuk melihat detail cluster Connect:

gcloud managed-kafka connect-clusters describe CONNECT_CLUSTER \
    --location=LOCATION

Ganti kode berikut:
- CONNECT_CLUSTER: ID cluster Connect yang ingin Anda lihat.
- LOCATION: Lokasi cluster Connect.

Contoh output:

capacityConfig:
memoryBytes: '3221225472'
vcpuCount: '3'
createTime: '2025-03-05T15:19:17.998009888Z'
gcpConfig:
accessConfig:
networkConfigs:
-   primarySubnet: projects/sample-project/regions/us-central1/subnetworks/default
kafkaCluster: projects/sample-project/locations/us-central1/clusters/kafka-test
name: projects/sample-project/locations/us-central1/connectClusters/my-connect-cluster
state: ACTIVE
updateTime: '2025-03-05T15:24:40.861655595Z'

Go

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Go di Menginstal library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Managed Service for Apache Kafka Go API.

Untuk melakukan autentikasi ke Managed Service untuk Apache Kafka, siapkan Kredensial Default Aplikasi(ADC). Untuk mengetahui informasi selengkapnya, lihat Menyiapkan ADC untuk lingkungan pengembangan lokal.

import (
	"context"
	"fmt"
	"io"

	"cloud.google.com/go/managedkafka/apiv1/managedkafkapb"
	"google.golang.org/api/option"

	managedkafka "cloud.google.com/go/managedkafka/apiv1"
)

func getConnectCluster(w io.Writer, projectID, region, clusterID string, opts ...option.ClientOption) error {
	// projectID := "my-project-id"
	// region := "us-central1"
	// clusterID := "my-connect-cluster"
	ctx := context.Background()
	client, err := managedkafka.NewManagedKafkaConnectClient(ctx, opts...)
	if err != nil {
		return fmt.Errorf("managedkafka.NewManagedKafkaConnectClient got err: %w", err)
	}
	defer client.Close()

	clusterPath := fmt.Sprintf("projects/%s/locations/%s/connectClusters/%s", projectID, region, clusterID)
	req := &managedkafkapb.GetConnectClusterRequest{
		Name: clusterPath,
	}
	cluster, err := client.GetConnectCluster(ctx, req)
	if err != nil {
		return fmt.Errorf("client.GetConnectCluster got err: %w", err)
	}
	fmt.Fprintf(w, "Got connect cluster: %#v\n", cluster)
	return nil
}

Java

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Java di Menginstal library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Managed Service for Apache Kafka Java API.

Untuk melakukan autentikasi ke Managed Service for Apache Kafka, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan ADC untuk lingkungan pengembangan lokal.

import com.google.api.gax.rpc.ApiException;
import com.google.cloud.managedkafka.v1.ConnectCluster;
import com.google.cloud.managedkafka.v1.ConnectClusterName;
import com.google.cloud.managedkafka.v1.ManagedKafkaConnectClient;
import java.io.IOException;

public class GetConnectCluster {

  public static void main(String[] args) throws Exception {
    // TODO(developer): Replace these variables before running the example.
    String projectId = "my-project-id";
    String region = "my-region"; // e.g. us-east1
    String clusterId = "my-connect-cluster";
    getConnectCluster(projectId, region, clusterId);
  }

  public static void getConnectCluster(String projectId, String region, String clusterId)
      throws Exception {
    try (ManagedKafkaConnectClient managedKafkaConnectClient = ManagedKafkaConnectClient.create()) {
      // This operation is being handled synchronously.
      ConnectCluster connectCluster = managedKafkaConnectClient
          .getConnectCluster(ConnectClusterName.of(projectId, region, clusterId));
      System.out.println(connectCluster.getAllFields());
    } catch (IOException | ApiException e) {
      System.err.printf("managedKafkaConnectClient.getConnectCluster got err: %s\n", 
          e.getMessage());
    }
  }
}

Python

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Python di Menginstal library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Managed Service for Apache Kafka Python API.

from google.api_core.exceptions import NotFound
from google.cloud.managedkafka_v1.services.managed_kafka_connect import ManagedKafkaConnectClient
from google.cloud import managedkafka_v1

# TODO(developer)
# project_id = "my-project-id"
# region = "us-central1"
# connect_cluster_id = "my-connect-cluster"

client = ManagedKafkaConnectClient()

cluster_path = client.connect_cluster_path(project_id, region, connect_cluster_id)
request = managedkafka_v1.GetConnectClusterRequest(
    name=cluster_path,
)

try:
    cluster = client.get_connect_cluster(request=request)
    print("Got Connect cluster:", cluster)
except NotFound as e:
    print(f"Failed to get Connect cluster {connect_cluster_id} with error: {e}")

Ringkasan detail cluster yang terhubung

Halaman cluster Connect ditampilkan dengan empat tab yang disebut Resources, Configurations, Monitoring, dan Logs.

Resource

Tab Resources di halaman Connect cluster merangkum jenis konektor yang di-deploy dan status operasionalnya. Informasi berikut ditampilkan:

Tabel konektor: Tabel yang mencantumkan semua konektor di cluster Connect.
- Nama: Nama yang ditetapkan untuk setiap konektor.
- Status: Status operasional konektor saat ini.
- Jenis konektor: Menunjukkan jenis konektor, seperti Sumber MirrorMaker 2.0, Sink BigQuery, Sink Cloud Storage, atau Sink Pub/Sub.
Filter: Kotak penelusuran yang dapat Anda gunakan untuk memfilter konektor menurut propertinya.

Untuk memantau kondisi konektor, gunakan tab Resources.

Konfigurasi

Tab Configurations menampilkan informasi tentang status cluster, alokasi resource, setelan jaringan, dan konfigurasi DNS.

Cluster Kafka utama: Menampilkan nama cluster Managed Service for Apache Kafka yang terkait dengan cluster Connect ini. Cluster Connect menyimpan konfigurasi dan offset-nya di cluster Managed Service for Apache Kafka.
Status: Menampilkan status cluster Connect saat ini. Kemungkinan status mencakup Active, Creating, Deleting, dan State_unspecified.
Region: Menunjukkan region cluster Connect.
vCPUs: Menampilkan jumlah CPU virtual yang dialokasikan ke cluster Connect. Jumlah vCPU yang lebih tinggi akan meningkatkan kapasitas pemrosesan cluster.
Memori: Menampilkan total memori yang disediakan untuk cluster Connect.
Label: Menampilkan label yang dilampirkan ke cluster Connect.
Resource rahasia: Mencantumkan rahasia yang terkait dengan cluster Connect.
Subnetworks: Mencantumkan subnetwork yang terkait dengan cluster Connect. Tabel ini berisi kolom untuk Nama, Region, dan Project.
Nama DNS: Menampilkan nama DNS kustom yang dikonfigurasi untuk cluster Connect. Jika tidak ada nama DNS kustom yang dikonfigurasi, tabel akan kosong.

Pemantauan

Tab Monitoring menyediakan metrik yang membantu Anda memahami performa dan penggunaan resource konektor. Metrik meliputi:

Penggunaan CPU pekerja: Total penggunaan CPU, dalam detik vCPU, untuk setiap pekerja. Metrik ini membantu mengidentifikasi batasan sumber daya.
Penggunaan memori pekerja: Penggunaan memori saat ini, dalam byte, untuk setiap pekerja. Metrik ini membantu mencegah error kehabisan memori.
Kecepatan byte masuk konektor: Kecepatan byte masuk rata-rata per detik, dari koneksi klien, untuk setiap konektor. Metrik ini membantu menilai kecepatan penyerapan data.
Kecepatan byte keluar konektor: Rata-rata kecepatan byte keluar per detik, ke server, dari koneksi klien, untuk setiap konektor. Metrik ini membantu memantau rasio pengiriman data.

Log

Tab Logs menyediakan aliran entri log real-time dari cluster Connect Anda. Gunakan tab ini untuk memantau kondisi, aktivitas, dan memecahkan masalah konektor. Fitur ini membantu Anda memantau dan men-debug cluster Connect secara efektif:

Filter menurut Tingkat Keparahan: Filter entri log menurut tingkat keparahan untuk dengan cepat menemukan masalah penting.
Penelusuran: Telusuri entri log penelusuran untuk kata kunci atau frasa tertentu guna menemukan peristiwa yang terkait dengan konektor atau tugas tertentu.
Stempel waktu: Stempel waktu pada setiap entri log membantu melacak urutan peristiwa dan mengidentifikasi kapan tindakan terjadi.
Ringkasan: Entri log memberikan detail tentang berbagai peristiwa, seperti mulai dan penonaktifan konektor, eksekusi tugas, dan pemrosesan data.

Apa langkah selanjutnya?

Apache Kafka® adalah merek dagang terdaftar milik The Apache Software Foundation atau afiliasinya di Amerika Serikat dan/atau negara lain.

Melihat cluster Connect Tetap teratur dengan koleksi Simpan dan kategorikan konten berdasarkan preferensi Anda.