Melihat cluster Connect

Anda dapat melihat detail cluster Connect untuk mempelajari lebih lanjut detail konfigurasinya, termasuk nama cluster utama Google Cloud Managed Service untuk Apache Kafka, status cluster Connect, alokasi resource, setelan jaringan, dan konektor yang dihosting oleh cluster Connect.

Untuk melihat cluster Connect, Anda dapat menggunakan konsol Google Cloud , gcloud CLI, library klien, atau Managed Kafka API. Anda tidak dapat menggunakan Apache Kafka API open source untuk mencantumkan cluster Connect.

Peran dan izin yang diperlukan untuk melihat cluster Connect

Untuk mendapatkan izin yang diperlukan guna membuat daftar cluster Connect Anda, minta administrator untuk memberi Anda peran IAM Managed Kafka Viewer(roles/managedkafka.viewer) di project Anda. Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk mencantumkan cluster Connect Anda. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk mencantumkan cluster Connect Anda:

  • Berikan izin mencantumkan cluster di lokasi yang ditentukan: managedkafka.connectClusters.list
  • Berikan izin untuk mendapatkan detail cluster di lokasi yang ditentukan: managedkafka.connectClusters.get

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Melihat detail cluster Connect

Konsol

  1. Di konsol Google Cloud , buka halaman Connect Clusters.

    Buka Connect Clusters

  2. Klik cluster Connect yang ingin Anda lihat.

  3. Halaman Connect cluster ditampilkan dengan empat tab:

    • Resource: Memberikan tampilan terfokus dari konektor yang berjalan di cluster Anda, termasuk status dan jenis operasionalnya.
    • Konfigurasi: Menampilkan properti dan setelan penting cluster Connect, seperti cluster Kafka utama, status, alokasi resource, dan setelan jaringan.
    • Log: Menyediakan aliran entri log real-time dari cluster Connect Anda untuk pemantauan dan pemecahan masalah.
    • Pemantauan: Menyediakan metrik untuk membantu Anda memantau performa dan penggunaan resource cluster Connect.

gcloud

  1. Di konsol Google Cloud , aktifkan Cloud Shell.

    Aktifkan Cloud Shell

    Di bagian bawah konsol Google Cloud , sesi Cloud Shell akan dimulai dan menampilkan perintah command line. Cloud Shell adalah lingkungan shell dengan Google Cloud CLI yang sudah terinstal, dan dengan nilai yang sudah ditetapkan untuk project Anda saat ini. Diperlukan waktu beberapa detik untuk melakukan inisialisasi pada sesi.

  2. Gunakan perintah gcloud managed-kafka connect-clusters describe untuk melihat detail cluster Connect:

    gcloud managed-kafka connect-clusters describe CONNECT_CLUSTER \
    --location=LOCATION

  3. Ganti kode berikut:

    • CONNECT_CLUSTER: ID cluster Connect yang ingin Anda lihat.
    • LOCATION: Lokasi cluster Connect.

Contoh output:

capacityConfig:
memoryBytes: '3221225472'
vcpuCount: '3'
createTime: '2025-03-05T15:19:17.998009888Z'
gcpConfig:
accessConfig:
networkConfigs:
-   primarySubnet: projects/sample-project/regions/us-central1/subnetworks/default
kafkaCluster: projects/sample-project/locations/us-central1/clusters/kafka-test
name: projects/sample-project/locations/us-central1/connectClusters/my-connect-cluster
state: ACTIVE
updateTime: '2025-03-05T15:24:40.861655595Z'

Go

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Go di Menginstal library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Managed Service for Apache Kafka Go API.

Untuk melakukan autentikasi ke Managed Service untuk Apache Kafka, siapkan Kredensial Default Aplikasi(ADC). Untuk mengetahui informasi selengkapnya, lihat Menyiapkan ADC untuk lingkungan pengembangan lokal.

import (
	"context"
	"fmt"
	"io"

	"cloud.google.com/go/managedkafka/apiv1/managedkafkapb"
	"google.golang.org/api/option"

	managedkafka "cloud.google.com/go/managedkafka/apiv1"
)

func getConnectCluster(w io.Writer, projectID, region, clusterID string, opts ...option.ClientOption) error {
	// projectID := "my-project-id"
	// region := "us-central1"
	// clusterID := "my-connect-cluster"
	ctx := context.Background()
	client, err := managedkafka.NewManagedKafkaConnectClient(ctx, opts...)
	if err != nil {
		return fmt.Errorf("managedkafka.NewManagedKafkaConnectClient got err: %w", err)
	}
	defer client.Close()

	clusterPath := fmt.Sprintf("projects/%s/locations/%s/connectClusters/%s", projectID, region, clusterID)
	req := &managedkafkapb.GetConnectClusterRequest{
		Name: clusterPath,
	}
	cluster, err := client.GetConnectCluster(ctx, req)
	if err != nil {
		return fmt.Errorf("client.GetConnectCluster got err: %w", err)
	}
	fmt.Fprintf(w, "Got connect cluster: %#v\n", cluster)
	return nil
}

Java

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Java di Menginstal library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi API Java Managed Service untuk Apache Kafka.

Untuk melakukan autentikasi ke Managed Service untuk Apache Kafka, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan ADC untuk lingkungan pengembangan lokal.

import com.google.api.gax.rpc.ApiException;
import com.google.cloud.managedkafka.v1.ConnectCluster;
import com.google.cloud.managedkafka.v1.ConnectClusterName;
import com.google.cloud.managedkafka.v1.ManagedKafkaConnectClient;
import java.io.IOException;

public class GetConnectCluster {

  public static void main(String[] args) throws Exception {
    // TODO(developer): Replace these variables before running the example.
    String projectId = "my-project-id";
    String region = "my-region"; // e.g. us-east1
    String clusterId = "my-connect-cluster";
    getConnectCluster(projectId, region, clusterId);
  }

  public static void getConnectCluster(String projectId, String region, String clusterId)
      throws Exception {
    try (ManagedKafkaConnectClient managedKafkaConnectClient = ManagedKafkaConnectClient.create()) {
      // This operation is being handled synchronously.
      ConnectCluster connectCluster = managedKafkaConnectClient
          .getConnectCluster(ConnectClusterName.of(projectId, region, clusterId));
      System.out.println(connectCluster.getAllFields());
    } catch (IOException | ApiException e) {
      System.err.printf("managedKafkaConnectClient.getConnectCluster got err: %s\n", 
          e.getMessage());
    }
  }
}

Python

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Python di Menginstal library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Managed Service for Apache Kafka Python API.

Untuk melakukan autentikasi ke Managed Service untuk Apache Kafka, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan ADC untuk lingkungan pengembangan lokal.

from google.api_core.exceptions import NotFound
from google.cloud.managedkafka_v1.services.managed_kafka_connect import ManagedKafkaConnectClient
from google.cloud import managedkafka_v1

# TODO(developer)
# project_id = "my-project-id"
# region = "us-central1"
# connect_cluster_id = "my-connect-cluster"

client = ManagedKafkaConnectClient()

cluster_path = client.connect_cluster_path(project_id, region, connect_cluster_id)
request = managedkafka_v1.GetConnectClusterRequest(
    name=cluster_path,
)

try:
    cluster = client.get_connect_cluster(request=request)
    print("Got Connect cluster:", cluster)
except NotFound as e:
    print(f"Failed to get Connect cluster {connect_cluster_id} with error: {e}")

Ringkasan detail cluster Connect

Halaman Connect cluster ditampilkan dengan empat tab yang disebut Resources, Configurations, Monitoring, dan Logs.

Resource

Tab Resources di halaman Connect cluster merangkum jenis konektor yang di-deploy dan status operasionalnya. Informasi berikut ditampilkan:

  • Tabel konektor: Tabel yang mencantumkan semua konektor di cluster Connect.

    • Nama: Nama yang ditetapkan untuk setiap konektor.

    • Status: Status operasional konektor saat ini.

    • Jenis konektor: Menunjukkan jenis konektor, seperti Sumber MirrorMaker 2.0, Sink BigQuery, Sink Cloud Storage, atau Sink Pub/Sub.

  • Filter: Kotak penelusuran yang dapat Anda gunakan untuk memfilter konektor berdasarkan propertinya.

Untuk memantau kondisi konektor, gunakan tab Resources.

Konfigurasi

Tab Konfigurasi menampilkan informasi tentang status cluster, alokasi resource, setelan jaringan, dan konfigurasi DNS.

  • Cluster Kafka utama: Menampilkan nama cluster Managed Service untuk Apache Kafka yang terkait dengan cluster Connect ini. Cluster Connect menyimpan konfigurasi dan offset-nya di cluster Managed Service untuk Apache Kafka.

  • Status: Menampilkan status cluster Connect saat ini. Kemungkinan status mencakup Active, Creating, Deleting, dan State_unspecified.

  • Region: Menunjukkan region cluster Connect.

  • vCPUs: Menampilkan jumlah CPU virtual yang dialokasikan ke cluster Connect. Jumlah vCPU yang lebih tinggi akan meningkatkan kapasitas pemrosesan cluster.

  • Memori: Menampilkan total memori yang disediakan untuk cluster Connect.

  • Label: Menampilkan label yang dilampirkan ke cluster Connect.

  • Resource secret: Mencantumkan secret yang terkait dengan cluster Connect.

  • Subnetworks: Mencantumkan subnetwork yang terkait dengan cluster Connect. Tabel ini berisi kolom untuk Nama, Region, dan Project.

  • Nama DNS: Menampilkan nama DNS kustom yang dikonfigurasi untuk cluster Connect. Jika tidak ada nama DNS kustom yang dikonfigurasi, tabel akan kosong.

Pemantauan

Tab Monitoring menyediakan metrik yang membantu Anda memahami performa dan penggunaan resource konektor. Metrik meliputi:

  • Penggunaan CPU pekerja: Total penggunaan CPU, dalam detik vCPU, untuk setiap pekerja. Metrik ini membantu mengidentifikasi batasan resource.

  • Penggunaan memori pekerja: Penggunaan memori saat ini, dalam byte, untuk setiap pekerja. Metrik ini membantu mencegah error kehabisan memori.

  • Kecepatan byte masuk konektor: Kecepatan byte masuk rata-rata per detik, dari koneksi klien, untuk setiap konektor. Metrik ini membantu menilai kecepatan penyerapan data.

  • Kecepatan byte keluar konektor: Kecepatan byte keluar rata-rata per detik, ke server, dari koneksi klien, untuk setiap konektor. Metrik ini membantu memantau rasio pengiriman data.

Log

Tab Logs menyediakan aliran entri log real-time dari cluster Connect Anda. Gunakan tab ini untuk memantau kondisi dan aktivitas konektor, serta memecahkan masalah. Fitur ini membantu Anda memantau dan men-debug cluster Connect secara efektif:

  • Filter menurut Tingkat Keparahan: Filter entri log menurut tingkat keparahan untuk menemukan masalah kritis dengan cepat.

  • Penelusuran: Telusuri entri log penelusuran untuk kata kunci atau frasa tertentu guna menemukan peristiwa yang terkait dengan konektor atau tugas tertentu.

  • Stempel waktu: Stempel waktu pada setiap entri log membantu melacak urutan peristiwa dan mengidentifikasi waktu terjadinya tindakan.

  • Ringkasan: Entri log memberikan detail tentang berbagai peristiwa, seperti mulai dan penonaktifan konektor, eksekusi tugas, dan pemrosesan data.

Apa langkah selanjutnya?

Apache Kafka® adalah merek dagang terdaftar milik The Apache Software Foundation atau afiliasinya di Amerika Serikat dan/atau negara lainnya.