Apache Kafka용 Google Cloud 관리형 서비스 클러스터 보기

클러스터를 보려면 Google Cloud 콘솔, Google Cloud CLI, 클라이언트 라이브러리 또는 관리형 Kafka API를 사용하면 됩니다. 오픈소스 Apache Kafka API를 사용하여 클러스터를 볼 수는 없습니다.

클러스터 보기에 필요한 역할 및 권한

클러스터를 보는 데 필요한 권한을 얻으려면 관리자에게 프로젝트에 대한 관리형 Kafka 뷰어 (roles/managedkafka.viewer) IAM 역할을 부여해 달라고 요청하세요. 역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

이 사전 정의된 역할에는 클러스터를 보는 데 필요한 권한이 포함되어 있습니다. 필요한 정확한 권한을 보려면 필수 권한 섹션을 펼치세요.

필수 권한

클러스터를 보려면 다음 권한이 필요합니다.

  • 클러스터 나열: managedkafka.clusters.list
  • 클러스터 세부정보 가져오기: managedkafka.clusters.get

커스텀 역할이나 다른 사전 정의된 역할을 사용하여 이 권한을 부여받을 수도 있습니다.

클러스터 보기

클러스터를 보려면 다음 단계를 따르세요.

콘솔

  1. Google Cloud 콘솔에서 클러스터 페이지로 이동합니다.

    클러스터로 이동

    프로젝트에서 만든 클러스터가 나열됩니다.

  2. 특정 클러스터를 보려면 클러스터 이름을 클릭합니다.

  3. 클러스터 세부정보 페이지가 열립니다. 이 페이지에는 다음 탭이 있습니다.

    • 리소스: 클러스터와 연결된 주제 및 컨슈머 그룹의 목록을 표시합니다.
    • 액세스 제어: 클러스터의 ACL 항목을 표시합니다.
    • 구성: 클러스터와 연결된 서브넷 목록을 비롯한 클러스터의 구성을 표시합니다.
    • 모니터링: 클러스터와 관련된 모니터링 알림을 표시합니다.
    • 로그: 로그 탐색기의 클러스터와 관련된 로그를 표시합니다.
    • 소스: Kafka Connect 소스 커넥터를 만들거나 합성 테스트 데이터를 생성하는 바로가기를 제공합니다.
    • 싱크: Kafka Connect 싱크 커넥터를 만들기 위한 바로가기를 제공합니다.

gcloud

  1. Google Cloud 콘솔에서 Cloud Shell을 활성화합니다.

    Cloud Shell 활성화

    Google Cloud 콘솔 하단에 Cloud Shell 세션이 시작되고 명령줄 프롬프트가 표시됩니다. Cloud Shell은 Google Cloud CLI가 사전 설치된 셸 환경으로, 현재 프로젝트의 값이 이미 설정되어 있습니다. 세션이 초기화되는 데 몇 초 정도 걸릴 수 있습니다.

  2. 아래의 명령어 데이터를 사용하기 전에 다음을 바꿉니다.

    • PROJECT_ID: 프로젝트 ID입니다.
    • LOCATION: 클러스터의 위치입니다.
    • CLUSTER_ID: 클러스터의 ID입니다.

    다음 명령어를 실행합니다.

    Linux, macOS 또는 Cloud Shell

    gcloud managed-kafka clusters describe CLUSTER_ID \
        --location=LOCATION \
        --project=PROJECT_ID

    Windows(PowerShell)

    gcloud managed-kafka clusters describe CLUSTER_ID `
        --location=LOCATION `
        --project=PROJECT_ID

    Windows(cmd.exe)

    gcloud managed-kafka clusters describe CLUSTER_ID ^
        --location=LOCATION ^
        --project=PROJECT_ID

    다음과 비슷한 응답이 표시됩니다.

    bootstrapAddress: bootstrap.CLUSTER_ID.LOCATION.managedkafka.PROJECT_ID.cloud.goog:9092
    bootstrapAddressMTLS: bootstrap.CLUSTER_ID.LOCATION.managedkafka.PROJECT_ID.cloud.goog:9192
    brokerCapacityConfig: {}
    capacityConfig:
      memoryBytes: 'MEMORY'
      vcpuCount: 'CPU_COUNT'
    createTime: 'CREATE_TIME'
    gcpConfig:
      accessConfig:
        networkConfigs:
        - subnet: projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET_ID
        publicClusterConfig:
          allowedSourceIpRanges:
          - 203.0.113.5/32
    labels:
      goog-terraform-provisioned: 'true'
    name: projects/PROJECT_ID/locations/LOCATION/clusters/CLUSTER_ID
    publicClusterDetails:
      discoveryDnsRecords:
      - discovery-1.CLUSTER_ID.LOCATION.managedkafka.PROJECT_ID.cloud.goog
      externalIpAddresses:
      - 203.0.113.1
      - 203.0.113.2
      - 203.0.113.3
      - 203.0.113.4
    rebalanceConfig:
      mode: AUTO_REBALANCE_ON_SCALE_UP
    satisfiesPzi: false
    satisfiesPzs: false
    state: ACTIVE
    tlsConfig:
      trustConfig: {}
    updateOptions: {}
    updateTime: 'UPDATE_TIME'
    

REST

요청 데이터를 사용하기 전에 다음을 바꿉니다.

  • PROJECT_ID: Google Cloud 프로젝트 ID
  • LOCATION: 클러스터의 위치입니다.
  • CLUSTER_ID: 클러스터의 ID입니다.
  • CLUSTER_VIEW: 반환할 메타데이터의 양입니다. 다음 값 중 하나를 지정합니다.

    • CLUSTER_VIEW_BASIC: 클러스터의 기본 메타데이터를 반환합니다.
    • CLUSTER_VIEW_FULL: 클러스터의 브로커에 관한 정보와 클러스터가 실행 중인 Kafka 버전 번호를 비롯한 클러스터의 모든 메타데이터를 반환합니다.

    지정하지 않으면 메서드의 기본값은 CLUSTER_VIEW_BASIC입니다.

HTTP 메서드 및 URL:

GET https://managedkafka.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/clusters/CLUSTER_ID?view=CLUSTER_VIEW

요청을 보내려면 다음 옵션 중 하나를 펼칩니다.

다음과 비슷한 JSON 응답이 표시됩니다.

{
  "name": "projects/PROJECT_ID/locations/LOCATION/clusters/CLUSTER_ID",
  "createTime": "CREATE_TIME",
  "updateTime": "UPDATE_TIME",
  "capacityConfig": {
    "vcpuCount": "CPU_COUNT",
    "memoryBytes": "MEMORY"
  },
  "rebalanceConfig": {},
  "gcpConfig": {
    "accessConfig": {
      "networkConfigs": [
        {
          "subnet": "projects/PROJECT_ID/locations/LOCATION/subnetworks/SUBNET_ID"
        }
      ],
      "publicClusterConfig": {
        "allowedSourceIpRanges": [
          "203.0.113.5/32"
        ]
      }
    }
  },
  "state": "ACTIVE",
  "satisfiesPzi": false,
  "satisfiesPzs": false,
  "tlsConfig": {
    "trustConfig": {}
  },
  "updateOptions": {},
  "publicClusterDetails": {
    "discoveryDnsRecords": [
      "discovery-1.CLUSTER_ID.LOCATION.managedkafka.PROJECT_ID.cloud.goog"
    ],
    "externalIpAddresses": [
      "203.0.113.1",
      "203.0.113.2",
      "203.0.113.3",
      "203.0.113.4"
    ]
  }
}

Go

이 샘플을 사용해 보기 전에 클라이언트 라이브러리 설치의 Go 설정 안내를 따르세요. 자세한 내용은 Managed Service for Apache Kafka Go API 참고 문서를 참고하세요.

Managed Service for Apache Kafka에 인증하려면 애플리케이션 기본 사용자 인증 정보(ADC)를 설정합니다. 자세한 내용은 로컬 개발 환경의 ADC 설정을 참고하세요.

import (
	"context"
	"fmt"
	"io"

	"cloud.google.com/go/managedkafka/apiv1/managedkafkapb"
	"google.golang.org/api/option"

	managedkafka "cloud.google.com/go/managedkafka/apiv1"
)

func getCluster(w io.Writer, projectID, region, clusterID string, opts ...option.ClientOption) error {
	// projectID := "my-project-id"
	// region := "us-central1"
	// clusterID := "my-cluster"
	ctx := context.Background()
	client, err := managedkafka.NewClient(ctx, opts...)
	if err != nil {
		return fmt.Errorf("managedkafka.NewClient got err: %w", err)
	}
	defer client.Close()

	clusterPath := fmt.Sprintf("projects/%s/locations/%s/clusters/%s", projectID, region, clusterID)
	req := &managedkafkapb.GetClusterRequest{
		Name: clusterPath,
	}
	cluster, err := client.GetCluster(ctx, req)
	if err != nil {
		return fmt.Errorf("client.GetCluster got err: %w", err)
	}
	fmt.Fprintf(w, "Got cluster: %#v\n", cluster)
	return nil
}

자바

이 샘플을 시도하기 전에 클라이언트 라이브러리 설치의 Java 설정 안내를 따르세요. 자세한 내용은 Managed Service for Apache Kafka Java API 참고 문서를 참고하세요.

Managed Service for Apache Kafka에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 ADC 설정을 참고하세요.

import com.google.api.gax.rpc.ApiException;
import com.google.cloud.managedkafka.v1.Cluster;
import com.google.cloud.managedkafka.v1.ClusterName;
import com.google.cloud.managedkafka.v1.ManagedKafkaClient;
import java.io.IOException;

public class GetCluster {

  public static void main(String[] args) throws Exception {
    // TODO(developer): Replace these variables before running the example.
    String projectId = "my-project-id";
    String region = "my-region"; // e.g. us-east1
    String clusterId = "my-cluster";
    getCluster(projectId, region, clusterId);
  }

  public static void getCluster(String projectId, String region, String clusterId)
      throws Exception {
    try (ManagedKafkaClient managedKafkaClient = ManagedKafkaClient.create()) {
      // This operation is being handled synchronously.
      Cluster cluster = managedKafkaClient.getCluster(ClusterName.of(projectId, region, clusterId));
      System.out.println(cluster.getAllFields());
    } catch (IOException | ApiException e) {
      System.err.printf("managedKafkaClient.getCluster got err: %s", e.getMessage());
    }
  }
}

Python

이 샘플을 시도하기 전에 클라이언트 라이브러리 설치의 Python 설정 안내를 따르세요. 자세한 내용은 Apache Kafka용 관리형 서비스 Python API 참조 문서를 참고하세요.

Managed Service for Apache Kafka에 인증하려면 애플리케이션 기본 사용자 인증 정보를 설정합니다. 자세한 내용은 로컬 개발 환경의 ADC 설정을 참고하세요.

from google.api_core.exceptions import NotFound
from google.cloud import managedkafka_v1

# TODO(developer)
# project_id = "my-project-id"
# region = "us-central1"
# cluster_id = "my-cluster"

client = managedkafka_v1.ManagedKafkaClient()

cluster_path = client.cluster_path(project_id, region, cluster_id)
request = managedkafka_v1.GetClusterRequest(
    name=cluster_path,
)

try:
    cluster = client.get_cluster(request=request)
    print("Got cluster:", cluster)
except NotFound as e:
    print(f"Failed to get cluster {cluster_id} with error: {e.message}")

클러스터 속성 및 리소스 보기

다음 섹션에서는 Google Cloud Managed Service for Apache Kafka 클러스터와 연결된 다양한 속성 및 리소스에 대한 세부정보를 가져오는 방법을 설명합니다.

부트스트랩 주소

Kafka 클라이언트는 클러스터의 부트스트랩 주소를 사용하여 클러스터와 연결합니다. 부트스트랩 주소는 클러스터 수명 동안 고정되지만 부트스트랩 URL의 형식은 클러스터마다 다를 수 있습니다.

클러스터에 공개 액세스가 사용 설정된 경우 부트스트랩 주소는 클라이언트가 연결하는 위치에 따라 공개 또는 비공개 IP 주소로 자동 확인됩니다 (스플릿 호라이즌 DNS 사용). 내부 및 외부 클라이언트 모두 이 동일한 부트스트랩 주소를 사용하여 클러스터에 연결해야 합니다. 외부 이그레스 방화벽을 구성하는 데만 예약된 검색 DNS 레코드에 연결하도록 Kafka 클라이언트를 구성하지 마세요.

부트스트랩 주소를 가져오려면 다음 단계를 실행하세요.

콘솔

  1. Managed Service for Apache Kafka > 클러스터 페이지로 이동합니다.

    클러스터로 이동

  2. 클러스터 이름을 클릭합니다.

  3. 구성 탭을 선택합니다.

  4. SASL을 사용하여 인증하는 경우 부트스트랩 URL이 부트스트랩 URL 아래에 표시됩니다.

    상호 TLS(mTLS)를 사용하여 인증하는 경우 부트스트랩 URL이 mTLS 부트스트랩 URL에 표시됩니다.

    복사를 클릭하여 값을 복사합니다.

gcloud

부트스트랩 URL을 가져오려면 managed-kafka clusters describe 명령어를 사용합니다.

SASL을 사용하여 인증하는 경우 다음 명령어를 실행합니다.

gcloud managed-kafka clusters describe CLUSTER_ID \
    --location=LOCATION \
    --format="value(bootstrapAddress)"

상호 TLS(mTLS)를 사용하여 인증하는 경우 다음 명령어를 실행합니다.

gcloud managed-kafka clusters describe CLUSTER_ID \
    --location=LOCATION \
    --format="value(bootstrapAddressMTLS)"

다음을 바꿉니다.

  • CLUSTER_ID: 클러스터의 ID 또는 이름입니다.
  • LOCATION: 클러스터의 위치입니다.

SASL 및 mTLS 인증에 대한 자세한 내용은 Kafka 브로커의 인증 유형을 참고하세요.

중개업체

클러스터의 브로커를 보려면 Managed Service for Apache Kafka 클러스터의 브로커 보기를 참고하세요.

소비자 그룹

소비자 그룹은 다양한 주제의 데이터를 소비하기 위해 협력하는 소비자 집합입니다. 클러스터의 컨슈머 그룹을 보려면 다음 페이지를 참고하세요.

서브네트워크

클러스터에 연결된 서브네트워크를 보려면 다음 단계를 수행하세요.

콘솔

  1. Google Cloud 콘솔에서 클러스터 페이지로 이동합니다.

    클러스터로 이동

  2. 클러스터 이름을 클릭합니다.

  3. 클러스터 세부정보 페이지에서 구성 탭을 클릭합니다. 연결된 서브네트워크는 서브네트워크에 나열됩니다.

gcloud

  1. gcloud managed-kafka clusters describe 명령어를 실행합니다.

    gcloud managed-kafka clusters describe CLUSTER_ID \
        --location=LOCATION \
        --format="yaml(gcpConfig.accessConfig.networkConfigs)"
    

    다음을 바꿉니다.

    • CLUSTER_ID: 클러스터의 ID 또는 이름입니다.
    • LOCATION: 클러스터의 위치입니다.

자세한 내용은 Managed Service for Apache Kafka의 네트워킹 구성을 참고하세요.

허용된 소스 IP 범위

공개 클러스터에 허용된 소스 IP 범위를 보려면 다음 단계를 따르세요.

콘솔

  1. Google Cloud 콘솔에서 클러스터 페이지로 이동합니다.

    클러스터로 이동

  2. 클러스터 이름을 클릭합니다.

  3. 구성 탭을 클릭합니다. 허용된 소스 IP 범위는 IP 범위 열 아래의 허용된 소스 IP 범위 표에 나열되어 있습니다.

gcloud

  1. gcloud를 사용하여 허용된 소스 IP 범위를 보려면 gcloud managed-kafka clusters describe 명령어의 응답에서 gcpConfig.accessConfig.publicClusterConfig.allowedSourceIpRanges 필드를 확인하세요.

    gcloud managed-kafka clusters describe CLUSTER_ID \
        --location=LOCATION \
        --format="yaml(gcpConfig.accessConfig.publicClusterConfig.allowedSourceIpRanges)"
    

    다음을 바꿉니다.

    • CLUSTER_ID: 클러스터의 ID 또는 이름입니다.
    • LOCATION: 클러스터의 위치입니다.

REST

REST API를 사용하여 허용된 소스 IP 범위를 확인하려면 GET 요청의 응답에서 gcpConfig.accessConfig.publicClusterConfig.allowedSourceIpRanges 필드를 확인하세요.

요청 데이터를 사용하기 전에 다음을 바꿉니다.

  • PROJECT_ID: Google Cloud 프로젝트 ID
  • LOCATION: 클러스터의 위치입니다.
  • CLUSTER_ID: 클러스터의 ID입니다.
  • CLUSTER_VIEW: 반환할 메타데이터의 양입니다. 다음 값 중 하나를 지정합니다.

    • CLUSTER_VIEW_BASIC: 클러스터의 기본 메타데이터를 반환합니다.
    • CLUSTER_VIEW_FULL: 클러스터의 브로커에 관한 정보와 클러스터가 실행 중인 Kafka 버전 번호를 비롯한 클러스터의 모든 메타데이터를 반환합니다.

    지정하지 않으면 메서드의 기본값은 CLUSTER_VIEW_BASIC입니다.

HTTP 메서드 및 URL:

GET https://managedkafka.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/clusters/CLUSTER_ID?view=CLUSTER_VIEW

요청을 보내려면 다음 옵션 중 하나를 펼칩니다.

다음과 비슷한 JSON 응답이 표시됩니다.

{
  "name": "projects/PROJECT_ID/locations/LOCATION/clusters/CLUSTER_ID",
  "createTime": "CREATE_TIME",
  "updateTime": "UPDATE_TIME",
  "capacityConfig": {
    "vcpuCount": "CPU_COUNT",
    "memoryBytes": "MEMORY"
  },
  "rebalanceConfig": {},
  "gcpConfig": {
    "accessConfig": {
      "networkConfigs": [
        {
          "subnet": "projects/PROJECT_ID/locations/LOCATION/subnetworks/SUBNET_ID"
        }
      ],
      "publicClusterConfig": {
        "allowedSourceIpRanges": [
          "203.0.113.5/32"
        ]
      }
    }
  },
  "state": "ACTIVE",
  "satisfiesPzi": false,
  "satisfiesPzs": false,
  "tlsConfig": {
    "trustConfig": {}
  },
  "updateOptions": {},
  "publicClusterDetails": {
    "discoveryDnsRecords": [
      "discovery-1.CLUSTER_ID.LOCATION.managedkafka.PROJECT_ID.cloud.goog"
    ],
    "externalIpAddresses": [
      "203.0.113.1",
      "203.0.113.2",
      "203.0.113.3",
      "203.0.113.4"
    ]
  }
}

허용되는 소스 IP 범위에 대한 자세한 내용은 공개 클러스터를 참고하세요.

공개 클러스터 세부정보

외부 IP 주소 및 검색 DNS 레코드를 비롯한 공개 클러스터 세부정보를 보려면 다음 단계를 따르세요.

콘솔

  1. Google Cloud 콘솔에서 클러스터 페이지로 이동합니다.

    클러스터로 이동

  2. 클러스터 이름을 클릭합니다.

  3. 구성 탭을 클릭합니다. 외부 IP 주소와 검색 DNS 레코드는 외부 IP 주소DNS 검색 레코드 필드에 나열됩니다.

gcloud

  1. gcloud managed-kafka clusters describe 명령어를 실행합니다.

    gcloud managed-kafka clusters describe CLUSTER_ID \
        --location=LOCATION \
        --format="yaml(publicClusterDetails)"
    

    다음을 바꿉니다.

    • CLUSTER_ID: 클러스터의 ID 또는 이름입니다.
    • LOCATION: 클러스터의 위치입니다.

REST

REST API를 사용하여 공개 클러스터 세부정보를 보려면 GET 요청의 응답에서 publicClusterDetails 필드를 확인하세요.

요청 데이터를 사용하기 전에 다음을 바꿉니다.

  • PROJECT_ID: Google Cloud 프로젝트 ID
  • LOCATION: 클러스터의 위치입니다.
  • CLUSTER_ID: 클러스터의 ID입니다.
  • CLUSTER_VIEW: 반환할 메타데이터의 양입니다. 다음 값 중 하나를 지정합니다.

    • CLUSTER_VIEW_BASIC: 클러스터의 기본 메타데이터를 반환합니다.
    • CLUSTER_VIEW_FULL: 클러스터의 브로커에 관한 정보와 클러스터가 실행 중인 Kafka 버전 번호를 비롯한 클러스터의 모든 메타데이터를 반환합니다.

    지정하지 않으면 메서드의 기본값은 CLUSTER_VIEW_BASIC입니다.

HTTP 메서드 및 URL:

GET https://managedkafka.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/clusters/CLUSTER_ID?view=CLUSTER_VIEW

요청을 보내려면 다음 옵션 중 하나를 펼칩니다.

다음과 비슷한 JSON 응답이 표시됩니다.

{
  "name": "projects/PROJECT_ID/locations/LOCATION/clusters/CLUSTER_ID",
  "createTime": "CREATE_TIME",
  "updateTime": "UPDATE_TIME",
  "capacityConfig": {
    "vcpuCount": "CPU_COUNT",
    "memoryBytes": "MEMORY"
  },
  "rebalanceConfig": {},
  "gcpConfig": {
    "accessConfig": {
      "networkConfigs": [
        {
          "subnet": "projects/PROJECT_ID/locations/LOCATION/subnetworks/SUBNET_ID"
        }
      ],
      "publicClusterConfig": {
        "allowedSourceIpRanges": [
          "203.0.113.5/32"
        ]
      }
    }
  },
  "state": "ACTIVE",
  "satisfiesPzi": false,
  "satisfiesPzs": false,
  "tlsConfig": {
    "trustConfig": {}
  },
  "updateOptions": {},
  "publicClusterDetails": {
    "discoveryDnsRecords": [
      "discovery-1.CLUSTER_ID.LOCATION.managedkafka.PROJECT_ID.cloud.goog"
    ],
    "externalIpAddresses": [
      "203.0.113.1",
      "203.0.113.2",
      "203.0.113.3",
      "203.0.113.4"
    ]
  }
}

주제

클러스터의 주제를 보려면 다음 페이지를 참고하세요.

다음 단계

Apache Kafka®는 미국 및/또는 다른 국가에서 사용되는 Apache Software Foundation 또는 해당 계열사의 등록 상표입니다.