이 튜토리얼에서는 Kafka Connect를 사용하여 Managed Service for Apache Kafka 클러스터에서 Cloud Storage로 메시지를 쓰는 방법을 보여줍니다.
Kafka Connect는 Kafka 클러스터와 다른 시스템 간의 데이터 이동을 관리합니다. 이 튜토리얼에서는 Connect 클러스터와 Cloud Storage 싱크 커넥터를 만듭니다. Cloud Storage 싱크 커넥터는 Kafka에서 메시지를 읽고 Cloud Storage 버킷에 씁니다.
이 시나리오에서는 Dataflow를 사용할 수도 있습니다. Kafka Connect와 Dataflow 중에서 선택하는 방법은 Managed Service for Apache Kafka를 다른 Google Cloud 서비스와 통합을 참조하세요.
시작하기 전에
콘솔
- Google Cloud 계정에 로그인합니다. Google Cloud를 처음 사용하는 경우 계정을 만들고 Google 제품의 실제 성능을 평가해 보세요. 신규 고객에게는 워크로드를 실행, 테스트, 배포하는 데 사용할 수 있는 $300의 무료 크레딧이 제공됩니다.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
Enable the Managed Kafka API, if it is not already enabled.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
Enable the Managed Kafka API, if it is not already enabled.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.-
프로젝트에 관리형 Kafka 클러스터 편집자, 관리형 Kafka Connect 클러스터 편집자, 관리형 Kafka 커넥터 편집자, 관리형 Kafka 주제 편집자, 스토리지 관리자 역할이 있는지 확인합니다.
역할 확인
-
Google Cloud 콘솔에서 IAM 페이지로 이동합니다.
IAM으로 이동 - 프로젝트를 선택합니다.
-
주 구성원 열에서 나 또는 내가 속한 그룹을 식별하는 모든 행을 찾습니다. 내가 속한 그룹을 알아보려면 관리자에게 문의하세요.
- 나를 지정하거나 포함하는 모든 행의 역할 열을 확인하여 역할 목록에 필요한 역할이 포함되어 있는지 확인합니다.
역할 부여
-
Google Cloud 콘솔에서 IAM 페이지로 이동합니다.
IAM으로 이동 - 프로젝트를 선택합니다.
- 액세스 권한 부여를 클릭합니다.
-
새 주 구성원 필드에 사용자 식별자를 입력합니다. 일반적으로 Google 계정의 이메일 주소입니다.
- 역할 선택을 클릭한 후 역할을 검색합니다.
- 역할을 추가로 부여하려면 다른 역할 추가를 클릭하고 각 역할을 추가합니다.
- 저장을 클릭합니다.
-
gcloud
- Google Cloud 계정에 로그인합니다. Google Cloud를 처음 사용하는 경우 계정을 만들고 Google 제품의 실제 성능을 평가해 보세요. 신규 고객에게는 워크로드를 실행, 테스트, 배포하는 데 사용할 수 있는 $300의 무료 크레딧이 제공됩니다.
-
Google Cloud CLI를 설치합니다.
-
외부 ID 공급업체(IdP)를 사용하는 경우 먼저 제휴 ID로 gcloud CLI에 로그인해야 합니다.
-
gcloud CLI를 초기화하려면, 다음 명령어를 실행합니다.
gcloud init -
Google Cloud 프로젝트를 만들거나 선택합니다.
프로젝트를 선택하거나 만드는 데 필요한 역할
- 프로젝트 선택: 프로젝트를 선택하는 데 특정 IAM 역할이 필요하지 않습니다. 역할이 부여된 프로젝트를 선택할 수 있습니다.
-
프로젝트 만들기: 프로젝트를 만들려면
resourcemanager.projects.create권한이 포함된 프로젝트 생성자 역할(roles/resourcemanager.projectCreator)이 필요합니다. 역할 부여 방법 알아보기
-
Google Cloud 프로젝트를 만듭니다.
gcloud projects create PROJECT_ID
PROJECT_ID를 만들려는 Google Cloud 프로젝트의 이름으로 바꿉니다. -
만든 Google Cloud 프로젝트를 선택합니다.
gcloud config set project PROJECT_ID
PROJECT_ID을 Google Cloud 프로젝트 이름으로 바꿉니다.
Managed Kafka API가 아직 사용 설정되지 않았으면 사용 설정합니다.
API 사용 설정에 필요한 역할
API를 사용 설정하려면
serviceusage.services.enable권한이 필요합니다. 프로젝트를 만든 경우 소유자 역할(roles/owner)을 통해 이 권한이 이미 있을 수 있습니다. 그렇지 않으면 서비스 사용량 관리자 역할(roles/serviceusage.serviceUsageAdmin)을 통해 이 권한을 얻을 수 있습니다. 역할 부여 방법 알아보기gcloud services enable managedkafka.googleapis.com
-
Google Cloud CLI를 설치합니다.
-
외부 ID 공급업체(IdP)를 사용하는 경우 먼저 제휴 ID로 gcloud CLI에 로그인해야 합니다.
-
gcloud CLI를 초기화하려면, 다음 명령어를 실행합니다.
gcloud init -
Google Cloud 프로젝트를 만들거나 선택합니다.
프로젝트를 선택하거나 만드는 데 필요한 역할
- 프로젝트 선택: 프로젝트를 선택하는 데 특정 IAM 역할이 필요하지 않습니다. 역할이 부여된 프로젝트를 선택할 수 있습니다.
-
프로젝트 만들기: 프로젝트를 만들려면
resourcemanager.projects.create권한이 포함된 프로젝트 생성자 역할(roles/resourcemanager.projectCreator)이 필요합니다. 역할 부여 방법 알아보기
-
Google Cloud 프로젝트를 만듭니다.
gcloud projects create PROJECT_ID
PROJECT_ID를 만들려는 Google Cloud 프로젝트의 이름으로 바꿉니다. -
만든 Google Cloud 프로젝트를 선택합니다.
gcloud config set project PROJECT_ID
PROJECT_ID을 Google Cloud 프로젝트 이름으로 바꿉니다.
Managed Kafka API가 아직 사용 설정되지 않았으면 사용 설정합니다.
API 사용 설정에 필요한 역할
API를 사용 설정하려면
serviceusage.services.enable권한이 필요합니다. 프로젝트를 만든 경우 소유자 역할(roles/owner)을 통해 이 권한이 이미 있을 수 있습니다. 그렇지 않으면 서비스 사용량 관리자 역할(roles/serviceusage.serviceUsageAdmin)을 통해 이 권한을 얻을 수 있습니다. 역할 부여 방법 알아보기gcloud services enable managedkafka.googleapis.com
-
사용자 계정에 역할을 부여합니다. 다음 각 IAM 역할에 대해 다음 명령어를 한 번씩 실행합니다.
roles/managedkafka.clusterEditor, roles/managedkafka.connectClusterEditor, roles/managedkafka.connectorEditor, roles/managedkafka.topicEditor, roles/storage.admingcloud projects add-iam-policy-binding PROJECT_ID --member="user:USER_IDENTIFIER" --role=ROLE
다음을 바꿉니다.
PROJECT_ID: 프로젝트 ID입니다.USER_IDENTIFIER: 사용자 계정의 식별자입니다. 예를 들면myemail@example.com입니다.ROLE: 사용자 계정에 부여하는 IAM 역할입니다.
Cloud Storage 버킷 만들기
이 단계에서는 Cloud Storage 버킷을 만듭니다. 이 버킷은 Cloud Storage 싱크 커넥터가 Kafka에서 읽는 데이터를 저장합니다.
콘솔
Cloud Storage > 버킷 페이지로 이동합니다.
만들기를 클릭합니다.
버킷 만들기 페이지에서 버킷 이름 지정 요구사항을 충족하는 이름을 입력합니다. Cloud Storage 버킷 이름은 전역에서 고유해야 합니다.
만들기를 클릭합니다.
gcloud
Cloud Storage 버킷을 만들려면 gcloud storage buckets create 명령어를 실행합니다.
gcloud storage buckets create gs://BUCKET_NAME --location=BUCKET_LOCATION
다음을 바꿉니다.
BUCKET_NAME: 버킷 이름 지정 요구사항을 충족하는 Cloud Storage 버킷의 이름. Cloud Storage 버킷 이름은 전역에서 고유해야 합니다.
BUCKET_LOCATION: 버킷의 위치입니다. 예를 들면
US입니다.
Managed Service for Apache Kafka 리소스 만들기
이 섹션에서는 다음 Managed Service for Apache Kafka 리소스를 만듭니다.
- 주제가 있는 Kafka 클러스터
- Cloud Storage 싱크 커넥터가 있는 커넥터가 있는 Connect 클러스터
Kafka 클러스터 만들기
이 단계에서는 Managed Service for Apache Kafka 클러스터를 만듭니다. 클러스터를 만드는 데 최대 30분이 걸릴 수 있습니다.
콘솔
- Apache Kafka용 관리형 서비스 > 클러스터 페이지로 이동합니다.
- 만들기를 클릭합니다.
- 클러스터 이름 체크박스에 클러스터 이름을 입력합니다.
- 리전 목록에서 클러스터의 위치를 선택합니다.
-
네트워크 구성에서 클러스터에 액세스할 수 있는 서브넷을 구성합니다.
- 프로젝트에서 사용자 프로젝트를 선택합니다.
- 네트워크에서 VPC 네트워크를 선택합니다.
- 서브넷에서 서브넷을 선택합니다.
- 완료를 클릭합니다.
- 만들기를 클릭합니다.
만들기를 클릭하면 클러스터 상태가 Creating입니다. 클러스터가 준비되면 상태가 Active입니다.
gcloud
Kafka 클러스터를 만들려면 managed-kafka clusters
create 명령어를 실행합니다.
gcloud managed-kafka clusters create KAFKA_CLUSTER \ --location=REGION \ --cpu=3 \ --memory=3GiB \ --subnets=projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME \ --async
다음을 바꿉니다.
KAFKA_CLUSTER: Kafka 클러스터의 이름REGION: 클러스터의 위치PROJECT_ID: 프로젝트 ID입니다.SUBNET_NAME: 클러스터를 만들려는 서브넷입니다(예:default).
지원되는 위치에 대한 자세한 내용은 Managed Service for Apache Kafka 위치를 참조하세요.
이 명령어는 비동기식으로 실행되며 작업 ID를 반환합니다.
Check operation [projects/PROJECT_ID/locations/REGION/operations/OPERATION_ID] for status.
만들기 작업의 진행 상황을 추적하려면 gcloud managed-kafka
operations describe 명령어를 사용합니다.
gcloud managed-kafka operations describe OPERATION_ID \ --location=REGION
클러스터가 준비되면 이 명령어의 출력에 state:
ACTIVE 항목이 포함됩니다. 자세한 내용은 클러스터 생성 작업 모니터링을 참조하세요.
Kafka 주제 만들기
Managed Service for Apache Kafka 클러스터가 생성되면 Kafka 주제를 만듭니다.
콘솔
Managed Service for Apache Kafka > 클러스터 페이지로 이동합니다.
클러스터 이름을 클릭합니다.
클러스터 세부정보 페이지에서 주제 만들기를 클릭합니다.
주제 이름 체크박스에 주제 이름을 입력합니다.
만들기를 클릭합니다.
gcloud
Kafka 주제를 만들려면 managed-kafka topics create 명령어를 실행합니다.
gcloud managed-kafka topics create KAFKA_TOPIC_NAME \
--cluster=KAFKA_CLUSTER \
--location=REGION \
--partitions=10 \
--replication-factor=3
다음을 바꿉니다.
KAFKA_TOPIC_NAME: 만들 Kafka 주제의 이름KAFKA_CLUSTER: Kafka 클러스터의 이름REGION: Kafka 클러스터를 만든 리전
Connect 클러스터 만들기
이 단계에서는 Connect 클러스터를 만듭니다. Connect 클러스터를 만드는 데 최대 30분이 걸릴 수 있습니다.
이 단계를 시작하기 전에 Managed Service for Apache Kafka 클러스터가 완전히 생성되었는지 확인합니다.
콘솔
Apache Kafka용 관리형 서비스 > 연결 클러스터 페이지로 이동합니다.
만들기를 클릭합니다.
Connect 클러스터 이름에 문자열을 입력합니다. 예를 들면
my-connect-cluster입니다.기본 Kafka 클러스터에서 이전에 만든 Kafka를 선택합니다.
만들기를 클릭합니다.
클러스터가 생성되는 동안 클러스터 상태는 Creating입니다. 클러스터 생성이 완료되면 상태가 Active입니다.
gcloud
Connect 클러스터를 만들려면 gcloud managed-kafka connect-clusters create 명령어를 실행합니다.
gcloud managed-kafka connect-clusters create CONNECT_CLUSTER \
--location=REGION \
--cpu=12 \
--memory=12GiB \
--primary-subnet=projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME \
--kafka-cluster=KAFKA_CLUSTER \
--async
다음을 바꿉니다.
CONNECT_CLUSTER: Connect 클러스터의 이름REGION: Kafka 클러스터를 만든 리전PROJECT_ID: 프로젝트 ID입니다.SUBNET_NAME: Kafka 클러스터를 만든 서브넷KAFKA_CLUSTER: Kafka 클러스터의 이름
이 명령어는 비동기식으로 실행되며 작업 ID를 반환합니다.
Check operation [projects/PROJECT_ID/locations/REGION/operations/OPERATION_ID] for status.
만들기 작업의 진행 상황을 추적하려면 gcloud managed-kafka operations describe 명령어를 사용합니다.
gcloud managed-kafka operations describe OPERATION_ID \
--location=REGION
자세한 내용은 클러스터 생성 작업 모니터링을 참조하세요.
IAM 역할 부여
관리형 Kafka 서비스 계정에 스토리지 객체 생성자 Identity and Access Management(IAM) 역할을 부여합니다. 이 역할을 통해 커넥터가 Cloud Storage에 파일을 쓸 수 있습니다.
콘솔
Google Cloud 콘솔에서 IAM 페이지로 이동합니다.
Google 제공 역할 부여 포함을 선택합니다.
관리형 Kafka 서비스 계정 행을 찾아 주 구성원 수정을 클릭합니다.
다른 역할 추가를 클릭하고 스토리지 객체 생성자 역할을 선택합니다.
저장을 클릭합니다.
역할 부여에 대한 자세한 내용은 콘솔을 사용하여 IAM 역할 부여를 참조하세요.
gcloud
서비스 계정에 IAM 역할을 부여하려면 gcloud projects add-iam-policy-binding 명령어를 실행합니다.
gcloud projects add-iam-policy-binding PROJECT_ID \
--member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-managedkafka.iam.gserviceaccount.com \
--role=roles/storage.objectCreator
다음을 바꿉니다.
PROJECT_ID: 프로젝트 ID입니다.PROJECT_NUMBER: 프로젝트 번호
프로젝트 번호를 찾으려면 gcloud projects describe 명령어를 사용합니다.
Cloud Storage 싱크 커넥터 만들기
이 단계에서는 Cloud Storage 싱크 커넥터를 만듭니다. 이 커넥터는 하나 이상의 Kafka 주제에서 메시지를 읽고 Cloud Storage에 씁니다.
콘솔
Apache Kafka용 관리형 서비스 > 연결 클러스터 페이지로 이동합니다.
Connect 클러스터 이름을 클릭합니다.
커넥터 만들기를 클릭합니다.
커넥터 이름에 문자열을 입력합니다. 예:
pubsub-source커넥터 플러그인 목록에서
Cloud Storage Source를 선택합니다.주제에서 이전에 만든 Kafka 주제를 선택하고 확인을 클릭합니다.
GCS 버킷에서 찾아보기를 클릭합니다.
이전에 만든 Cloud Storage 버킷을 선택하고 선택을 클릭합니다.
만들기를 클릭합니다.
gcloud
Cloud Storage 싱크 커넥터를 만들려면 gcloud managed-kafka connectors create 명령어를 실행합니다.
gcloud managed-kafka connectors create STORAGE_CONNECTOR_NAME \
--location=REGION \
--connect-cluster=CONNECT_CLUSTER \
--configs=connector.class=io.aiven.kafka.connect.gcs.GcsSinkConnector,\
file.name.prefix=,\
format.output.type=json,\
gcs.bucket.name=BUCKET_NAME,\
gcs.credentials.default=true,\
key.converter=org.apache.kafka.connect.storage.StringConverter,\
tasks.max=3,\
topics=KAFKA_TOPIC_NAME,\
value.converter=org.apache.kafka.connect.json.JsonConverter,\
value.converter.schemas.enable=false
다음을 바꿉니다.
STORAGE_CONNECTOR_NAME: 커넥터 이름(예:storage-sink-connector)CONNECT_CLUSTER: Connect 클러스터 이름REGION: Connect 클러스터를 만든 리전PROJECT_ID: 프로젝트 ID입니다.BUCKET_NAME: Cloud Storage 버킷 이름KAFKA_TOPIC_NAME: Kafka 주제의 이름
결과 보기
결과를 보려면 Kafka 주제로 메시지를 전송합니다. Managed Service for Apache Kafka에 메시지를 전송하는 방법에는 여러 가지가 있습니다.
Cloud Storage 싱크 커넥터는 Kafka 메시지를 읽고 Cloud Storage의 파일에 씁니다. 첫 번째 파일이 작성되는 데 몇 분 정도 걸릴 수 있습니다.
출력 파일을 보려면 다음 단계를 수행합니다.
콘솔
- Cloud Storage > 버킷 페이지로 이동합니다.
버킷 목록에서 앞서 만든 버킷의 이름을 클릭합니다.
Cloud Storage 싱크 커넥터가 파일을 성공적으로 작성한 경우 버킷 세부정보 페이지에 나열됩니다. 파일을 한 개 이상 선택합니다.
다운로드를 클릭하여 선택한 파일을 다운로드합니다.
gcloud
출력 파일을 나열하려면 gcloud storage ls 명령어를 실행합니다.
gcloud storage ls gs://BUCKET_NAME
파일을 다운로드하려면 gcloud storage cp 명령어를 실행합니다.
gcloud storage cp --recursive gs://BUCKET_NAME .
BUCKET_NAME을 Cloud Storage 버킷 이름으로 바꿉니다.
삭제
이 튜토리얼에서 사용된 리소스 비용이 Google Cloud 계정에 청구되지 않도록 하려면 리소스가 포함된 프로젝트를 삭제하거나 프로젝트를 유지하고 개별 리소스를 삭제하세요.
콘솔
Cloud Storage 버킷을 삭제합니다.
Cloud Storage > 버킷 페이지로 이동합니다.
버킷을 선택하고 삭제를 클릭합니다.
연결 클러스터를 삭제합니다.
Apache Kafka용 관리형 서비스 > 연결 클러스터 페이지로 이동합니다.
연결 클러스터를 선택하고 삭제를 클릭합니다.
Kafka 클러스터를 삭제합니다.
Managed Service for Apache Kafka > 클러스터 페이지로 이동합니다.
Kafka 클러스터를 선택하고 삭제를 클릭합니다.
gcloud
Cloud Storage 버킷과 해당 객체를 삭제하려면
gcloud storage rm명령어를 사용합니다.gcloud storage rm gs://BUCKET_NAME --recursiveConnect 클러스터를 삭제하려면
gcloud managed-kafka connect-clusters delete명령어를 사용합니다.gcloud managed-kafka connect-clusters delete CONNECT_CLUSTER \ --location=REGION --asyncKafka 클러스터를 삭제하려면
gcloud managed-kafka clusters delete명령어를 사용합니다.gcloud managed-kafka clusters delete KAFKA_CLUSTER \ --location=REGION --async
다음 단계
- Cloud Storage 싱크 커넥터 문제 해결
- Cloud Storage 싱크 커넥터 자세히 알아보기
- Kafka Connect 자세히 알아보기