타사 레지스트리에서 컨테이너 이미지 마이그레이션

타사 레지스트리에서 컨테이너 이미지 일부를 직접 가져와 Google Kubernetes Engine 또는 Cloud Run과 같은 Google Cloud 환경에 배포하면 이미지 가져오기 또는 타사 서비스 중단에 대한 비율 제한에 따라 빌드와 배포가 중단될 수 있습니다. 이 페이지에서는 통합되고 일관된 컨테이너 이미지 관리를 위해 이러한 이미지를 식별하고 Artifact Registry에 복사하는 방법을 설명합니다.

Artifact Registry는 Artifact Registry로 복사하는 이미지 업데이트에 사용되는 서드 파티 레지스트리를 모니터링하지 않습니다. 최신 버전의 이미지를 파이프라인에 통합하려면 Artifact Registry로 푸시해야 합니다.

마이그레이션 개요

컨테이너 이미지 마이그레이션에는 다음 단계가 포함됩니다.

  1. 기본 요건을 설정합니다.
  2. 마이그레이션할 이미지를 식별합니다.
    • 타사 레지스트리에 대한 참조로 Dockerfile 파일과 배포 매니페스트 검색
    • Cloud Logging 및 BigQuery를 사용하여 타사 레지스트리에서 이미지 가져오기 빈도를 결정합니다.
  3. Artifact Registry에 식별된 이미지를 복사합니다.
  4. 레지스트리에 대한 권한이 올바르게 구성되었는지 특히 Artifact Registry와 Google Cloud배포 환경이 다른 프로젝트에 있는지 확인합니다.
  5. 배포 매니페스트를 업데이트합니다.
  6. 워크로드를 다시 배포합니다.

시작하기 전에

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. Install the Google Cloud CLI.

  3. 외부 ID 공급업체(IdP)를 사용하는 경우 먼저 제휴 ID로 gcloud CLI에 로그인해야 합니다.

  4. gcloud CLI를 초기화하려면, 다음 명령어를 실행합니다. 

    gcloud init

  5. Create or select a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    • Create a Google Cloud project:

      gcloud projects create PROJECT_ID

      Replace PROJECT_ID with a name for the Google Cloud project you are creating.

    • Select the Google Cloud project that you created:

      gcloud config set project PROJECT_ID

      Replace PROJECT_ID with your Google Cloud project name.

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the Artifact Registry API:

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles. 

    gcloud services enable artifactregistry.googleapis.com

  8. Install the Google Cloud CLI.

  9. 외부 ID 공급업체(IdP)를 사용하는 경우 먼저 제휴 ID로 gcloud CLI에 로그인해야 합니다.

  10. gcloud CLI를 초기화하려면, 다음 명령어를 실행합니다. 

    gcloud init

  11. Create or select a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    • Create a Google Cloud project:

      gcloud projects create PROJECT_ID

      Replace PROJECT_ID with a name for the Google Cloud project you are creating.

    • Select the Google Cloud project that you created:

      gcloud config set project PROJECT_ID

      Replace PROJECT_ID with your Google Cloud project name.

  12. Verify that billing is enabled for your Google Cloud project.

  13. Enable the Artifact Registry API:

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles. 

    gcloud services enable artifactregistry.googleapis.com
  14. Artifact Registry 저장소가 없는 경우 저장소를 만들고 저장소에 액세스해야 하는 서드 파티 클라이언트의 인증을 구성합니다.
  15. 권한을 확인합니다. 이미지를 Artifact Registry로 마이그레이션할 프로젝트에 소유자 또는 편집자 IAM 역할이 있어야 합니다.
  16. 다음 환경 변수를 내보냅니다. 
    export PROJECT=$(gcloud config get-value project)

  17. Go 버전 1.13 이상이 설치되어 있는지 확인합니다. 
    go version
     Go를 설치하거나 업데이트해야 하는 경우 Go 설치 문서를 참고하세요.

    18. 비용

    이 가이드에서는 비용이 청구될 수 있는 다음과 같은 Google Cloud구성요소를 사용합니다.

    마이그레이션할 이미지 식별

    타사 레지스트리에 대한 참조용 컨테이너 이미지를 빌드 및 배포하는 데 사용한 파일을 검색한 후 이미지를 가져오는 빈도를 확인합니다.

    Dockerfile에서 참조 식별

    Dockerfile이 저장된 위치에서 이 단계를 수행합니다. 파일을 VM에서 사용할 수 있는 경우 코드가 로컬에서 체크아웃되거나 Cloud Shell에 있는 위치일 수 있습니다.

    Dockerfile이 있는 디렉터리에서 다음 명령어를 실행합니다.

    grep -inr -H --include Dockerfile\* "FROM" . | grep -i -v -E 'docker.pkg.dev|gcr.io'

    출력은 다음 예시와 같이 표시됩니다.

    ./code/build/baseimage/Dockerfile:1:FROM debian:stretch
./code/build/ubuntubase/Dockerfile:1:FROM ubuntu:latest
./code/build/pythonbase/Dockerfile:1:FROM python:3.5-buster

    이 명령어는 디렉터리의 모든 Dockerfile을 검색하고 "FROM" 줄을 식별합니다. Dockerfile을 저장하는 방법과 일치하도록 명령어를 조정합니다.

    매니페스트에서 참조 식별

    GKE 또는 Cloud Run 매니페스트가 저장되는 위치에서 이 단계를 수행합니다. 파일을 VM에서 사용할 수 있는 경우 코드가 로컬에서 체크아웃되거나 Cloud Shell에 있는 위치일 수 있습니다.
    1. GKE 또는 Cloud Run 매니페스트가 있는 디렉터리에서 다음 명령어를 실행합니다. 
      grep -inr -H --include \*.yaml "image:" . | grep -i -v -E 'docker.pkg.dev|gcr.io'
       다음과 유사한 결과가 출력됩니다. 
          ./code/deploy/k8s/ubuntu16-04.yaml:63: image: busybox:1.31.1-uclibc
    ./code/deploy/k8s/master.yaml:26:      image: kubernetes/redis:v1
      이 명령어는 디렉터리의 모든 YAML 파일을 확인하고 image: 줄을 식별합니다. 매니페스트가 저장되는 방식에 따라 필요에 맞게 명령어를 조정합니다.
    2. 클러스터에서 실행 중인 이미지를 나열하려면 다음 명령어를 실행합니다. 
      kubectl get all --all-namespaces -o yaml | grep image: | grep -i -v -E 'docker.pkg.dev|gcr.io'
       이 명령어는 선택된 Kubernetes 클러스터에서 실행 중인 모든 객체를 반환하고 이미지 이름을 가져옵니다. 다음과 유사한 결과가 출력됩니다. 
          - image: nginx
      image: nginx:latest
        - image: nginx
        - image: nginx

    전체Google Cloud 프로젝트의 모든 GKE 클러스터에 이전 명령어를 실행합니다.

    타사 레지스트리에서 가져오기 빈도 식별

    타사 레지스트리에서 가져오는 프로젝트에서 이미지 가져오기 빈도에 대한 정보를 사용하여 사용량이 타사 레지스트리에서 적용하는 비율 제한에 근접하거나 이를 초과하는지 확인합니다.

    로그 데이터 수집

    로그 싱크를 만들어 BigQuery로 데이터를 내보냅니다. 로그 싱크에는 내보낼 로그 항목을 선택하는 대상과 쿼리가 포함됩니다. 개별 프로젝트를 쿼리하여 싱크를 만들거나 스크립트를 사용하여 프로젝트 간에 데이터를 수집할 수 있습니다.

    단일 프로젝트의 싱크를 만들려면 다음 안내를 따르세요.

    1. Google Cloud 콘솔에서 로그 탐색기 페이지로 이동합니다.

      로그 탐색기로 이동

      검색창을 사용하여 이 페이지를 찾은 경우 부제목이 Logging인 결과를 선택합니다.

    2. Google Cloud 프로젝트를 선택합니다.

    3. 쿼리 빌더 탭에서 다음 쿼리를 입력합니다.

        resource.type="k8s_pod"
  jsonPayload.reason="Pulling"

    4. 변경 내역 필터를 지난 1시간에서 지난 7일로 변경합니다. 이미지

    5. 쿼리 실행을 클릭합니다.

    6. 결과가 올바르게 표시되는지 확인한 후 작업 > 싱크 만들기를 클릭합니다.

    7. 싱크 세부정보 대화상자에서 다음을 완료합니다.

      1. 싱크 이름 필드에 image_pull_logs를 입력합니다.
      2. 싱크 설명에 싱크에 대한 설명을 입력합니다.

    8. 다음을 클릭합니다.

    9. 싱크 대상 위치 대화상자에서 다음 값을 선택합니다.

      1. 싱크 서비스 선택 필드에서 BigQuery 데이터 세트를 선택합니다.
      2. BigQuery 데이터 세트 선택 필드에서 새 BigQuery 데이터 세트 만들기를 선택하고 열리는 대화상자에서 필수 정보를 입력합니다. BigQuery 데이터 세트를 만드는 방법에 대한 자세한 내용은 데이터 세트 만들기를 참고하세요.
      3. 데이터 세트 만들기를 클릭합니다.

    10. 다음을 클릭합니다.

      싱크에 포함할 로그 선택 섹션의 쿼리는 쿼리 빌더 탭에서 실행한 쿼리와 일치합니다.

    11. 다음을 클릭합니다.

    12. 선택사항: 싱크를 필터링할 로그를 선택합니다. Cloud Logging 데이터를 쿼리하고 필터링하는 방법에 대한 자세한 내용은 Logging 쿼리 언어를 참고하세요.

    13. 싱크 만들기를 클릭합니다.

      로그 싱크가 생성됩니다.

    여러 프로젝트의 싱크를 만들려면 다음 안내를 따르세요.

    1. Cloud Shell을 엽니다.

    2. Cloud Shell에서 다음 명령어를 실행합니다.

      PROJECTS="PROJECT-LIST"
DESTINATION_PROJECT="DATASET-PROJECT"
DATASET="DATASET-NAME"

for source_project in $PROJECTS
do
  gcloud logging --project="${source_project}" sinks create image_pull_logs bigquery.googleapis.com/projects/${DESTINATION_PROJECT}/datasets/${DATASET} --log-filter='resource.type="k8s_pod" jsonPayload.reason="Pulling"'
done

      각 항목의 의미는 다음과 같습니다.

      • PROJECT-LIST는 공백으로 구분된 Google Cloud 프로젝트 ID 목록입니다. 예를 들면 project1 project2 project3입니다.
      • DATASET-PROJECT는 데이터 세트를 저장할 프로젝트입니다.
      • DATASET-NAME은 데이터 세트 이름입니다(예: image_pull_logs).

    싱크를 만든 후 이미지를 가져오는 빈도에 따라 BigQuery 테이블로 데이터를 전송하는 데 시간이 걸립니다.

    가져오기 빈도 쿼리

    빌드가 수행하는 이미지 가져오기의 대표 샘플이 있으면 가져오기 빈도의 쿼리를 실행합니다.

    1. BigQuery 콘솔로 이동합니다.

    2. 다음 쿼리를 실행합니다.

      SELECT
  REGEXP_EXTRACT(jsonPayload.message, r'"(.*?)"') AS imageName,
  COUNT(*) AS numberOfPulls
FROM
      `DATASET-PROJECT.DATASET-NAME.events_*`
GROUP BY
      imageName
ORDER BY
      numberOfPulls DESC

      각 항목의 의미는 다음과 같습니다.

      • DATASET-PROJECT는 데이터 세트가 포함된 프로젝트입니다.
      • DATASET-NAME는 데이터 세트 이름입니다.
    다음 예시는 쿼리의 출력을 보여줍니다. imageName 열에서 Artifact Registry 또는 Container Registry에 저장되지 않은 이미지의 가져오기 빈도를 검토할 수 있습니다.

    이미지

    Artifact Registry로 이미지 복사

    타사 레지스트리에서 이미지를 식별하면 이미지를 Artifact Registry로 복사할 수 있습니다. gcrane 도구는 복사 프로세스를 지원합니다.

    1. 확인한 이미지의 이름으로 텍스트 파일 images.txt를 만듭니다. 예를 들면 다음과 같습니다.

      ubuntu:18.04
debian:buster
hello-world:latest
redis:buster
jupyter/tensorflow-notebook

    2. gcrane을 다운로드합니다.

        GO111MODULE=on go get github.com/google/go-containerregistry/cmd/gcrane

    3. copy_images.sh라는 스크립트를 만들어 파일 목록을 복사합니다.

      #!/bin/bash

images=$(cat images.txt)

if [ -z "${AR_PROJECT}" ]
then
    echo ERROR: AR_PROJECT must be set before running this
    exit 1
fi

for img in ${images}
do
    gcrane cp ${img} LOCATION-docker.pkg.dev/${AR_PROJECT}/${img}
done

      LOCATION을 저장소의 리전 또는 멀티 리전 위치로 바꿉니다.

      스크립트를 실행 가능하게 만듭니다.

        chmod +x copy_images.sh

    4. 스크립트를 실행하여 파일을 복사합니다.

      AR_PROJECT=${PROJECT}
./copy_images.sh

    권한 확인

    워크로드를 업데이트하고 재배포하기 전에 권한이 올바르게 구성되어 있는지 확인합니다.

    자세한 내용은 액세스 제어 문서를 참고하세요.

    Artifact Registry를 참조하도록 매니페스트 업데이트

    타사 레지스트리 대신 Artifact Registry를 참조하도록 Dockerfile과 매니페스트를 업데이트합니다.

    다음 예시에서는 타사 레지스트리를 참조하는 매니페스트를 보여줍니다.

    apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-deployment
spec:
  selector:
    matchLabels:
      app: nginx
  replicas: 2
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: nginx:1.14.2
        ports:
        - containerPort: 80

    업데이트된 이 매니페스트 버전은 us-docker.pkg.dev의 이미지를 가리킵니다.

    apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-deployment
spec:
  selector:
    matchLabels:
      app: nginx
  replicas: 2
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: us-docker.pkg.dev/<AR_PROJECT>/nginx:1.14.2
        ports:
        - containerPort: 80

    매니페스트가 많은 경우 많은 텍스트 파일에서 업데이트를 처리할 수 있는 sed나 다른 도구를 사용합니다.

    워크로드 재배포

    업데이트된 매니페스트로 워크로드를 재배포합니다.

    BigQuery 콘솔에서 다음 쿼리를 실행하여 새 이미지 가져오기를 추적합니다.

    SELECT`

FORMAT_TIMESTAMP("%D %R", timestamp) as timeOfImagePull,
REGEXP_EXTRACT(jsonPayload.message, r'"(.*?)"') AS imageName,
COUNT(*) AS numberOfPulls
FROM
  `image_pull_logs.events_*`
GROUP BY
  timeOfImagePull,
  imageName
ORDER BY
  timeOfImagePull DESC,
  numberOfPulls DESC

    모든 새 이미지 가져오기는 Artifact Registry에서 수행해야 하고 docker.pkg.dev 문자열을 포함해야 합니다.