생성형 AI 사용 사례를 위한 Cloud Storage 컨트롤

이 문서에는 Google Cloud를 사용하는 생성형 AI 워크로드를 실행할 때 Cloud Storage에 관한 권장사항과 가이드라인이 포함되어 있습니다. Vertex AI와 함께 Cloud Storage를 사용하여 학습 데이터, 모델 아티팩트, 프로덕션 데이터를 저장합니다.

Vertex AI와 함께 Cloud Storage를 사용하는 다음 사용 사례를 고려하세요.

  • 학습 데이터 스토리지 저장: Vertex AI를 사용하면 Cloud Storage 버킷에 학습 데이터 세트를 저장할 수 있습니다. Cloud Storage를 사용하면 다음과 같은 여러 이점이 있습니다.
    • Cloud Storage는 모든 크기의 데이터 세트를 처리할 수 있으므로 저장소 제한 없이 대량의 데이터로 모델을 학습시킬 수 있습니다.
    • Cloud Storage 버킷에 세부적인 액세스 제어 및 암호화를 설정하여 민감한 학습 데이터를 보호할 수 있습니다.
    • Cloud Storage를 사용하면 변경사항을 추적하고 이전 버전의 데이터로 되돌릴 수 있어 유용한 감사 추적을 제공하고 재현 가능한 학습 실험을 지원합니다.
    • Vertex AI는 Cloud Storage와 원활하게 통합되므로 플랫폼 내에서 학습 데이터에 액세스할 수 있습니다.
  • 모델 아티팩트 저장: 모델 파일, 초매개변수 구성, 학습 로그와 같은 학습된 모델 아티팩트를 Cloud Storage 버킷에 저장할 수 있습니다. Cloud Storage를 사용하면 다음 작업을 할 수 있습니다.
    • 모델 아티팩트를 모두 Cloud Storage에 중앙 저장소로 보관하여 편리하게 액세스하고 관리합니다.
    • 모델의 다양한 버전을 추적하고 관리하여 필요한 경우 비교 및 롤백을 용이하게 합니다.
    • 팀원과 공동작업자에게 특정 Cloud Storage 버킷에 대한 액세스 권한을 부여하여 모델을 효율적으로 공유하세요.
  • 프로덕션 데이터 저장: 프로덕션에 사용되는 모델의 경우 Cloud Storage는 예측을 위해 모델에 제공되는 데이터를 저장할 수 있습니다. 예를 들어 Cloud Storage를 사용하여 다음 작업을 할 수 있습니다.
    • 실시간 맞춤 추천을 위해 사용자 데이터와 상호작용을 저장합니다.
    • 모델을 사용하여 주문형 처리 및 분류를 위해 이미지를 보관합니다.
    • 모델을 사용하여 실시간 사기 식별을 위한 거래 데이터를 유지합니다.
  • 다른 서비스와 통합: Cloud Storage는 Vertex AI 워크플로에서 사용되는 다른 Google Cloud 서비스와 원활하게 통합됩니다. 예를 들면 다음과 같습니다.
    • 데이터 전처리 및 변환 파이프라인을 간소화하는 Dataflow
    • 모델 학습 및 추론을 위해 BigQuery에 저장된 대규모 데이터 세트에 액세스하기 위한 BigQuery
    • 모델 예측 또는 Cloud Storage 버킷의 데이터 변경에 기반한 작업을 위한 Cloud Run 함수
  • 비용 관리: Cloud Storage는 사용한 만큼만 지불하는 가격 책정 모델을 제공하므로 사용한 스토리지에 대해서만 비용을 지불하면 됩니다. 이를 통해 특히 대규모 데이터 세트의 경우 비용 효율성을 높일 수 있습니다.
  • 고가용성 및 내구성 사용 설정: Cloud Storage는 데이터의 고가용성을 보장하고 장애 또는 서비스 중단으로부터 데이터를 보호하여 ML 애셋에 대한 안정적이고 강력한 액세스를 보장합니다.
  • 멀티 리전 지원 사용 설정: 사용자 또는 애플리케이션과 지리적으로 더 가까운 여러 Cloud Storage 리전에 데이터를 저장하여 데이터 액세스 및 모델 예측의 성능을 개선하고 지연 시간을 줄입니다.

필수 Cloud Storage 컨트롤

Cloud Storage를 사용할 때는 다음 컨트롤을 사용하는 것이 좋습니다.

Cloud Storage 버킷에 대한 공개 액세스 차단

Google 제어 ID GCS-CO-4.1
카테고리 필수
설명

storage.publicAccessPrevention 불리언 제약 조건은 인터넷을 통해 기존 및 향후 리소스에 액세스하지 못하도록 합니다. allUsers 및 allAuthenticatedUsers에 대한 액세스를 부여하는 액세스 제어 목록 (ACL) 및 Identity and Access Management (IAM) 권한을 사용 중지하고 차단합니다.
적용 가능한 제품
  • 조직 정책 서비스
  • Cloud Storage
경로 constraints/storage.publicAccessPrevention
연산자 ==
값
  • True
유형 불리언
관련 NIST-800-53 컨트롤
  • AC-3
  • AC-17
  • AC-20
관련 CRI 프로필 컨트롤
  • PR.AC-3.1
  • PR.AC-3.2
  • PR.AC-4.1
  • PR.AC-4.2
  • PR.AC-4.3
  • PR.AC-6.1
  • PR.PT-3.1
  • PR.PT-4.1
관련 정보

균일한 버킷 수준 액세스 사용

Google 제어 ID GCS-CO-4.2
카테고리 필수
설명

storage.uniformBucketLevelAccess 부울 제약 조건은 버킷에서 균일한 버킷 수준 액세스를 사용하도록 요구합니다. 균일한 버킷 수준 액세스를 사용하면 버킷 수준 Identity and Access Management (IAM) 권한만 사용하여 Cloud Storage 리소스에 대한 액세스 권한을 부여할 수 있습니다.
적용 가능한 제품
  • 조직 정책 서비스
  • Cloud Storage
경로 constraints/storage.uniformBucketLevelAccess
연산자 ==
값
  • True
유형 불리언
관련 NIST-800-53 컨트롤
  • AC-3
  • AC-17
  • AC-20
관련 CRI 프로필 컨트롤
  • PR.AC-3.1
  • PR.AC-3.2
  • PR.AC-4.1
  • PR.AC-4.2
  • PR.AC-4.3
  • PR.AC-6.1
  • PR.PT-3.1
  • PR.PT-4.1
관련 정보

서비스 계정의 HMAC 키 보호

Google 제어 ID GCS-CO-6.9
카테고리 필수
설명

HMAC 키는 Cloud Storage의 서비스 계정 또는 사용자 계정과 연결된 장기 사용자 인증 정보 유형입니다. HMAC 키를 사용하여 Cloud Storage에 대한 요청에 포함된 서명을 만듭니다. 서명은 사용자 또는 서비스 계정이 요청을 승인했음을 증명합니다.

단기 사용자 인증 정보 (예: OAuth 2.0 토큰과 달리 HMAC 키는 자동으로 만료되지 않으며 수동으로 취소될 때까지 유효합니다. HMAC 키는 위험도가 높은 사용자 인증 정보입니다. 보안이 침해되면 리소스에 대한 지속적인 액세스 권한이 부여됩니다. 이러한 데이터를 보호하기 위한 적절한 메커니즘이 마련되어 있어야 합니다.
적용 가능한 제품
  • Cloud Storage
경로 storage.projects.hmacKeys/id
연산자 Exists
값
  • []
유형 문자열
관련 NIST-800-53 컨트롤
  • SC-12
  • SC-13
관련 CRI 프로필 컨트롤
  • PR.DS-1.1
  • PR.DS-1.2
  • PR.DS-2.1
  • PR.DS-2.2
  • PR.DS-5.1
관련 정보

서비스 계정의 Cloud Storage 버킷 열거 감지

Google 제어 ID GCS-CO-7.2
카테고리 필수
설명

서비스 계정은 애플리케이션을 위해 설계된 비인간 ID이며 동작이 예측 가능하고 자동화되어 있습니다. 일반적으로 서비스 계정은 이미 매핑되어 있으므로 버킷을 항목화할 필요가 없습니다. 따라서 모든 Cloud Storage 버킷 목록을 가져오려고 하는 서비스 계정이 감지되면 즉시 조사해야 합니다. 정찰 열거는 서비스 계정에 액세스한 악의적인 행위자가 정찰 기법으로 자주 사용합니다.
적용 가능한 제품
  • Cloud Storage
  • Cloud 감사 로그
연산자 ==
값
  • storage.bucket.list
유형 문자열
관련 NIST-800-53 컨트롤
  • AU-2
  • AU-3
  • AU-8
  • AU-9
관련 CRI 프로필 컨트롤
  • DM.ED-7.1
  • DM.ED-7.2
  • DM.ED-7.3
  • DM.ED-7.4
  • PR.IP-1.4
관련 정보

서비스 계정에 의한 Cloud Storage 버킷의 ID 및 액세스 관리 (IAM) 정책 수정 감지

Google 제어 ID GCS-CO-7.3
카테고리 필수
설명

Cloud Storage 버킷의 IAM 정책이 공개 액세스 권한을 부여하도록 수정될 때 이를 감지하는 알림을 구성합니다. 이 알림은 allUsers 또는 allAuthenticatedUsers 주 구성원이 버킷의 IAM 정책에 추가될 때 발생합니다. 이 알림은 버킷의 모든 데이터를 노출할 수 있으므로 심각도가 높은 중요한 이벤트입니다. 이 알림을 즉시 조사하여 변경이 승인되었는지 또는 잘못된 구성이나 악의적인 행위자의 징후인지 확인하세요.

알림에서 data.protoPayload.serviceData.policyData.bindingDeltas.member JSON 속성을 allUsers 또는 allAuthenticatedUsers로 설정하고 작업을 ADD로 설정합니다.
적용 가능한 제품
  • Cloud Storage
  • Cloud 감사 로그
관련 NIST-800-53 컨트롤
  • AU-2
  • AU-3
  • AU-8
  • AU-9
관련 CRI 프로필 컨트롤
  • DM.ED-7.1
  • DM.ED-7.2
  • DM.ED-7.3
  • DM.ED-7.4
  • PR.IP-1.4
관련 정보

생성형 AI 관련 사용 사례에 따라 추가 컨트롤을 사용하는 것이 좋습니다. 이러한 제어에는 데이터 보관 제어 및 엔터프라이즈 정책에 기반한 기타 정책 기반 제어가 포함됩니다.

Cloud Storage 버킷 보관 정책이 버킷 잠금을 사용하는지 확인

Google 제어 ID GCS-CO-6.1
카테고리 추천
설명

규제 요구사항에 따라 각 Cloud Storage 버킷 보관 정책이 잠겨 있는지 확인합니다. 요구사항을 충족하는 기간으로 보관 기간을 설정합니다.
적용 가능한 제품
  • Cloud Storage
경로 storage.buckets/retentionPolicy.isLocked
연산자 !=
값
  • True
유형 불리언
관련 NIST-800-53 컨트롤
  • SI-12
관련 CRI 프로필 컨트롤
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
관련 정보

SetStorageClass 작업의 수명 주기 규칙 설정

Google 제어 ID GCS-CO-6.11
카테고리 추천
설명

SetStorageClass 작업 유형이 있는 각 Cloud Storage 버킷에 수명 주기 규칙을 적용합니다.
적용 가능한 제품
  • Cloud Storage
경로 storage.buckets/lifecycle.rule.action.type
연산자 ==
값
  • SetStorageClass
유형 문자열
관련 NIST-800-53 컨트롤
  • SI-12
관련 CRI 프로필 컨트롤
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
관련 정보

스토리지 클래스의 허용된 리전 설정

Google 제어 ID GCS-CO-6.12
카테고리 추천
설명
수명 주기 구성의 스토리지 클래스가 허용된 리전 분류에 속하지 않는지 확인합니다.
적용 가능한 제품
  • Cloud Storage
경로 storage.buckets/lifecycle.rule.action.storageClass
연산자 nin
값
  • MULTI_REGIONAL
  • REGIONAL
유형 문자열
관련 NIST-800-53 컨트롤
  • SI-12
관련 CRI 프로필 컨트롤
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
관련 정보

Cloud Storage 버킷의 수명 주기 관리 사용 설정

Google 제어 ID GCS-CO-6.13
카테고리 추천
설명

Cloud Storage의 수명 주기 관리가 사용 설정되고 구성되어 있는지 확인합니다. 수명 주기 제어에는 스토리지 수명 주기에 관한 구성이 포함되어 있습니다. 이 설정의 정책이 요구사항과 일치하는지 확인합니다.
적용 가능한 제품
  • Cloud Storage
경로 storage.buckets/lifecycle
연산자 Exists
값
  • []
유형 객체
관련 NIST-800-53 컨트롤
  • SI-12
관련 CRI 프로필 컨트롤
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
관련 정보

Cloud Storage 버킷의 수명 주기 관리 규칙 사용 설정

Google 제어 ID GCS-CO-6.14
카테고리 추천
설명

Cloud Storage의 수명 주기 관리 규칙이 사용 설정되고 구성되어 있는지 확인합니다. 규칙 제어에는 스토리지 수명 주기에 관한 구성이 포함되어 있습니다. 이 설정의 정책이 요구사항과 일치하는지 확인합니다.
적용 가능한 제품
  • Cloud Storage
경로 storage.buckets/lifecycle.rule
연산자 Empty
값
  • []
유형 배열
관련 NIST-800-53 컨트롤
  • SI-12
관련 CRI 프로필 컨트롤
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
관련 정보

활성 객체에 대한 임시 보존 조치 검토 및 평가

Google 제어 ID GCS-CO-6.16
카테고리 추천
설명

temporaryHold가 TRUE로 설정된 모든 객체를 식별하고 조사 및 검증 프로세스를 시작합니다. 이 평가는 다음 사용 사례에 적합합니다.

  • 소송자료 보존 조치: 데이터 저장에 관한 법적 요구사항을 준수하기 위해 진행 중인 조사 또는 소송과 관련이 있을 수 있는 민감한 정보가 삭제되지 않도록 임시 보존 조치를 사용할 수 있습니다.
  • 데이터 손실 방지: 중요한 데이터가 실수로 삭제되지 않도록 임시 보관을 안전 조치로 사용하여 중요한 비즈니스 정보를 보호할 수 있습니다.
  • 콘텐츠 검토: 민감하거나 부적절할 수 있는 콘텐츠가 공개적으로 액세스 가능해지기 전에 검토하려면 추가 검사 및 검토 결정을 위해 Cloud Storage에 업로드된 콘텐츠에 임시 보류를 적용하세요.
적용 가능한 제품
  • Cloud Storage
경로 storage.objects/temporaryHold
연산자 ==
값
  • TRUE
유형 불리언
관련 NIST-800-53 컨트롤
  • SI-12
관련 CRI 프로필 컨트롤
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
관련 정보

Cloud Storage 버킷에 보관 정책 적용

Google 제어 ID GCS-CO-6.17
카테고리 추천
설명

모든 Cloud Storage 버킷에 보관 정책이 있는지 확인합니다.
적용 가능한 제품
  • Cloud Storage
경로 storage.buckets/retentionPolicy.retentionPeriod
연산자 agesmaller
값
  • [90,"DAY","AFTER","yyyy-MM-dd'T'HH:mm:ss'Z'"]
유형 int64
관련 NIST-800-53 컨트롤
  • SI-12
관련 CRI 프로필 컨트롤
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
관련 정보

Cloud Storage 버킷의 분류 태그 적용

Google 제어 ID GCS-CO-6.18
카테고리 추천
설명

데이터 분류는 모든 데이터 거버넌스 및 보안 프로그램의 기본 구성요소입니다. 각 버킷에 공개, 내부, 기밀, 제한됨과 같은 값이 있는 분류 라벨을 적용하는 것이 중요합니다.

google_storage_bucket.labels에 분류 표현식이 있는지 확인하고 없는 경우 위반을 생성합니다.
적용 가능한 제품
  • Cloud Storage
경로 storage.buckets/labels.classification
연산자 notexists
값
  • []
유형 확장
관련 NIST-800-53 컨트롤
  • SI-12
관련 CRI 프로필 컨트롤
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
관련 정보

Cloud Storage 버킷에 로그 버킷 적용

Google 제어 ID GCS-CO-6.3
카테고리 추천
설명

모든 Cloud Storage 버킷에 로그 버킷이 포함되어 있는지 확인합니다.
적용 가능한 제품
  • Cloud Storage
경로 storage.buckets/logging.logBucket
연산자 notexists
값
  • []
유형 문자열
관련 NIST-800-53 컨트롤
  • AU-2
  • AU-3
  • AU-8
  • AU-9
관련 CRI 프로필 컨트롤
  • DM.ED-7.1
  • DM.ED-7.2
  • DM.ED-7.3
  • DM.ED-7.4
  • PR.IP-1.4
관련 정보

Cloud Storage 버킷의 삭제 규칙 구성

Google 제어 ID GCS-CO-6.5
카테고리 추천
설명

Cloud Storage에서 storage.buckets/lifecycle.rule.action.type는 버킷 내 수명 주기 규칙에 따라 특정 객체에 취해질 작업의 유형을 나타냅니다. 이 구성을 사용하면 클라우드에 저장된 데이터의 관리 및 수명 주기를 자동화할 수 있습니다.

객체가 버킷에서 영구적으로 삭제되도록 storage.buckets/lifecycle.rule.action.type를 구성합니다.
적용 가능한 제품
  • Cloud Storage
경로 storage.buckets/lifecycle.rule.action.type
연산자 ==
값
  • Delete
유형 문자열
관련 NIST-800-53 컨트롤
  • SI-12
관련 CRI 프로필 컨트롤
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
관련 정보

삭제 규칙의 isLive 조건이 False인지 확인

Google 제어 ID GCS-CO-6.6
카테고리 추천
설명

삭제 규칙의 경우 규칙의 isLive 조건이 false로 설정되어 있는지 확인합니다.

Cloud Storage에서 storage.buckets/lifecycle.rule.condition.isLive는 객체가 활성 상태로 간주되는지 여부를 확인하기 위해 수명 주기 규칙에 사용되는 불리언 조건입니다. 이 필터를 사용하면 수명 주기 규칙 내의 작업이 실시간 상태를 기반으로 원하는 객체에만 적용됩니다.

사용 사례:

  • 이전 버전 보관: 최신 버전에 쉽게 액세스할 수 있도록 유지하면서 스토리지 비용을 절감하기 위해 이전 버전의 객체만 보관합니다.
  • 삭제된 객체 정리: 사용자가 삭제한 객체를 영구적으로 삭제하여 버킷의 공간을 확보합니다.
  • 라이브 데이터 보호: 임시 보존 설정과 같은 작업이 라이브 객체에만 적용되도록 하여 보관되거나 삭제된 버전이 실수로 수정되지 않도록 합니다.
적용 가능한 제품
  • Cloud Storage
경로 storage.buckets/lifecycle.rule.condition.isLive
연산자 ==
값
  • False
유형 불리언
관련 NIST-800-53 컨트롤
  • SI-12
관련 CRI 프로필 컨트롤
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
관련 정보

Cloud Storage 버킷의 버전 관리 시행

Google 제어 ID GCS-CO-6.7
카테고리 추천
설명

모든 Cloud Storage 버킷에 버전 관리가 사용 설정되어 있는지 확인합니다. 사용 사례는 다음과 같습니다.

  • 데이터 보호 및 복구: 덮어쓰기를 방지하고 삭제되거나 수정된 데이터의 복구를 지원하여 실수로 인한 데이터 손실을 방지합니다.
  • 규정 준수 및 감사: 규정 준수 또는 내부 감사 목적으로 모든 객체 수정 내역을 유지합니다.
  • 버전 관리: 파일 및 데이터 세트의 변경사항을 추적하여 공동작업을 지원하고 필요한 경우 이전 버전으로 롤백할 수 있습니다.
적용 가능한 제품
  • Cloud Storage
경로 storage.buckets/versioning.enabled
연산자 !=
값
  • True
유형 불리언
관련 NIST-800-53 컨트롤
  • SI-12
관련 CRI 프로필 컨트롤
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
관련 정보

Cloud Storage 버킷의 소유자 시행

Google 제어 ID GCS-CO-6.8
카테고리 추천
설명

google_storage_bucket.labels에 소유자 표현식이 있는지 확인합니다.
적용 가능한 제품
  • Cloud Storage
경로 storage.buckets/labels.owner
연산자 notexists
값
  • []
유형 확장
관련 NIST-800-53 컨트롤
  • SI-12
관련 CRI 프로필 컨트롤
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
관련 정보

주요 Cloud Storage 활동의 로깅 사용 설정

Google 제어 ID GCS-CO-7.4
카테고리 추천
설명

사용 사례에 따라 특정 스토리지 객체에 관한 추가 로깅을 사용 설정합니다. 예를 들어 누가 언제 액세스했는지 추적할 수 있도록 민감한 데이터 버킷에 대한 액세스를 로깅합니다. 추가 로깅을 사용 설정할 때는 생성될 수 있는 로그의 양을 고려하세요.
적용 가능한 제품
  • Cloud Storage
관련 NIST-800-53 컨트롤
  • AU-2
  • AU-3
  • AU-8
  • AU-9
관련 CRI 프로필 컨트롤
  • DM.ED-7.1
  • DM.ED-7.2
  • DM.ED-7.3
  • DM.ED-7.4
  • PR.IP-1.4
관련 정보

다음 단계