객체 보강을 사용하면 커스텀 머신러닝 파이프라인을 빌드하지 않고도 구조화된 메타데이터를 자동으로 생성할 수 있습니다. 객체 보강은 Google의 사전 학습된 머신러닝 모델을 저장된 객체에 직접 적용하여 비정형 데이터를 대규모로 검색, 큐레이션, 관리할 수 있도록 지원합니다.
객체의 메타데이터 생성을 시작하려면 객체 보강 구성을 참조하세요.
작동 방식
객체 보강을 사용하려면 시스템의 다음 부분을 사용합니다.
- 기능 구성 (
FeatureConfig): Cloud Storage에서 모니터링할 버킷 또는 프로젝트를 지정하는 기능 구성을 만듭니다. - 머신러닝 모델: 구성에서 객체 감지, 이미지 라벨 지정, 얼굴 분석, PDF 문서 분류 모델과 같이 적용할 모델 을 선택합니다.
- 객체 보강 (메타데이터): Cloud Storage는 객체를 비동기식으로 검사하고 선택한 모델로 적격 객체를 평가합니다. 그런 다음 Cloud Storage는 결과 메타데이터 를 객체 컨텍스트로 객체에 직접 연결합니다.
Cloud Storage가 보강 메타데이터를 객체에 연결하면 메타데이터를 사용할 수 있습니다. 개별 객체 보강을 검사하거나 Storage Insights 데이터 세트를 사용하여 BigQuery에서 SQL을 사용하여 수백만 개의 객체에 걸쳐 메타데이터를 분석할 수 있습니다.
다음 다이어그램은 Cloud Storage가 객체 보강을 사용하여 비정형 데이터에서 컨텍스트를 추출하고 다운스트림 AI 및 분석 워크플로의 객체 컨텍스트로 저장하는 방법을 보여줍니다.
지원되는 모델
기능 구성을 만들 때 데이터 및 분석 목표에 가장 적합한 머신러닝 모델을 선택합니다. Cloud Storage는 선택한 모델을 사용하여 적격 객체를 평가하고 contexts.custom 아래에 구조화된 메타데이터를 생성합니다.
지원되는 모델 표에는 각 모델, 감지하는 항목, 샘플 출력 데이터가 나와 있습니다. 자세한 스키마 정의 및 컨텍스트 키는 지원되는 모델 및 스키마를 참조하세요.
| 모델 | 설명 | 샘플 출력 데이터 |
|---|---|---|
| 객체 감지 | 이미지 내에서 여러 객체를 감지하고 위치와 직사각형 경계를 제공합니다. | 제품, 동물, 사람 |
| 이미지 라벨 지정 | 객체, 위치, 활동과 같은 광범위한 카테고리 그룹에서 이미지 내 항목에 대한 정보를 감지하고 추출합니다. | 풍경, 도시, 밤 |
| 얼굴 인식 | 경계 다각형, 얼굴 특징 (눈, 코, 입), 방향 각도, 표정 가능성을 비롯하여 이미지에서 얼굴을 감지합니다. | 얼굴 수, 롤 및 기울기 각도 |
| 선정적인 콘텐츠 감지 | 성인용 또는 폭력적인 자료를 비롯하여 민감하거나 부적절한 콘텐츠가 있는지 이미지를 평가합니다. | 성인용 및 폭력적인 콘텐츠 가능성 등급 |
| PDF 분류 | 콘텐츠를 기반으로 PDF 문서를 표준 비즈니스 및 업종 카테고리로 분류합니다. | 금융, 세금, 인보이스 (카테고리 및 점수) |
사용 사례
객체 보강을 사용하여 비정형 데이터 관리를 간소화하고 다음 다운스트림 분석 및 AI 워크플로를 위해 객체를 준비할 수 있습니다.
- 정리되지 않은 객체 구성 및 카탈로그화: 인보이스, 은행 명세서, 세금 양식과 같은 PDF 문서 모음과 이미지를 자동으로 분류합니다. 이러한 분류를 사용하여 커스텀 코드를 작성하지 않고도 버킷 전체에서 검색 가능한 Data Catalog를 빌드할 수 있습니다.
- AI 에이전트 기반 및 검색 개선: 정리되지 않은 문서 저장소를 구조화된 기술 자료로 전환합니다. 문서 카테고리 및 이미지 라벨을 사용하여 검색 증강 생성 (RAG) 중에 검색을 개선하고 생성형 AI 애플리케이션을 기반으로 할 수 있습니다.
- 생성형 AI를 위한 데이터 샘플링 및 준비: 대규모 언어 모델 (LLM) 또는 인간 검토로 콘텐츠를 라우팅하기 전에 계층화된 샘플링을 수행하기 위해 문서 유형을 구분합니다.
- 머신러닝 학습 데이터 세트 큐레이션: 분류 또는 시각적 라벨별로 이미지 와 문서를 필터링하고 분류하여 모델 미세 조정을 위한 도메인별 학습 데이터 세트를 어셈블합니다.
- 민감하거나 선정적인 콘텐츠 검사: 콘텐츠 검토 및 안전 정책을 지원하기 위해 업로드된 이미지에서 부적절한 자료를 자동으로 검사합니다.
- 멀티모달 프롬프트 개선: Gemini와 같은 멀티모달 모델에 프롬프트를 표시할 때 경계 상자 및 문서 카테고리와 같은 구조화된 메타데이터를 컨텍스트로 전달합니다.
- 데이터 아키텍처 간소화: Cloud Storage에서 직접 메타데이터를 생성하여 커스텀 수집 파이프라인 및 컴퓨팅 인프라를 제거합니다.
메타데이터 쿼리 및 분석
Cloud Storage는 객체 보강을 객체 컨텍스트로 객체에 직접 연결합니다. 규모와 워크플로에 따라 다음 방법으로 이 메타데이터에 액세스하고 분석할 수 있습니다.
- 개별 객체 검사: Google Cloud 콘솔 또는 Cloud Storage API를 사용하여 특정 객체의 보강을 검사합니다. 자세한 내용은 객체 보강 관리를 참조하세요.
- SQL로 대규모 분석: Storage Insights 데이터 세트를 사용하여 수백만 또는 수십억 개의 객체에 걸쳐
메타데이터를 BigQuery로 직접 내보냅니다. Storage Insights가 메타데이터를 내보낸 후 표준 SQL을 사용하여
object_contexts_catalog_view뷰를 쿼리할 수 있습니다. 예를 들어 라벨을 검색하거나, 카테고리별로 필터링하거나, 신뢰 점수가 높은 객체를 찾을 수 있습니다.
SQL 쿼리 및 샘플 레시피를 시작하려면 BigQuery에서 객체 보강 분석을 참조하세요.
고려사항 및 제한사항
객체 보강을 구성하기 전에 다음 운영 고려사항을 검토하세요.
처리 위치
객체 보강은 us, eu, asia의 세 가지 지리적 위치에서 데이터를 처리합니다. 처리 위치를 선택할 때는 다음 고려사항에 유의하세요.
- 규정 준수: 선택한 처리 위치가 규제 및 데이터 주권 요구사항을 충족하는지 확인합니다.
- 성능: 버킷의 스토리지 리전과 가장 가까운 처리 위치를 선택합니다.
- 비용: 중복 청구를 방지하려면 각 버킷 및 모델에 대해 하나의 처리 위치만 구성합니다. 동일한 버킷 및 모델에 대해 여러 위치를 구성하면 Cloud Storage는 각 위치에서 객체를 처리하고 실행할 때마다 요금을 청구합니다.
처리 및 성능
콘텐츠 유형, 객체 크기, 처리 일정에 관한 다음 제약조건을 검토하세요.
비동기식 처리: Cloud Storage는 객체를 비동기식으로 처리합니다.
객체 크기 제한: 객체 (이미지 및 PDF)는 20MiB 이하여야 합니다.
지원되는 콘텐츠 유형: Cloud Storage는 객체에 설정된
Content-Type메타데이터 필드를 사용하여 평가할지 여부를 결정합니다. 객체에 잘못되었거나 누락된Content-Type이 있는 경우 Cloud Storage는 기본 데이터가 유효한 이미지 또는 PDF이더라도 객체를 처리하지 않습니다. Cloud Storage에서 객체를 처리하도록 하려면Content-Type메타데이터를 다음 지원되는 유형 중 하나로 업데이트하세요.- 이미지: BMP, GIF, ICO, JPEG, PNG, TIFF, WEBP
- 문서: PDF (
application/pdf)
지원되지 않는 기능
객체 보강은 다음 버킷 유형 및 작업과 호환되지 않습니다.
- 버킷 재배치: 객체 보강은 버킷 재배치와 호환되지 않습니다. 버킷을 재배치하기 전에 기능 구성에서 버킷을 삭제하세요.
- 지원되지 않는 버킷 유형: Rapid 버킷 또는 계층적 네임스페이스가 사용 설정된 버킷에서는 객체 보강을 사용 설정할 수 없습니다.
구성 및 범위 관리
기능 구성에서 타겟 버킷을 정의하고 유지보수할 때는 다음 요구사항이 적용됩니다.
- 버킷 범위 지정: 기능 구성에서 정확한 버킷 이름을 지정합니다. Cloud Storage는 정규 표현식 또는 와일드 카드 패턴을 지원하지 않습니다.
- 버킷 수명 주기: Cloud Storage는 새로 생성되거나, 다시 생성되거나, 재배치된 버킷을 기존 구성에 자동으로 추가하지 않습니다. 이러한 버킷을 포함하도록 기능 구성을 업데이트해야 합니다.
비용 및 보안
암호화 키 및 데이터 액세스 요금에 관한 다음 운영 세부정보를 검토하세요.
- 고객 제공 키 (CSEK): 객체 보강은 고객 제공 암호화 키로 암호화된 객체를 지원하지 않습니다.
- 스토리지 액세스 및 자동 클래스: 메타데이터를 생성하기 위해 객체 보강은 객체 데이터를 읽습니다. 이러한 읽기 작업에는 표준 데이터 액세스 요금이 부과됩니다. 또한 버킷에 자동 클래스가 사용 설정되어 있으면 이러한 읽기로 인해 스토리지 클래스 전환이 트리거됩니다.
가격 책정
객체 보강을 사용하면 모델 추론, 메타데이터 스토리지, 데이터 액세스 작업, 네트워킹에 대한 요금이 부과됩니다. 자세한 내용은 가격 책정을 참고하세요.
모니터링 및 문제해결
메타데이터 생성 진행 상황을 추적하고 객체 보강을 구성할 때 문제를 해결하려면 다음 리소스를 사용하세요.
- 작업 모니터링: Cloud Monitoring에서 보류 중인 객체, 모델 실행 횟수 및 처리 상태를 추적하려면 객체 보강 측정항목 모니터링을 참조하세요.
- 문제 해결: 보강이 누락되었거나 권한 오류가 발생하면 객체 보강 문제 해결을 참조하세요.
다음 단계
- 객체 보강 구성.
- BigQuery에서 객체 보강 분석.
- 객체 보강 관리.
- 지원되는 모델 및 스키마 검토.
featureConfigsJSON API 리소스 검토.- 객체 컨텍스트 알아보기.