데이터 준비 개요

학습 데이터를 개발하는 데는 여러 가지 옵션이 있습니다.

다양한 요인에 따라 어느 것을 선택할 것인지 달라집니다.

마운트된 파일 시스템으로서의 Cloud Storage(Cloud Storage FUSE)

다음과 같은 이유일 때는 마운트된 파일 시스템(Cloud Storage FUSE)으로 Cloud Storage를 사용하는 것이 좋습니다.

  • 학습 데이터가 이미지, 텍스트 또는 동영상과 같이 구조화되지 않은 경우: Cloud Storage는 이러한 유형의 대용량 파일(종종 개별 파일)을 저장하는 데 적합합니다.
  • 학습 데이터가 TFRecord와 같은 형식으로 구조화된 경우: 이러한 ML 전용 형식에 Cloud Storage가 일반적으로 사용됩니다.
  • 매우 큰 파일을 사용하는 경우: Cloud Storage FUSE는 전체 파일을 복제본에 다운로드하도록 요구하는 대신 데이터를 학습 작업으로 스트리밍합니다. 이렇게 하면 대규모 데이터 세트의 데이터 로드 및 작업 시작 시간이 단축될 수 있습니다.
  • 분산 학습을 수행하는 경우: Cloud Storage FUSE는 대용량 파일 순차 읽기에 높은 처리량을 제공하며, 이는 여러 작업자가 병렬로 데이터에 액세스해야 하는 분산 학습 시나리오에서 유용합니다.
  • 학습 코드에서 명시적 API 호출을 할 필요 없이 Cloud Storage 데이터에 로컬 파일 시스템인 것처럼 편리하게 액세스하는 것을 선호하는 경우
  • 주요 요구사항이 확장 가능한 스토리지이고 수많은 작은 파일에 대한 임의 액세스의 지연 시간이 매우 짧은 것은 중요하지 않은 경우

Agent Platform 기반 Ray 관련

  • Agent Platform 기반 Ray가 액세스할 수 있는 Cloud Storage 버킷에 데이터를 저장할 수 있습니다.
  • Ray는 Cloud Storage에서 직접 데이터를 읽을 수 있습니다. 예를 들어 Ray에서 Spark를 실행할 때 Cloud Storage에서 파일을 읽을 수 있습니다.
  • Agent Platform은 Cloud Storage FUSE를 사용하여 Cloud Storage 버킷을 Ray에서 실행되는 학습 작업 내의 로컬 파일 시스템으로 마운트합니다. 이렇게 하면 Ray 애플리케이션이 표준 파일 I/O 작업을 사용하여 로컬 디스크에 있는 것처럼 데이터에 액세스할 수 있습니다.
  • 최적의 성능을 위해 Ray 클러스터를 실행하는 동일한 리전에서 Cloud Storage 버킷을 사용하는 것이 좋습니다.

자세히 알아보기

네트워크 파일 시스템(NFS) 공유

  • 로컬에 저장된 것처럼 원격 파일에 매우 높은 처리량과 짧은 지연 시간으로 액세스해야 하는 경우. 이는 학습 중에 특정 유형의 데이터 또는 복잡한 파일 상호작용에 중요할 수 있습니다.
  • Agent Platform 기반 Ray와 같은 컴퓨팅 클러스터의 모든 노드에서 원격 파일을 쉽게 사용할 수 있도록 해야 하는 경우
  • 애플리케이션이 Cloud Storage FUSE에 비해 잠재적으로 더 강력한 POSIX 규정 준수를 갖춘 보다 표준적인 파일 시스템 인터페이스의 이점을 누리는 경우
  • 사용하려는 기존 NFS 인프라가 Virtual Private Cloud 내에 있는 경우
  • 여러 작업 또는 클러스터 간에 파일을 공유하고 일관되고 지연 시간이 짧은 액세스를 제공해야 하며 파일 시스템 수준에서 권한을 관리하는 것이 좋은 경우

Agent Platform 기반 Ray 관련

  • Agent Platform 기반 Ray 클러스터에 NFS 공유를 마운트하여 원격 파일에 로컬 파일처럼 액세스할 수 있습니다.
  • 이는 공유 파일 시스템에 대한 높은 처리량과 짧은 지연 시간 액세스에 유용합니다.
  • Agent Platform SDK for Python을 사용하여 Ray 클러스터를 만들 때 서버, 경로, 마운트 지점을 지정하여 NFS 마운트를 설정할 수 있습니다. 마운트되면 Ray 코드는 표준 파일 작업을 사용하여 이러한 NFS 볼륨을 읽고 쓸 수 있습니다.

자세히 알아보기

관리형 데이터 세트

  • 중앙 집중식 데이터 관리 및 거버넌스: 관리형 데이터 세트는 Agent Platform 내에서 데이터 세트를 구성하고 관리할 수 있는 중앙 위치를 제공합니다. 이를 통해 여러 프로젝트와 실험에서 데이터 애셋을 추적하고 관리할 수 있습니다.
  • 데이터 라벨 지정: 관리형 데이터 세트 내에서 직접 라벨 지정 작업을 만들고 주석 세트를 관리할 수 있습니다.
  • 데이터 계보 추적: 관리형 데이터 세트는 데이터의 계보를 학습된 모델에 자동으로 추적합니다. 이는 특정 모델에 사용된 데이터 소스를 파악하고 재현 가능성과 거버넌스를 보장하는 데 중요합니다.
  • 커스텀 모델과 AutoML 모델 비교: 관리형 데이터 세트를 사용하면 동일한 데이터를 사용하여 커스텀 모델과 AutoML 모델을 모두 학습시킬 수 있습니다. 이를 통해 동일한 데이터 세트에서 성능을 직접 비교하여 문제에 가장 적합한 접근 방식을 선택할 수 있습니다.
  • 데이터 통계 및 시각화 생성: Agent Platform은 관리형 데이터 세트 내의 데이터에 대한 통계 및 시각화를 자동으로 생성할 수 있습니다. 이는 탐색적 데이터 분석에 도움이 되며 데이터의 특성을 파악하는 데 도움이 될 수 있습니다.
  • 자동 데이터 분할: 학습 파이프라인에서 관리형 데이터 세트를 사용하는 경우 Agent Platform은 지정된 비율, 필터, 미리 정의된 분할 또는 타임스탬프를 기반으로 데이터를 학습, 검증, 테스트 세트로 자동으로 분할할 수 있습니다. 이렇게 하면 데이터 준비 프로세스가 간소화됩니다.
  • 데이터 세트 버전 활용: 관리형 데이터 세트는 버전 관리를 지원하므로 시간이 지남에 따라 데이터 변경사항을 추적하고 필요한 경우 이전 버전으로 되돌릴 수 있습니다.

Gemini Enterprise Agent Platform 기반 Ray 관련

  • 분산 학습을 위해 Ray를 사용하는 Agent Platform 학습 파이프라인에서 관리형 데이터 세트를 사용하는 경우 관리형 데이터 세트의 데이터가 학습 컨테이너에서 사용할 수 있게 되며, Ray 애플리케이션은 이 데이터에 액세스할 수 있습니다 (데이터 세트가 이러한 소스에 연결된 경우 마운트된 Cloud Storage 또는 BigQuery를 통해). AIP_TRAINING_DATA_URI, AIP_VALIDATION_DATA_URI, AIP_TEST_DATA_URI 환경 변수는 데이터를 가리킵니다.

자세히 알아보기

BigQuery

  • Agent Platform 구성요소 내의 데이터에 연결하는 경우: 많은 Agent Platform 도구와 서비스가 BigQuery와 직접 통합됩니다. JupyterLab 내에서 BigQuery의 데이터를 쿼리할 수 있습니다. 이렇게 하면 다른 스토리지 시스템으로 이동할 필요 없이 탐색, 시각화, 모델 개발을 위해 BigQuery 데이터와 직접 상호작용할 수 있습니다.
  • 학습 파이프라인을 빌드하는 경우: Agent Platform에서 학습 파이프라인을 빌드할 때 BigQuery의 데이터를 직접 사용할 수 있습니다. 예를 들어 파이프라인은 BigQuery에서 데이터를 가져와 전처리한 후 모델을 학습시킬 수 있습니다.
  • 지속적 모델 학습 파이프라인: 지속적 모델 학습을 설정하려면 BigQuery 테이블에 새 데이터가 도착할 때 파이프라인 실행을 트리거할 수 있습니다. 이렇게 하면 모델 재학습을 자동화할 수 있습니다. 새 작업이 특정 BigQuery 테이블에 삽입될 때 파이프라인을 시작하도록 Eventarc 트리거를 구성할 수 있습니다.
  • 모델 모니터링: BigQuery는 배포된 모델의 특성 편향 및 드리프트를 모니터링하는 소스로 사용할 수 있습니다. 편향 감지를 위해 학습 데이터 세트의 BigQuery URI를 지정할 수 있습니다. 또한 BigQuery는 온라인 추론 엔드포인트의 로그를 저장할 수 있으며, 이는 지속적 모니터링의 데이터 소스로 사용할 수 있습니다. 이를 위해 BigQuery 테이블에는 타임스탬프 열이 있어야 합니다.
  • BigQuery ML 통합: SQL을 사용하여 머신러닝 모델을 빌드하기 위해 BigQuery ML을 활용할 때 BigQuery 데이터 세트를 사용할 수 있습니다. Agent Platform Workbench를 사용하면 노트북 환경 내에서 BigQuery 데이터의 대화형 탐색 분석과 BigQuery ML 사용이 가능합니다.
  • 데이터 탐색 및 준비: 학습 전에 BigQuery를 사용하여 데이터를 탐색하고 시각화할 수 있습니다. 학습에 데이터를 사용하기 전에 BigQuery에서 직접 SQL 쿼리를 사용하여 데이터 변환을 수행할 수도 있습니다.
  • 공개 데이터 세트 액세스: BigQuery는 Agent Platform Workbench에서 실험 및 학습에 바로 사용할 수 있는 Chicago Taxi Trips 데이터 세트와 같은 많은 공개 데이터 세트를 호스팅합니다.

Gemini Enterprise Agent Platform 기반 Ray 관련

  • Gemini Enterprise Agent Platform 기반 Ray에는 BigQuery에서 직접 데이터를 읽는 기능이 있습니다. Ray 작업 내에서 Agent Platform SDK for Python을 사용하여 BigQuery 쿼리를 실행하고 Ray 애플리케이션에서 사용할 결과를 구체화할 수 있습니다.
  • BigQuery에서 읽을 때는 최대 쿼리 응답 크기인 10GB를 알고 있어야 합니다.
  • Agent Platform SDK for Python을 사용하여 Ray 애플리케이션의 데이터를 BigQuery에 다시 쓸 수도 있습니다.

자세히 알아보기