이 문서에는 Google Cloud에서 생성형 AI 워크로드를 실행할 때 BigQuery에 관한 권장사항과 가이드라인이 포함되어 있습니다. Vertex AI와 함께 BigQuery를 사용하여 데이터를 저장합니다. Vertex AI와 함께 BigQuery를 사용하면 데이터 액세스를 간소화하고, 확장 가능한 분석을 지원하고, ML 기능을 사용할 수 있으므로 ML 워크플로를 크게 개선할 수 있습니다.
Vertex AI와 함께 BigQuery를 사용하는 경우 다음 사용 사례를 고려하세요.
- 원활한 통합: BigQuery와 Vertex AI가 긴밀하게 통합되어 Vertex AI 플랫폼 내에서 직접 데이터에 액세스하고 데이터를 분석할 수 있습니다. 이 통합을 통해 데이터 이동이 필요 없어지고 ML 워크플로가 간소화되며 마찰이 줄어듭니다.
- 확장 가능한 데이터 분석: BigQuery는 페타바이트 규모의 데이터 웨어하우스를 제공하므로 인프라 제한에 대해 걱정하지 않고 대규모 데이터 세트를 분석할 수 있습니다. 이러한 확장성은 방대한 양의 데이터가 필요한 ML 모델을 학습시키고 배포하는 데 매우 중요합니다.
- SQL 기반 ML: BigQuery ML을 사용하면 친숙한 SQL 명령어를 사용하여 BigQuery 내에서 직접 모델을 학습시키고 배포할 수 있습니다. 이 기능을 사용하면 데이터 분석가와 SQL 실무자가 고급 코딩 기술 없이도 ML 기능을 사용할 수 있습니다.
- 온라인 및 일괄 예측: BigQuery ML은 온라인 및 일괄 예측을 지원합니다. 개별 행에 대해 실시간 예측을 실행하거나 일괄 모드에서 대규모 데이터 세트에 대한 예측을 생성할 수 있습니다. 이러한 유연성 덕분에 지연 시간 요구사항이 다양한 여러 사용 사례가 가능합니다.
- 데이터 이동 감소: BigQuery ML을 사용하면 모델 학습 및 배포를 위해 데이터를 별도의 스토리지 또는 컴퓨팅 리소스로 이동할 필요가 없습니다. 이러한 이동 감소는 워크플로를 간소화하고 지연 시간을 줄이며 데이터 전송과 관련된 비용을 최소화합니다.
- 모델 모니터링: Vertex AI는 포괄적인 모델 모니터링 기능을 제공하여 BigQuery ML 모델의 성능, 공정성, 설명 가능성을 추적할 수 있습니다. 모델 모니터링을 통해 모델이 예상대로 작동하는지 확인하고 잠재적인 문제를 해결할 수 있습니다.
- 선행 학습된 모델: Vertex AI는 자연어 처리 및 컴퓨터 비전용 모델을 비롯한 선행 학습된 모델에 대한 액세스를 제공합니다. BigQuery 내에서 이러한 모델을 사용하여 분석을 개선하고 데이터에서 더 심층적인 통계를 추출할 수 있습니다.
- 비용 효율적인 솔루션: BigQuery ML은 ML 모델을 학습시키고 배포하는 비용 효율적이고 유연한 방법을 제공합니다. 사용하는 리소스에 대해서만 비용을 지불하므로 모든 규모의 조직에 적합한 옵션입니다.
- 고급 분석 기능: BigQuery는 지리 공간 분석 및 예측을 비롯한 고급 분석 도구를 제공합니다. 이러한 도구를 사용하면 ML을 다른 분석 기법과 결합하여 데이터를 더 심층적으로 탐색하고 더 풍부한 통계를 얻을 수 있습니다.
- 협업 강화: Vertex AI와 함께 BigQuery를 사용하면 데이터 과학자, ML 엔지니어, 분석가가 ML 프로젝트에서 원활하게 협업할 수 있습니다. 이 협업을 통해 복잡한 데이터 문제를 해결하기 위한 보다 통합되고 효율적인 접근 방식을 만들 수 있습니다.
필수 BigQuery 컨트롤
BigQuery를 사용할 때는 다음 제어를 적극 권장합니다.
BigQuery 데이터 세트가 공개적으로 읽을 수 있거나 allAuthenticatedUsers로 설정되어 있지 않아야 합니다.
| Google 제어 ID | BQ-CO-6.1 |
|---|---|
| 카테고리 | 필수 |
| 설명 | BigQuery 데이터 세트의 정보에 대한 액세스를 특정 사용자에게만 제한합니다. 이 보호를 구성하려면 세부 역할을 설정해야 합니다. |
| 적용 가능한 제품 |
|
| 경로 | cloudasset.assets/assetType |
| 연산자 | == |
| 값 |
|
| 유형 | 문자열 |
| 관련 NIST-800-53 컨트롤 |
|
| 관련 CRI 프로필 컨트롤 |
|
| 관련 정보 |
BigQuery 테이블이 공개적으로 읽을 수 없거나 allAuthenticatedUsers로 설정되어 있지 않은지 확인
| Google 제어 ID | BQ-CO-6.2 |
|---|---|
| 카테고리 | 필수 |
| 설명 | BigQuery 테이블의 정보에 대한 액세스를 특정 사용자에게만 제한합니다. 이 보호를 구성하려면 세부 역할을 설정해야 합니다. |
| 적용 가능한 제품 |
|
| 경로 | cloudasset.assets/iamPolicy.bindings.members |
| 연산자 | anyof |
| 값 |
|
| 유형 | 문자열 |
| 관련 NIST-800-53 컨트롤 |
|
| 관련 CRI 프로필 컨트롤 |
|
| 관련 정보 |
선택사항인 BigQuery 컨트롤
이러한 컨트롤은 선택사항입니다. 특정 사용 사례에 적용되는 경우 이를 적용하는 것이 좋습니다.
BigQuery 테이블의 개별 값 암호화
| Google 제어 ID | BQ-CO-6.3 |
|---|---|
| 카테고리 | 선택사항 |
| 설명 | 조직에서 BigQuery 테이블 내의 개별 값을 암호화해야 하는 경우 연관 데이터로 암호화 인증 (AEAD) 암호화 기능을 사용하세요. |
| 적용 가능한 제품 |
|
| 관련 NIST-800-53 컨트롤 |
|
| 관련 CRI 프로필 컨트롤 |
|
| 관련 정보 |
BigQuery 데이터 세트에 승인된 뷰 사용
| Google 제어 ID | BQ-CO-6.4 |
|---|---|
| 카테고리 | 선택사항 |
| 설명 | 승인된 뷰를 사용하면 데이터 세트의 데이터 하위 집합을 특정 사용자와 공유할 수 있습니다. 예를 들어 승인된 뷰를 사용하면 기본 소스 데이터에 대한 액세스 권한을 부여하지 않고도 특정 사용자 및 그룹과 쿼리 결과를 공유할 수 있습니다. |
| 적용 가능한 제품 |
|
| 관련 NIST-800-53 컨트롤 |
|
| 관련 CRI 프로필 컨트롤 |
|
| 관련 정보 |
BigQuery 열 수준 보안 사용
| Google 제어 ID | BQ-CO-6.5 |
|---|---|
| 카테고리 | 선택사항 |
| 설명 | BigQuery 열 수준 보안을 사용하여 쿼리 시 사용자에게 적절한 액세스 권한이 있는지 확인하는 정책을 만드세요. BigQuery는 데이터의 정책 태그 또는 유형 기반 분류를 사용하여 민감한 열에 대해 세분화된 액세스 권한을 부여합니다. |
| 적용 가능한 제품 |
|
| 관련 NIST-800-53 컨트롤 |
|
| 관련 CRI 프로필 컨트롤 |
|
| 관련 정보 |
BigQuery 행 수준 보안 사용
| Google 제어 ID | BQ-CO-6.6 |
|---|---|
| 카테고리 | 선택사항 |
| 설명 | 행 수준 보안 및 액세스 정책을 사용하여 BigQuery 테이블의 데이터 하위 집합에 대한 세분화된 액세스 제어를 사용 설정합니다. |
| 적용 가능한 제품 |
|
| 관련 NIST-800-53 컨트롤 |
|
| 관련 CRI 프로필 컨트롤 |
|
| 관련 정보 |
BigQuery 리소스 차트 사용
| Google 제어 ID | BQ-CO-7.1 |
|---|---|
| 카테고리 | 선택사항 |
| 설명 | BigQuery 관리자는 BigQuery 리소스 차트를 사용하여 조직, 폴더 또는 예약에서 BigQuery 슬롯을 사용하는 방식과 쿼리의 성능을 파악할 수 있습니다. |
| 적용 가능한 제품 |
|
| 관련 NIST-800-53 컨트롤 |
|
| 관련 CRI 프로필 컨트롤 |
|
| 관련 정보 |
다음 단계
Cloud Billing 관리 기능을 검토합니다.
생성형 AI 워크로드의Google Cloud 보안 권장사항 및 가이드라인을 자세히 알아보세요.