Dataflow ML 노트북을 살펴보고 머신러닝을 Apache Beam 파이프라인에 통합하세요. 이러한 노트북은 일반적인 머신러닝 워크플로에 관한 실용적인 예와 안내를 제공합니다.
다음 리소스를 사용하여 다음 작업을 할 수 있습니다.
- ML 모델용 데이터 전처리: 여기에는 데이터 확장, 어휘 계산, 데이터 준비를 위한
MLTransform사용과 같은 작업이 포함됩니다. - 다양한 모델 및 프레임워크로 추론 실행: vLLM을 사용하여 GPU에서 PyTorch, TensorFlow, scikit-learn, Hugging Face 모델, Gemma 모델, Vertex AI와 함께
RunInference변환을 사용합니다. - 임베딩 생성 및 관리: Vertex AI 또는 Hugging Face를 사용하여 텍스트 임베딩을 만들고 벡터 검색을 위해 AlloyDB 및 BigQuery와 같은 데이터베이스에 이를 수집합니다.
- 고급 ML 파이프라인 패턴 구현: 여기에는 실행 중인 파이프라인에서 모델 자동 새로고침, 여러 모델 사용, 앙상블 모델 빌드, BigQuery, Bigtable, Vertex AI Feature Store를 사용한 데이터 보강이 포함됩니다.
- 특정 사용 사례에 ML 적용: 이상 감지, Gemma를 사용한 감정 분석 및 요약 등이 있습니다.
모든 가이드
|
핵심 Dataflow 및 MLTransform 개념
|
Apache Beam DataFrames API를 사용한 전처리 Apache Beam DataFrames API를 사용하여 일반적인 데이터 탐색 및 사전 처리 단계를 수행하는 방법을 보여줍니다. |
노트북 보기 |
|
핵심 Dataflow 및 MLTransform 개념
|
MLTransform을 사용하여 데이터 사전 처리 머신러닝 워크플로를 위해 데이터를 사전 처리하는 데 MLTransform을 사용하는 방법을 간략하게 소개합니다. |
노트북 보기 |
|
데이터 보강 및 임베딩
|
Apache Beam 및 AlloyDB를 사용한 벡터 임베딩 수집 확장 가능한 데이터 처리를 위해 Apache Beam 및 Dataflow를 사용하여 데이터에서 임베딩을 생성하고 AlloyDB로 수집하는 방법을 보여줍니다. |
노트북 보기 |
|
데이터 보강 및 임베딩
|
Apache Beam 및 BigQuery를 사용하여 데이터 보강 BigQuery와 함께 Apache Beam 보강 변환을 사용하여 데이터를 보강하는 방법을 보여줍니다. |
노트북 보기 |
|
데이터 보강 및 임베딩
|
Apache Beam 및 BigQuery를 사용한 임베딩 수집 및 벡터 검색 Apache Beam RAG 패키지를 사용하여 임베딩을 생성하고, BigQuery에 삽입하고, 벡터 유사성 검색을 수행하는 방법을 보여줍니다. |
노트북 보기 |
|
데이터 보강 및 임베딩
|
Apache Beam 및 Bigtable을 사용하여 데이터 보강 Bigtable과 함께 Apache Beam 보강 변환을 사용하여 데이터를 보강하는 방법을 보여줍니다. |
노트북 보기 |
|
데이터 보강 및 임베딩
|
Hugging Face Hub 모델을 사용하여 텍스트 임베딩 생성 Hugging Face의 SentenceTransformers 프레임워크를 사용하여 텍스트 데이터에서 임베딩을 생성하기 위해 MLTransform을 사용합니다. |
노트북 보기 |
|
데이터 보강 및 임베딩
|
Apache Beam 및 Vertex AI Feature Store를 사용하여 데이터 보강 Vertex AI Feature Store와 함께 Apache Beam 보강 변환을 사용하여 데이터를 보강하는 방법을 보여줍니다. |
노트북 보기 |
|
데이터 보강 및 임베딩
|
Vertex AI API를 사용하여 텍스트 임베딩 생성 Vertex AI 텍스트 임베딩 API를 사용하여 Google의 대규모 생성형 인공지능(AI) 모델을 사용하는 텍스트 임베딩을 생성합니다. |
노트북 보기 |
|
모델 학습 및 데이터 처리
|
실행 중인 파이프라인에서 ML 모델 업데이트 부 입력을 사용하여 Apache Beam 파이프라인을 중지하지 않고 자동 모델 업데이트를 실행하는 방법을 보여줍니다. |
노트북 보기 |
|
모델 학습 및 데이터 처리
|
데이터 세트에서 어휘 계산 및 적용 MLTransform을 사용하여 입력 텍스트에 어휘를 생성하고 각 토큰에 색인 값을 할당하는 방법을 보여줍니다. |
노트북 보기 |
|
모델 학습 및 데이터 처리
|
서로 다르게 학습된 모델 여러 개로 ML 추론 실행 KeyedModelHandler를 사용하여 키별로 여러 다른 모델이 있는 Apache Beam 파이프라인에서 추론을 실행하는 방법을 보여줍니다. |
노트북 보기 |
|
모델 학습 및 데이터 처리
|
MLTransform을 사용하여 데이터 확장 머신러닝(ML) 모델 학습을 위한 중요한 전처리 단계인 MLTransform을 사용하여 데이터를 확장하는 방법을 보여줍니다. |
노트북 보기 |
|
모델 학습 및 데이터 처리
|
Beam의 TensorFlow Model Analysis 두 모델을 만들고 비교하여 Apache Beam 파이프라인의 일부로 TFMA를 사용하여 모델의 성능을 조사하고 시각화하는 방법을 보여줍니다. |
노트북 보기 |
|
추론 실행
|
Apache Beam의 원격 추론 Google Cloud Vision API를 사용하여 Apache Beam에서 맞춤 추론 호출을 구현하는 방법을 보여줍니다. |
노트북 보기 |
|
추론 실행
|
자체 ML 모델을 Beam RunInference로 가져오기 spaCy 패키지를 사용하여 머신러닝(ML) 모델을 로드하고 RunInference PTransform을 사용하여 Apache Beam 파이프라인에서 추론을 실행하는 방법을 보여줍니다. |
노트북 보기 |
|
추론 실행
|
Gemma 개방형 모델로 추론 실행 사전 구성된 Gemma 2B 모델을 로드한 후 Apache Beam 추론 파이프라인에서 사용하는 방법을 보여줍니다. |
노트북 보기 |
|
추론 실행
|
생성형 AI에 RunInference 사용 Hugging Face Model Hub의 대규모 언어 모델(LLM)을 사용하여 생성형 AI 작업을 위해 Apache Beam RunInference 변환을 사용하는 방법을 보여줍니다. |
노트북 보기 |
|
추론 실행
|
Hugging Face를 사용한 Apache Beam RunInference RunInference 변환을 사용하는 Apache Beam 파이프라인에서 Hugging Face 및 Hugging Face 파이프라인의 모델을 사용하는 방법을 보여줍니다. |
노트북 보기 |
|
추론 실행
|
이미지 설명 및 순위 지정 예시를 사용하는 앙상블 모델 이미지 캡션용 RunInference API를 사용하여 Apache Beam에서 캐스케이드 모델을 구현하는 방법을 보여줍니다. |
노트북 보기 |
|
추론 실행
|
Apache Beam RunInference for PyTorch PyTorch용 RunInference 변환 사용을 보여줍니다. |
노트북 보기 |
|
추론 실행
|
Apache Beam에서 RunInference 사용 인기 있는 ML 프레임워크인 PyTorch, TensorFlow, scikit-learn과 함께 RunInference API를 사용하는 방법을 보여줍니다. |
노트북 보기 |
|
추론 실행
|
scikit-learn용 Apache Beam RunInference scikit-learn에 RunInference 변환을 사용하는 방법을 보여줍니다. |
노트북 보기 |
|
추론 실행
|
TensorFlow를 사용한 Apache Beam RunInference TensorFlow용 Apache Beam RunInference 변환을 사용하는 방법을 보여줍니다. |
노트북 보기 |
|
추론 실행
|
TFX 기본 공유 라이브러리에 RunInference 사용 TensorFlow 및 TFX 기본 공유 라이브러리(tfx-bsl)와 함께 Apache Beam RunInference 변환을 사용하는 방법을 보여줍니다. |
노트북 보기 |
|
추론 실행
|
TensorFlow 및 TensorFlow Hub를 사용한 Apache Beam RunInference TensorFlow Hub에서 학습된 모델과 함께 TensorFlow용 Apache Beam RunInference 변환을 사용하는 방법을 보여줍니다. |
노트북 보기 |
|
추론 실행
|
Vertex AI를 사용한 Apache Beam RunInference Vertex AI를 사용한 이미지 분류에 Apache Beam RunInference 변환을 사용하는 방법을 보여줍니다. |
노트북 보기 |
|
추론 실행
|
GPU에서 vLLM을 사용하여 ML 추론 실행 vLLM 및 GPU를 사용하여 머신러닝 추론을 실행하는 방법을 보여줍니다. |
노트북 보기 |
|
추론 실행
|
Dataflow에서 TPU 사용 Tensor Processing Unit(TPU)을 활용하는 두 개의 개별 Dataflow 파이프라인을 구성하고 실행하는 방법을 보여줍니다. 첫 번째 파이프라인은 TPU 액세스를 확인하기 위해 간단한 계산을 수행하고, 두 번째 더 복잡한 파이프라인은 Gemma-3-27b-it 모델로 추론을 실행합니다. |
노트북 보기 |
|
전문적인 사용 사례
|
Apache Beam을 사용한 일괄 및 스트리밍 데이터의 이상치 감지(Z 점수 방법) Z-Score 알고리즘과 함께 AnomalyDetection PTransform을 사용하여 일괄 데이터와 스트리밍 데이터 모두에서 이상 감지를 실행하는 방법을 보여줍니다. |
노트북 보기 |
|
전문적인 사용 사례
|
Gemma를 사용하여 감정을 측정하고 대화 요약하기 Gemma를 사용하여 대화의 감정을 측정하고, 대화의 콘텐츠를 요약하고, 답장을 작성하는 방법을 보여줍니다. |
노트북 보기 |