클러스터의 Managed Service for Apache Spark 개요

클러스터의 Managed Service for Apache Spark를 사용하면 일괄 처리, 쿼리, 스트리밍, 머신러닝에 오픈소스 데이터 도구를 활용할 수 있습니다. 클러스터의 Managed Service for Apache Spark 자동화를 사용하면 클러스터를 빠르게 만들고 손쉽게 관리할 수 있으며, 필요하지 않을 때는 클러스터를 사용 중지하여 비용을 절감할 수 있습니다. 관리에 드는 시간과 비용이 줄어드는 만큼 작업과 데이터에 집중할 수 있습니다.

클러스터의 Managed Service for Apache Spark의 장점

기존의 온프레미스 제품 및 경쟁 클라우드 서비스와 비교할 때 Managed Service for Apache Spark에는 3개에서 수백 개의 노드 클러스터에 대한 여러 가지 고유한 이점이 있습니다.

  • 저렴한 비용 — 클러스터의 Managed Service for Apache Spark는 사용 중인 다른 Google Cloud 리소스 외에 시간당 클러스터의 가상 CPU당 1센트의 비용으로 가격이 책정됩니다. 이 저렴한 가격 외에도 Managed Service for Apache Spark 클러스터에는 컴퓨팅 가격이 더 낮은 선점형 인스턴스를 포함하여 비용을 더 줄일 수 있습니다. 클러스터의 Managed Service for Apache Spark는 사용량을 가장 가까운 시간으로 반올림하는 대신 초 단위 청구와 1분이라는 짧은 최소 청구 기간으로 실제 사용량에 대해서만 청구합니다.
  • 매우 빠름 — 클러스터에서 Managed Service for Apache Spark를 사용하지 않으면 온프레미스에서 또는 IaaS 제공업체를 통해 Spark 및 Hadoop 클러스터를 만드는 데 5분에서 30분까지 걸릴 수 있습니다. 반면 Managed Service for Apache Spark 클러스터는 시작, 확장, 종료가 빠르며 이러한 각 작업은 평균 90초 이하로 걸립니다. 즉, 클러스터를 기다리는 시간을 줄이고 데이터를 사용하는 데 더 많은 시간을 할애할 수 있습니다.
  • 통합: 클러스터의 Managed Service for Apache Spark는 BigQuery, Cloud Storage, Bigtable, Cloud Logging, Cloud Monitoring과 같은 다른 Google Cloud 서비스와 기본적으로 통합되어 있으므로 Spark나 Hadoop 클러스터 이상의 완전한 데이터 플랫폼을 제공합니다. 예를 들어 클러스터에서 Managed Service for Apache Spark를 사용하여 비즈니스 보고를 위해 테라바이트 단위의 원시 로그 데이터를 BigQuery에 바로 손쉽게 ETL(추출, 변환, 로드)할 수 있습니다.
  • 관리형 — 관리자의 지원을 받거나 특별한 소프트웨어를 사용하지 않고도 Spark 및 Hadoop 클러스터를 사용할 수 있습니다. Google Cloud 콘솔, Cloud SDK 또는 클러스터의 Managed Service for Apache Spark REST API를 통해 클러스터 및 Spark 또는 Hadoop 작업과 상호작용할 수 있습니다. 클러스터 사용이 끝나고 클러스터를 사용 중지하면 유휴 클러스터에 비용을 지출하지 않습니다. Managed Service for Apache Spark는 Cloud Storage, BigQuery, Bigtable과 통합되므로 데이터 손실에 대해 걱정할 필요가 없습니다.
  • 간단하고 친숙함 - 클러스터에서 Managed Service for Apache Spark를 사용하기 위해 새로운 도구나 API를 배울 필요가 없으므로 재개발하지 않고 기존 프로젝트를 클러스터의 Managed Service for Apache Spark로 쉽게 이동할 수 있습니다. Spark, Hadoop, Pig, Hive가 자주 업데이트되므로 더 빠르게 생산성을 높일 수 있습니다.

클러스터의 Managed Service for Apache Spark에는 무엇이 포함되나요?

클러스터의 Managed Service for Apache Spark에서 지원하는 오픈소스 (Hadoop, Spark, Hive, Pig) 및 Google Cloud 커넥터 버전 목록은 Managed Service for Apache Spark 클러스터 이미지 버전 목록을 참고하세요.

시작하기

시작하려면 클러스터의 Managed Service for Apache Spark 빠른 시작을 참고하세요. 다음과 같은 방법으로 클러스터에서 Managed Service for Apache Spark에 액세스할 수 있습니다.