Developer Device Platform 기기 실행의 스마트 샤딩은 Cloud Storage에 저장된 이전 테스트 실행 타이밍을 사용하여 Android 계측 테스트와 iOS XCTest를 병렬 샤드에 분산합니다. 각 테스트의 실행 시간에 관계없이 개수별로 테스트 사례를 나누는 균일 샤딩과 달리 스마트 샤딩은 예상 기간에 따라 샤드의 균형을 맞추므로 병렬 샤드가 거의 동일한 목표 시간에 완료됩니다.
이 문서에서는 스마트 샤딩 알고리즘이 샤드 수를 계산하고 테스트를 할당하는 방법을 설명하고, Cloud Storage 버킷에 저장된 YAML 타이밍 레코드의 스키마를 설명하며, Android Test Orchestrator 오버헤드 및 30일 연속 데이터 기간에 관한 일반적인 질문에 답변합니다. Google Cloud CLI를 사용하는 명령줄 안내는 Android 계측 및 iOS XCTest 안내를 참조하세요.
스마트 샤딩 알고리즘의 작동 방식
샤딩은 동시에 실행할 수 있는 테스트 수와 동일하지 않습니다. 요청 시 사용 가능한 기기가 샤드 한도보다 적을 수 있습니다. 사용자에게 할당할 수 있는 실제 동시 기기 수는 지정된 샤드 수보다 적을 수 있습니다.
gcloud CLI에서 --sharding-option=smart를 사용하여 세션을 제출하거나 REST API에서 smartSharding를 구성하면 Developer Device Platform은 세션 생성, 테스트 실행, 완료에 걸쳐 6단계 워크플로를 실행합니다.
- 과거 타이밍 데이터를 읽고 기기 컨텍스트를 일치시킵니다. 샤드를 예약하기 전에 기기 실행 서비스 에이전트가 Cloud Storage에서 스마트 샤딩 YAML 파일을 읽습니다.
records목록에서 대상 작업의deviceModel및osVersion와 일치하는shardingContext를 검색합니다(대소문자를 구분하지 않음). 해당 기기 및 OS 조합에 정확히 일치하는 항목이 없으면 Developer Device Platform은 파일에서 사용 가능한 첫 번째records항목으로 대체됩니다. YAML 파일이 아직 없으면 세션은 빈 타이밍 기록으로 콜드 스타트로 진행됩니다. - 샘플을 30일 연속 기간으로 필터링하고 예상 기간을 계산합니다. 선택한 컨텍스트 레코드의 경우 Developer Device Platform은
recordTime가 지난 30일 이내인 타이밍 샘플만 유지하고 각 테스트 사례의 산술 평균 기간을 계산합니다. Android Test Orchestrator가--orchestrator-version로 사용 설정된 경우 Developer Device Platform은ANDROID_TEST_ORCHESTRATOR오버헤드 샘플의 30일 평균도 계산하고 이 평균 오버헤드를 모든 테스트 사례의 예상 기간에 추가합니다. - 실행 가능한 테스트를 검색하고 대체 추정치를 할당합니다. 작업자 호스트에서 개발자 기기 플랫폼은 테스트 패키지를 정적으로 검사합니다. 즉, Android의 테스트 APK에서 DEX 파일을 읽거나 iOS에서 컴파일된
.xctest기호와.xctestrun필터를 읽고,--test-targets필터를 적용하고, 무시되거나 억제된 테스트(예:@Ignore또는@Suppress)를 제외합니다. 실행 가능한 각 테스트 단위는 세 가지 등급에 따라 예상 기간을 수신합니다.- 기록된 테스트 사례: 30일간의 평균 기간(Android Test Orchestrator가 사용 설정된 경우 평균 Orchestrator 오버헤드 포함)을 사용합니다.
Android에서 매개변수화된 JUnit 클래스(예:
@RunWith(Parameterized.class),JUnitParamsRunner또는TestParameterInjector를 사용하는 클래스)는 단일 클래스 수준 단위로 예약되며, 예상 기간은 해당 클래스에 기록된 모든 메서드 기간의 합계입니다. - 기존 모음의 기록되지 않은 테스트 사례: 일치하는 레코드에서 기록된 0이 아닌 모든 테스트 사례의 평균 예상 기간을 사용합니다.
- 콜드 스타트(기록된 기록 없음): 테스트 단위당 기본 추정치인 30초를 사용합니다.
- 기록된 테스트 사례: 30일간의 평균 기간(Android Test Orchestrator가 사용 설정된 경우 평균 Orchestrator 오버헤드 포함)을 사용합니다.
Android에서 매개변수화된 JUnit 클래스(예:
샤드 수를 계산합니다. Developer Device Platform은 실행 가능한 모든 테스트 단위의 예상 시간을 합산하고 구성된
--smart-sharding-target-duration(2m~1h사이에서 유효)로 나눈 후 가장 가까운 정수 샤드로 반올림합니다.optimal_shards = max(1, ceil(total_expected_duration / target_duration))다음으로 Developer Device Platform은
1와 다음 한도 중 가장 낮은 값 사이에서 최종 샤드 수를 설정합니다.- 실행 가능한 테스트 단위의 총 개수입니다(빈 샤드 방지).
--smart-sharding-max-shard-count값(0보다 크게 설정된 경우)- 플랫폼 한도(실제 기기의 경우
20개 샤드, Android 가상 기기의 경우200개 샤드)
가장 긴 처리 시간 우선 빈 패킹을 사용하여 테스트를 할당합니다. Developer Device Platform은 실행 가능한 모든 테스트 단위를 예상 소요 시간의 내림차순(가장 느린 것부터 가장 빠른 것까지)으로 정렬하고 누적 소요 시간별로 정렬된 빈 샤드의 최소 힙을 초기화합니다. 한 번에 하나의 테스트 단위를 가져와 누적 시간이 가장 짧은 샤드에 가장 느린 나머지 테스트를 할당하고 해당 샤드의 총 시간을 업데이트합니다. 느린 '롱 폴' 테스트를 먼저 예약하면 별도의 샤드로 격리되고, 짧은 테스트는 나머지 간격을 채워 전체 샤드 기간의 균형을 유지합니다.
통과 시간을 기록하고 Cloud Storage를 업데이트합니다. 모든 샤드가 완료되면 Developer Device Platform은 통과한 테스트 사례의 측정된
startTime~endTime기간을 수집하고, YAML 파일의 모든 기기 컨텍스트에서 30일이 지난 샘플을 프루닝하고, 유효한 샘플이 남아 있지 않은 컨텍스트 레코드를 삭제하고, 세대 일치 낙관적 동시 실행 재시도를 사용하여 업데이트된 YAML 파일을 Cloud Storage에 다시 작성합니다.
스마트 샤딩 YAML 파일 구조
gcloud CLI로 세션을 실행할 때 --smart-sharding-record-name는 Google Cloud 프로젝트의 Cloud Storage 버킷에 저장된 타이밍 레코드의 기본 파일 이름(YAML 확장자 제외)을 지정합니다.
gs://BUCKET_NAME/automation/smart-sharding/RECORD_NAME.yaml
다음 자리표시자를 바꿉니다.
BUCKET_NAME:--bucket-name로 지정된 Cloud Storage 버킷 이름 또는 기본적으로<var>PROJECT_ID</var>-devicerun(여기서PROJECT_ID는 Google Cloud프로젝트 ID)입니다.RECORD_NAME: YAML 파일 확장자 없이--smart-sharding-record-name에 전달된 레코드 식별자입니다(예:checkout-suite는automation/smart-sharding/checkout-suite.yaml에 매핑됨).
YAML 타이밍 레코드 예시
다음 예는 Android Test Orchestrator를 실행하는 Android 기기와 iOS 기기라는 두 가지 기기 컨텍스트의 타이밍 레코드가 포함된 스마트 샤딩 YAML 파일(checkout-suite.yaml)을 보여줍니다.
records:
- shardingContext:
deviceModel: shiba
osVersion: '34'
testCaseTimingRecords:
- testCaseName: com.example.shop.CheckoutTest#testCompletePurchase
timingSamples:
- duration: 42.180s
recordTime: '2026-11-08T14:20:11Z'
- duration: 44.050s
recordTime: '2026-11-09T16:45:03Z'
- testCaseName: com.example.shop.CartTest#testApplyPromoCode
timingSamples:
- duration: 8.600s
recordTime: '2026-11-08T14:20:11Z'
- duration: 9.120s
recordTime: '2026-11-09T16:45:03Z'
conditionalOverheads:
- condition: ANDROID_TEST_ORCHESTRATOR
timingSamples:
- duration: 2.850s
recordTime: '2026-11-08T14:20:11Z'
- duration: 3.150s
recordTime: '2026-11-09T16:45:03Z'
- shardingContext:
deviceModel: iphonese3
osVersion: '18.4'
testCaseTimingRecords:
- testCaseName: ShopTests.CheckoutTests#testApplePaySheet
timingSamples:
- duration: 19.340s
recordTime: '2026-11-09T17:10:29Z'
YAML 필드 참조
스마트 샤딩 YAML 파일은 camelCase 필드 이름을 사용하여 SuiteTiming 스키마를 직렬화합니다. 다음 표에서는 파일의 각 필드를 설명합니다.
| 필드 | 유형 | 설명 |
|---|---|---|
metadata |
지도(string~string) |
집계 업데이트 전반에서 보존되는 선택적 제품군 수준 키-값 메타데이터입니다. |
records |
객체 목록 | 기기별 타이밍 항목(SuiteTimingWithContext)으로, 하드웨어 모델 및 OS 버전별로 분할됩니다. |
records[].shardingContext |
객체 | 타이밍 측정 집합의 범위를 지정하는 하드웨어 및 OS 측정기준입니다. |
records[].shardingContext.deviceModel |
string |
타이밍이 기록된 기기의 모델 식별자입니다(예: Android의 shiba 또는 iOS의 iphonese3). |
records[].shardingContext.osVersion |
string |
기기의 OS 또는 SDK 버전(예: Android API 수준 '34' 또는 iOS 버전 '18.4') |
records[].testCaseTimingRecords |
객체 목록 | 이 컨텍스트에서 통과한 개별 테스트 사례의 이전 실행 시간입니다. |
records[].testCaseTimingRecords[].testCaseName |
string |
package.ClassName#methodName 형식의 정규화된 테스트 식별자입니다(메서드 메타데이터가 없는 경우 package.ClassName). |
records[].testCaseTimingRecords[].timingSamples |
객체 목록 | 테스트 사례의 측정된 기간을 연속 30일 동안 나열한 목록으로, 통과한 실행 뒤에 추가됩니다. |
timingSamples[].duration |
기간 문자열 | 측정된 기간은 초 단위로 형식이 지정되며 선택적으로 소수점 정밀도를 사용할 수 있습니다(예: 10s 또는 42.180s). |
timingSamples[].recordTime |
타임스탬프 문자열 | Developer Device Platform에서 샘플을 기록한 시간을 나타내는 RFC 3339 UTC 타임스탬프입니다(예: '2026-11-09T16:45:03Z'). |
records[].conditionalOverheads |
객체 목록 | 특정 실행기 모드에서 측정된 선택적 실행 오버헤드이며 범위는 shardingContext입니다. 조건부 오버헤드가 적용되지 않으면 생략됩니다. |
records[].conditionalOverheads[].condition |
string |
실행 조건의 식별자입니다. 지원 값: ANDROID_TEST_ORCHESTRATOR |
records[].conditionalOverheads[].timingSamples |
객체 목록 | 적격한 샤드에서 기록된 전환당 오버헤드 샘플의 30일 연속 목록입니다. |
ANDROID_TEST_ORCHESTRATOR 오버헤드 타이밍 이해
--orchestrator-version로 Android 계측 테스트를 실행하면 스마트 샤딩 YAML 파일에 condition: ANDROID_TEST_ORCHESTRATOR가 있는 conditionalOverheads 항목이 포함됩니다. testCaseTimingRecords와 달리 이러한 오버헤드 샘플은 개별 테스트 메서드나 번호가 지정된 샤드에 연결되지 않습니다.
오버헤드 기간 샘플 하나가 나타내는 것
Android Test Orchestrator가 사용 설정되면 자체 격리된 Instrumentation 프로세스에서 각 테스트 메서드를 실행합니다. 개별 테스트 startTime 및 endTime 타임스탬프는 각 테스트 메서드 내에서 소요된 시간만 캡처합니다. 이전 앱 프로세스를 중지하고, 선택적으로 패키지 데이터(clearPackageData)를 지우고, 다음 테스트를 위해 새로운 Instrumentation 프로세스를 시작하는 데 소요된 테스트 간 간격은 포함하지 않습니다.
테스트 간 전환 비용을 측정하기 위해 Developer Device Platform은 두 개 이상의 테스트 사례를 실행하는 각 통과 샤드(N > 1)를 검사하고 다음을 계산합니다.
- 총 샤드 실행 기간: 샤드의 가장 이른 테스트
startTime부터 샤드의 가장 최근 테스트endTime까지 경과된 실제 시간입니다. - 총 테스트 사례 기간: 해당 샤드의 모든
N테스트 사례에 대한(endTime - startTime)의 합계입니다. 전환당 평균 오버헤드:
N개의 순차 테스트에는 테스트 간에N - 1개의 전환이 있으므로 Developer Device Platform은 샤드 기간에서 합산된 테스트 기간을 빼고N - 1로 나눕니다.overhead_sample = max(0, total_span - total_test_duration) / (N - 1)
작업에서 통과하는 각 멀티 테스트 샤드는 ANDROID_TEST_ORCHESTRATOR에 하나의 TimingSample를 제공합니다. 예를 들어 세션이 3개의 샤드에서 실행되고 각 샤드가 최소 2개의 테스트 사례를 통과하면 해당 세션은 세션의 recordTime과 함께 3개의 오버헤드 샘플을 추가합니다. 단일 테스트 사례(N = 1)만 실행하는 샤드는 테스트 간 전환이 없으며 오버헤드 샘플을 내보내지 않습니다.
오버헤드가 테스트 사례 또는 샤드에 연결되지 않는 이유
Developer Device Platform은 두 가지 이유로 테스트별 또는 샤드별이 아닌 shardingContext(deviceModel 및 osVersion) 수준에서 ANDROID_TEST_ORCHESTRATOR 샘플을 저장합니다.
- 오버헤드는 테스트 로직이 아닌 기기 및 OS에 따라 달라집니다. 프로세스 시작, 바인더 초기화, 패키지 데이터 삭제는 다음에 실행되는 JUnit 메서드와 관계없이 거의 동일한 시간이 걸리는 반면, 샤드 그룹화는 테스트 타이밍이나 샤드 수가 변경될 때마다 동적으로 변경됩니다.
- 오버헤드를 분리하면 기준 테스트 타이밍이 깔끔하게 유지됩니다.
testCaseTimingRecords에서 프로세스 격리 오버헤드를 제외하면 기본 테스트별 실행 기간을 왜곡하지 않고 동일한 YAML 레코드를 공유하는 실행 전반에서--orchestrator-version를 사용 설정하거나 사용 중지할 수 있습니다.
Developer Device Platform에서 샤드 할당 중에 오버헤드를 사용하는 방식
새 세션에서 --orchestrator-version가 설정되면 Developer Device Platform은 유효한 ANDROID_TEST_ORCHESTRATOR 샘플(avg_overhead)의 30일 평균을 계산하고 샤드 수를 계산하거나 샤드를 패킹하기 전에 모든 테스트 사례의 30일 평균 기간에 추가합니다.
expected_test_duration = avg_test_duration + avg_overhead
세션에 --orchestrator-version가 설정되지 않은 경우 avg_overhead는 0s이고 YAML 파일의 기존 ANDROID_TEST_ORCHESTRATOR 항목은 해당 실행에서 무시됩니다.
모든 테스트 사례에 avg_overhead를 추가하면 세 가지 방식으로 샤딩에 영향을 미칩니다.
- 빠른 테스트가 많은 모음의 정확한 샤드 수 각각
1s에서 실행되는 60개의 단위 스타일 계측 테스트 모음이 있고 평균 Orchestrator 전환 오버헤드가3s이고 타겟 샤드 기간이2m(120s)이라고 가정해 보겠습니다. 오버헤드가 없으면 총 예상 시간은60s이므로 60개의 테스트가 모두1샤드에 포함되며 완료하는 데 실제로 거의 4분이 걸립니다(테스트 실행60s+ 조정자 전환59 * 3s = 177s). 각 테스트에3s오버헤드(테스트당 예상 시간4s또는 총240s)를 추가하면 Developer Device Platform은 각 샤드가 2분 목표에 가깝게 완료되도록2샤드(ceil(240s / 120s))를 할당합니다. - 테스트 수가 다를 때 균형 잡힌 샤드 패킹 가장 긴 처리 시간 우선 빈 패킹 중에
40sUI 테스트 하나가 할당된 샤드는 예상 비용(40s + 3s)의43s를 발생시키는 반면4s테스트 10개가 할당된 샤드는 예상 비용(10 * (4s + 3s))의70s를 발생시킵니다. 테스트당 오버헤드를 포함하면 짧은 테스트가 많은 샤드가 계산되지 않은 프로세스 재시작 지연 시간을 자동으로 누적하지 않습니다. - 새로 추가된 테스트에 대한 현실적인 추정치 기존 모음의 기록되지 않은 테스트는 이미
avg_overhead를 포함하는 알려진 테스트의 평균 예상 기간을 상속하므로 새 테스트는 첫 번째 실행에서 조정자 오버헤드를 자동으로 고려합니다.
30일 데이터 기간 및 초기 실행 동작 이해하기
스마트 샤딩은 테스트 실행 최적화를 시작하기 전에 30일간의 이전 데이터를 필요로 하지 않습니다. 단일 기록 샘플이라도 바로 다음 세션에서 기간 기반 샤드 계산 및 빈 패킹을 활성화합니다. 대신 30일은 Developer Device Platform에서 YAML 타이밍 레코드를 읽고 업데이트할 때 사용하는 순환 보관 및 전환 확인 기간입니다.
스마트 샤딩에서 30일 롤링 기간을 사용하는 이유
Developer Device Platform은 스마트 샤딩 YAML 파일을 읽거나 업데이트할 때마다 recordTime가 30일이 지난 TimingSample를 필터링합니다.
이 30일 기간은 다음 두 가지 엔지니어링 목표의 균형을 맞춥니다.
- 코드베이스 변경사항에 적응하고 파일 크기 제한 앱 기능, UI 흐름, 테스트 구현은 시간이 지남에 따라 발전합니다. 30일이 지난 샘플을 자동으로 제거하면 화면 재설계 또는 네트워크 계층 리팩터링 이전의 타이밍과 같은 오래된 타이밍이 현재 샤드 할당을 왜곡하지 않습니다. 만료된 항목을 제거하고 더 이상 유효한 샘플이 없는 기기 컨텍스트를 삭제하면 YAML 파일이 작게 유지되고 32MB 제한을 훨씬 밑돌게 됩니다.
- 주간 테스트 모음을 지원하면서 실행 간 편차를 완화합니다. 단일 테스트 실행에서 가비지 컬렉션, 백그라운드 시스템 서비스 또는 에뮬레이터 예약으로 인한 일시적인 노이즈가 발생할 수 있습니다. 30일 기간 동안 샘플을 평균화하면 일회성 급증이 완화되는 동시에 야간, 주간 또는 스프린트 주기의 지속적 통합 파이프라인이 실행 간에 웜 타이밍 레코드를 유지할 수 있을 만큼 충분한 기록이 유지됩니다.
1주 차와 2주 차에 기대할 수 있는 사항
현재 기존 테스트 모음에서 스마트 샤딩을 사용 설정하면 실행 시간이 개선되기까지 몇 주를 기다리지 않고 빠른 준비 곡선을 따릅니다.
- 첫 실행(콜드 스타트). YAML 파일이 아직 Cloud Storage에 없으므로 개발자 기기 플랫폼은 실행 가능한 모든 테스트 단위에 30초 기본 예상 시간을 할당합니다. 샤드 수를
ceil(num_tests * 30s / target_duration)로 계산하고(최대 샤드 수 및 플랫폼 한도로 제한됨) 균일 샤딩과 유사하게 샤드에 테스트를 분산합니다. 처음 실행할 때 다음을 수행합니다.- 테스트 평균이 30초보다 훨씬 짧으면 실행 1에서 필요한 것보다 많은 샤드(최대
--smart-sharding-max-shard-count개)를 할당할 수 있습니다. - 테스트 모음에 몇 분이 걸리는 UI 테스트가 여러 개 포함되어 있다면 느린 테스트 두 개가 우연히 같은 샤드에 배치되어 해당 샤드가 실제 완료 시간의 병목 현상이 될 수 있습니다.
- 실행 1이 완료되면 Developer Device Platform은 통과한 테스트의 측정된 기간을 사용하여 Cloud Storage에 YAML 파일을 만듭니다.
- 테스트 평균이 30초보다 훨씬 짧으면 실행 1에서 필요한 것보다 많은 샤드(최대
- 두 번째 실행(실행 1이 완료된 직후) 스마트 샤딩은 이미 활성 상태입니다. Developer Device Platform은 실행 1에서 기록된 시간을 읽고, 도구 모음의 실제 실행 시간에서 샤드 수를 다시 계산하고, 가장 느린 테스트를 별도의 샤드로 먼저 격리합니다. 일반적으로 스마트 샤딩을 사용 설정한 당일에도 실행 2부터 시작하여 실제 세션 시간과 샤드 수 적정 크기 조정이 주로 감소합니다.
- 1주 차의 나머지 부분과 2주 차 다음 몇 번의 실행에서 샤드 균형은 세 가지 특정 사례에서 계속 강화됩니다.
- 단일 실행 분산 평활화. 각 실행이 통과할 때마다 다른
TimingSample가 추가되므로 실행 1의 일시적인 변동이 평균화되어--smart-sharding-target-duration를 약간 지나서 완료되는 느린 샤드가 줄어듭니다. - 처음에 실패한 실행의 테스트를 채웁니다. 빠른 비정상 종료나 테스트 시간 초과로 인해 이전 평균이 손상되는 것을 방지하기 위해 Developer Device Platform은 통과한 테스트의 타이밍만 기록합니다(Android에서는 전체 모음 상태가
PASSED인 샤드의 타이밍만 기록). 실행 1에서 타이밍을 기록하지 않은 테스트는 실행 2에서 모음의 평균 기간을 사용한 다음 통과하면 자체 측정 타이밍으로 전환합니다. - 새 테스트 또는 기기 모델 추가 1주 차와 2주 차에 커밋된 새 테스트 사례는 30초 기본값으로 되돌아가는 대신 자동으로 이 도구 모음의 평균 예상 기간을 사용합니다. 동일한 레코드 이름을 사용하여 세션에 두 번째
--device모델을 추가하면 첫 번째 실행에서는 기존 기기의 타이밍을 초기 대체로 사용한 다음 후속 실행을 위해 전용shardingContext항목을 기록합니다.
- 단일 실행 분산 평활화. 각 실행이 통과할 때마다 다른
자주 묻는 질문(FAQ)
다음 질문에서는 CI/CD 파이프라인에서 스마트 샤딩을 실행할 때의 일반적인 운영 시나리오를 다룹니다.
다음 단계
- TestParameterInjector 테스트 실행기에 관해 알아봅니다.
- Android 계측 테스트 실행에서 스마트 샤딩 플래그를 구성합니다.
- iOS XCTest 실행에서 iOS 테스트 실행을 구성합니다.
- Developer Device Platform과 Cloud Storage 버킷 공유에서 서비스 에이전트의 프로젝트 간 버킷 권한을 확인합니다.
- Developer Device Platform 테스트 결과 찾기에서 샤드별
junit.xml및 로그 아티팩트를 검사합니다.