BigQuery Studio Git 저장소로 코드 관리

BigQuery Studio Git 저장소를 사용하여 SQL 스크립트와 노트북을 관리할 수 있습니다. 이 기능은 버전 제어를 BigQuery Studio 파일 브라우저에 직접 통합하여 콘솔을 벗어나지 않고도 저장소를 클론하고, 브랜치를 관리하고, Git 작업을 실행할 수 있습니다. Google Cloud

BigQuery Studio Git 저장소는 기존 저장소에 비해 더 간소화된 폴더 기반 환경을 제공합니다. BigQuery Studio Git 저장소는 왼쪽 창의 사용자 루트 폴더 아래에 직접 표시됩니다.

BigQuery Studio Git 저장소를 사용하면 원격 Git 저장소에 연결된 상태에서 표준 파일 및 디렉터리와 마찬가지로 코드 애셋과 상호작용할 수 있습니다.

제한사항

  • BigQuery Studio Git 저장소는 사용자 루트 폴더 컨텍스트로 제한되며 비공개로 사용하기 위한 것입니다. 이 저장소를 다른 사용자와 공유하지 마세요. 이러한 저장소는 프로젝트의 애셋을 가상으로 나타내는 사용자 루트 폴더에 표시되지만 기술적으로는 프로젝트 수준에서 생성됩니다.
  • Git 프록시와 함께 Developer Connect 계정 커넥터를 사용하는 것은 지원되지 않습니다.
  • 마운트 위치 내의 파일 시스템 작업은 Dataform 할당량을 소비합니다.
  • 파일 수가 많거나, 파일 크기가 크거나, 브랜치가 많거나, 커밋 기록이 깊고 복잡한 저장소는 클론하는 데 시간이 더 오래 걸립니다. 클론 작업이 작업 제한 시간을 초과하여 저장소가 성공적으로 생성되지 않을 수 있습니다.
  • BigQuery Studio Git 저장소 마운트에 저장된 노트북 파일의 크기는 30MB를 초과할 수 없습니다. 파일이 30MB보다 큰 경우 마운트된 위치 외부의 Colab 런타임의 로컬 저장소에 저장하세요.

  • 마운트 외부에서 Git 저장소를 변경하는 경우(예: 왼쪽 창에서 파일을 수정하거나 이름을 변경하는 경우) 이러한 변경사항이 노트북 런타임의 마운트 내에 표시되는 데 최대 60초가 걸릴 수 있습니다. 생성자에 CACHE_TTL_SECONDS 매개변수를 전달하여 이 기간을 조정할 수 있습니다.

      FuseWidget(CACHE_TTL_SECONDS=NUMBER)

    NUMBER을 캐시가 유효한 상태로 유지되는 시간(초)으로 바꿉니다. 이 값을 줄이면 동기화 빈도가 증가하고 Dataform 할당량이 더 빨리 소진됩니다.

시작하기 전에

Google Cloud 프로젝트에서 Developer Connect API를 사용 설정합니다.

API 사용 설정하기

필요한 역할

BigQuery Studio Git 저장소로 코드를 관리하는 데 필요한 권한을 얻으려면 관리자에게 프로젝트에 대한 Developer Connect OAuth 사용자 (roles/developerconnect.oauthUser) IAM 역할을 부여해 달라고 요청하세요. 역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

이 사전 정의된 역할에는 BigQuery Studio Git 저장소로 코드를 관리하는 데 필요한 권한이 포함되어 있습니다. 필요한 정확한 권한을 보려면 필수 권한 섹션을 펼치세요.

필수 권한

BigQuery Studio Git 저장소로 코드를 관리하려면 다음 권한이 필요합니다.

  • resourcemanager.projects.get
  • resourcemanager.projects.list
  • developerconnect.operations.list
  • developerconnect.operations.get
  • developerconnect.locations.list
  • developerconnect.locations.get
  • developerconnect.users.startOAuth
  • developerconnect.users.finishOAuth
  • developerconnect.users.fetchAccessToken
  • developerconnect.users.getSelf
  • developerconnect.users.deleteSelf
  • developerconnect.accountConnectors.get
  • developerconnect.accountConnectors.list
  • developerconnect.accountConnectors.gitProxyUse
  • developerconnect.accountConnectors.httpProxyUse
  • developerconnect.accountConnectors.gitProxyRead
  • developerconnect.accountConnectors.gitProxyWrite
  • developerconnect.accountConnectors.httpProxyRead
  • developerconnect.accountConnectors.httpProxyWrite
  • developerconnect.accountConnectors.fetchUserRepositories

커스텀 역할이나 다른 사전 정의된 역할을 사용하여 이 권한을 부여받을 수도 있습니다.

BigQuery Studio Git 저장소 만들기

Git 저장소를 만들 때는 다음 요구사항을 고려하세요.

  • 원격 저장소가 공개 인터넷에 공개되어 있지 않은 경우(예: 방화벽 뒤에 있는 경우) 원격 Git 저장소를 Git 저장소에 연결할 수 없습니다. 이 경우 보호된 원격 저장소에 연결할 수 있도록 방화벽 규칙에 필요한 Dataform 이그레스 IP 주소 범위를 추가합니다.
  • dataform.restrictGitRemotes 조직 정책에서 허용 목록에 없는 원격 Git 저장소에 연결된 Git 저장소를 만들려면 먼저 정책의 allowedValues 목록에 해당 원격 Git 저장소를 추가한 후 Git 저장소를 만듭니다. 자세한 내용은 원격 저장소 제한을 참조하세요.

Git 저장소를 만들려면 다음을 수행하세요.

  1. Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다.

    BigQuery로 이동

  2. 왼쪽 창에서 파일을 클릭하여 파일 브라우저를 엽니다.

    왼쪽 창이 표시되지 않으면 왼쪽 창 펼치기를 클릭하여 창을 엽니다.

  3. 사용자 루트 노드 옆에 있는 작업 보기 > 만들기 > Git 저장소를 클릭합니다.

  4. 원격 Git 저장소의 URL을 입력합니다.

  5. BigQuery Studio는 기존 Developer Connect 계정 커넥터를 사용할 수 있는지 감지합니다. 다음 중 한 가지 방법을 사용하시기 바랍니다.

    • 계정 커넥터가 발견되면 Git 저장소의 표시 이름이 미리 입력됩니다. 이 값은 수정할 수 있습니다.
    • 계정 커넥터가 없으면 계정 커넥터 만들기를 클릭하여 새 계정 커넥터를 만듭니다.
    • Developer Connect 계정 커넥터를 사용하지 않으려면 다른 연결 유형 사용을 클릭하여 HTTPS 또는 SSH를 사용하여 연결하세요.

  6. 연결을 클릭합니다.

파일 수정

파일을 수정하려면 SQL 스크립트나 노트북과 같은 파일 노드를 클릭하여 새 편집기 탭에서 파일을 엽니다.

변경사항은 자동으로 저장됩니다.

파일 관리

각 항목과 연결된 작업 메뉴를 사용하여 표준 관리 작업을 실행할 수 있습니다. 이러한 옵션에 액세스하려면 디렉터리 또는 파일 옆에 있는 작업 열기를 클릭합니다.

디렉터리 수준에서 다음 작업을 수행할 수 있습니다.

  • 저장소에서 만들기: SQL 쿼리, 노트북, 데이터 캔버스, 데이터 준비, 파일 또는 하위 디렉터리를 비롯한 새 코드 애셋을 만듭니다.
  • 저장소에 업로드: 로컬 머신에서 선택한 디렉터리로 기존 파일을 가져옵니다.
  • 이름 바꾸기: 디렉터리의 이름을 변경합니다.
  • 이동: 디렉터리를 재배치합니다. 디렉터리는 동일한 Git 저장소 내의 다른 위치로만 이동할 수 있습니다. 자세한 내용은 파일 및 디렉터리 이동 또는 복사를 참고하세요.
  • 삭제: 로컬 워크스페이스에서 디렉터리와 모든 콘텐츠를 영구적으로 삭제합니다.

파일 수준에서 다음 작업을 수행할 수 있습니다.

  • 열기 또는 다음에서 열기: 기본 편집기 또는 특정 애플리케이션(예: 특정 노트북 환경)에서 파일을 봅니다.
  • 이름 바꾸기: 파일 이름을 변경합니다.
  • 복사: 파일의 사본을 만듭니다. 파일은 동일한 Git 저장소 내의 디렉터리로만 복사할 수 있습니다.
  • 이동: 파일을 동일한 Git 저장소 내의 다른 디렉터리로 이동합니다. 자세한 내용은 파일 및 디렉터리 이동 또는 복사를 참고하세요.
  • 다운로드: 파일의 사본을 로컬 머신에 저장합니다.
  • 삭제: 작업공간에서 파일을 삭제합니다.

파일 및 디렉터리 이동 또는 복사

파일과 디렉터리를 이동하거나 복사할 수 있지만 동일한 Git 저장소 내에 있어야 합니다.

  1. Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다.

    BigQuery로 이동

  2. 왼쪽 창에서 파일을 클릭하여 파일 브라우저를 엽니다.

  3. 이동하거나 복사할 파일 또는 디렉터리를 찾습니다.

  4. 작업 열기 > 이동 또는 복사를 클릭합니다.

  5. 표시되는 대화상자에서 동일한 Git 저장소 내의 대상 디렉터리를 선택합니다.

  6. 이동 또는 복사를 클릭합니다.

변경사항 커밋 및 푸시

로컬 수정사항을 원격 저장소와 동기화하려면 다음 단계를 따르세요.

  1. Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다.

    BigQuery로 이동

  2. 왼쪽 창에서 저장소를 클릭합니다.

  3. 선택사항: 수정된 파일 위로 마우스를 가져간 후 차이점 보기를 클릭하여 로컬 버전과 마지막으로 커밋된 버전을 행별로 비교합니다.

  4. 커밋 메시지 필드에 변경사항에 대한 설명을 입력합니다.

  5. 커밋을 클릭합니다. 변경사항이 로컬 브랜치의 Git 기록에 저장됩니다.

  6. 원격 브랜치로 푸시를 클릭합니다. 변경사항이 원격 저장소와 동기화됩니다.

새 브랜치 체크아웃

로컬 브랜치를 관리하고 기존 로컬 또는 원격 추적 브랜치를 기반으로 새 로컬 브랜치를 만들 수 있습니다.

저장소 탭의 브랜치 섹션에서 체크아웃된 로컬 브랜치를 확인할 수 있습니다. CURRENT 라벨은 활성 브랜치를 나타내고 DEFAULT 라벨은 저장소의 기본 브랜치를 나타냅니다.

새 브랜치를 체크아웃하려면 다음을 실행하세요.

  1. Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다.

    BigQuery로 이동

  2. 왼쪽 창에서 저장소를 클릭합니다.

  3. 브랜치 섹션을 펼칩니다.

  4. 브랜치 옆에 있는 작업 열기를 클릭한 다음 새 브랜치 체크아웃을 클릭합니다.

  5. 소스 브랜치 메뉴에서 새 브랜치의 기반으로 사용할 브랜치를 선택합니다(예: origin/main).

  6. 브랜치 이름 필드에 새 브랜치의 이름을 입력합니다.

  7. 결제를 클릭합니다. BigQuery Studio는 먼저 소스 브랜치를 체크아웃합니다. 제공된 브랜치 이름이 새 브랜치를 나타내는 경우 해당 소스를 기반으로 생성됩니다. 새 브랜치가 활성 브랜치가 되고 Git 저장소의 콘텐츠가 체크아웃된 브랜치의 상태를 반영하도록 자동으로 업데이트됩니다.

Git 저장소 마운트에서 노트북 파일 액세스

BigQuery Studio Git 저장소 내에서 노트북에 액세스할 때 호스트 Git 저장소를 노트북의 런타임에 마운트할 수 있습니다. 마운트는 원격 Git 저장소가 노트북의 런타임에 로컬 저장소인 것처럼 표시되도록 하는 연결입니다. 이렇게 하면 노트북에서 동일한 저장소 내의 다른 파일에 직접 액세스하고, 읽고, 쓰고, 스크립트를 쿼리할 수 있습니다.

Git 저장소 마운트

Git 저장소를 마운트하려면 노트북에서 다음 Python 코드를 실행합니다.

from google_dataform_fuse_widget import FuseWidget
FuseWidget()

노트북이 마운트에 연결되면 다음과 같은 변경사항이 발생합니다.

  • 노트북 세션의 현재 작업 디렉터리가 Git 저장소 내의 상대 경로를 반영하도록 업데이트됩니다. 이렇게 하면 경로 기반 파일 액세스가 자동으로 작동합니다.
  • 노트북의 런타임에 있는 Git 저장소의 경로가 Python 시스템 경로에 추가되므로 표준 Python 가져오기 문을 사용하여 Git 저장소의 쿼리 스크립트와 파일을 노트북에 직접 로드할 수 있습니다.

마운트 및 연결 관리

다음 컨트롤을 사용하여 작업공간을 관리합니다.

  • 작업공간 마운트: Git 저장소의 마운트 프로세스를 시작합니다. 마운트는 공유 리소스이므로 동일한 Colab 런타임의 여러 노트북이 동일한 Git 저장소를 사용하는 경우 동일한 마운트를 사용합니다.
  • 작업공간 마운트 해제: Git 저장소의 마운트 프로세스를 중지합니다. 작업공간을 마운트 해제하면 해당 Colab 런타임에서 작업공간을 사용하던 모든 노트북에서 마운트를 사용할 수 없게 됩니다.
  • 작업공간 연결: 현재 노트북 세션의 활성 마운트에 대한 연결을 시작합니다. 연결하면 Git 저장소를 포함하도록 노트북의 작업 디렉터리와 시스템 경로가 업데이트되므로 파일에 액세스하고 파일을 가져올 수 있습니다.
  • 작업공간 연결 해제: 현재 노트북 세션의 마운트 연결을 종료하고 기본 상태로 재설정합니다. 연결 해제는 다른 활성 노트북 세션의 마운트 연결 상태에 영향을 미치지 않습니다. 세션의 연결을 종료하려면 워크스페이스 연결 해제 버튼을 사용하는 것이 좋습니다.
  • 복구: 마운트 또는 연결이 사용할 수 없게 되면 정상 상태로 복원합니다.

마운트를 초기화한 후 상태 표시줄에서 마운트의 실시간 상태와 활성 경로를 참고하세요. 가능한 상태는 Connected, Mounted, Stopped, Unhealthy입니다.

다음 단계