Data Version Control

🦉 ML Experiments and Data Management with Git

DVC 자체만으로 데이터의 버전 관리를 할 수 있는 것은 아닙니다. DVC는 데이터를 추적하는 데에 사용할 메타 데이터와 설정 파일을 생성하고, DVC에 의해 생성된 파일을 git이 추적하여 버전 관리를 진행합니다.

Install

• Linux | Data Version Control · DVC

pip 방법:

pip install dvc

Depending on the type of the remote storage you plan to use, you might need to install optional dependencies: [s3], [gdrive], [gs], [azure], [ssh], [hdfs], [webdav], [oss]. Use [all] to include them all.

snap 방법:

snap install --classic dvc

저장소 초기화

.git이 있는 폴더로 이동한 후

dvc init

하면 다음 파일들이 추가된다.

• .dvc/.gitignore
• .dvc/config
• .dvcignore

원격지 추가

-d 는 --default 옵션과 동일.

## SSH/SFTP
dvc remote add -d yournas ssh://yournas/volume5/20TB_DATA/DVC/ddrm

## WebDAV Over TLS
dvc remote add -d yournas webdavs://yournas:5006/20TB_DATA/DVC/ddrm

원격지 설정

modify 를 사용하면 .dvc/config 파일에 저장된다.

--local 옵션을 사용하면 Git Ignored 처리된 로컬 설정 파일 (located in .dvc/config.local) 을 사용한다.

접속 정보 추가 (저장소가 아닌 사용자 설정)

• dvc remote modify --local {리모트이름} user {사용자명} - 사용자명 지정
• dvc remote modify --local {리모트이름} password {비밀번호} - 비밀번호 지정
• dvc remote modify --local {리모트이름} port {포트번호} - 포트번호 변경
• dvc remote modify {리모트이름} ask_password true - 통신시 비밀번호 질의 여부, true 또는 false

SSH KEY 로 접속할 경우:

• dvc remote modify --local {리모트이름} keyfile {/path/to/keyfile}
• dvc remote modify {리모트이름} ask_passphrase true
• dvc remote modify --local {리모트이름} passphrase mypassphrase

SSL 검증:

• dvc remote modify {리모트이름} ssl_verify false - 검증 SKIP

빠른 시작

잘모르것음 dvc init 이후 아래와 같이 진행.

.dvc/config file:

[core]
    remote = yournas
    autostage = true
['remote "yournas"']
    url = webdavs://yournas:5006/20TB_DATA/DVC/업로드할경로
    ask_password = true
    ssl_verify = false

hosts 파일 업데이트 및 사용자 정보 추가:

sudo echo "{IP} yournas" >> /etc/hosts
dvc remote modify --local yournas user ${USER}

.dvc/config.local file:

['remote "yournas"']
    user = yourid

.dvc/.gitignore file:

/config.local
/tmp
/cache

그리고 추가하고 싶은 파일 추가. 예컨데 cvp/assets/*.sqlite 파일들 이라면:

dvc add cvp/assets/*.sqlite

git 으로 관련 파일들 추가 하던 말던 알아서 하신후

dvc commit
dvc push

하면 된다.

추적 추가

원하는 파일 또는 디렉토리 추가.

dvc add ./ddrm/assets/checkpoints/

다음과 같이 출력된다:

100% Adding...|██████|1/1 [00:04,  4.35s/file]

To track the changes with git, run:

        git add ddrm/assets/checkpoints.dvc

To enable auto staging, run:

        dvc config core.autostage true

DVC 자체는 이력 관리가 없으므로 git 으로 추가한다:

git add ddrm/assets/checkpoints.dvc

추적 제거

dvc remove {삭제할데이터파일명.dvc}

원격 저장소의 파일 제거

원격저장소에서 dvc workspace에서 추적하지 않는 파일 삭제

dvc gc -w -c -r {원격저장소명} -f

상태 확인

*.dvc 파일 기준으로 출력된다.

dvc status

근데 이렇게 보면 뭔말인자 잘 모름.

"data" 가 추가되면 약간 git status 스러운 출력을 할 수 있다.

dvc data status

예를 들면 다음과 같이 출력된다:

Not in cache:
  (use "dvc fetch <file>..." to download files)
        ddrm/assets/checkpoints/mobile_sam.pt
        ddrm/assets/checkpoints/rtmdet-ins_x_8xb16-300e_coco-cam1-epoch_300.pth
        ddrm/assets/checkpoints/rtmdet-ins_x_8xb16-300e_coco_2nd-epoch_300.pth

DVC uncommitted changes:
  (use "dvc commit <file>..." to track changes)
  (use "dvc checkout <file>..." to discard changes)
        deleted: ddrm/assets/checkpoints/mobile_sam.pt
        deleted: ddrm/assets/checkpoints/rtmdet-ins_x_8xb16-300e_coco-cam1-epoch_300.pth
        deleted: ddrm/assets/checkpoints/rtmdet-ins_x_8xb16-300e_coco_2nd-epoch_300.pth
(there are other changes not tracked by dvc, use "git status" to see)

또는 diff 명령도 있다:

dvc diff

추적중인 파일 갱신 (commit)

dvc add는 추적 중이지 않는 파일을 추적하도록 추가하는 것. dvc commit은 이미 추적 중인 파일이 수정되었을 때 수정 사항을 "확정"하고 캐시를 업데이트한다. (즉 서버에 업로드하지 않는다)

dvc commit

git add -> git commit 순서로 이행되지만 이것과 별개로 생각해야 한다.

예제

데이터가 수정된 직후 다음 데이터 상태를 확인해 보자:

$ opy-dvc data status
DVC uncommitted changes:
  (use "dvc commit <file>..." to track changes)
  (use "dvc checkout <file>..." to discard changes)
        modified: demos/
(there are other changes not tracked by dvc, use "git status" to see)

저기 "modified:" 부분이 <span style="color: yellow;">노란색으로 출력된다. 주석대로 하면 된다.

• 변경 사항을 적용 하고 싶다면 "dvc commit <file>..."
• 변경 사항을 취소 하고 싶다면 "dvc checkout <file>..."

여기선 commit 한다.

$ opy-dvc commit
outputs ['demos'] of stage: 'demos.dvc' changed. Are you sure you want to commit it? [y/n] y

변경된 내용이 있다면 커밋할건지 물어본다. y 를 입력하면 된다.

$ opy-dvc data status
DVC committed changes:
  (git commit the corresponding dvc files to update the repo)
        modified: demos/
(there are other changes not tracked by dvc, use "git status" to see)

"modified:" 부분이 <span style="color: green;">녹색으로 출력된다. 서버에 업로드하고 싶다면 push 하자.

$ opy-dvc push
Collecting                                                                                                                       |267 [00:00,  976entry/s]
Pushing
183 files pushed

원격지 동기화

DVC 원격지에서 다운로드:

dvc pull

DVC 원격지에 업로드:

dvc push

이전 버전 복귀

• DVC를 활용해 모델, 데이터의 버전을 관리해보자!(작성중)

dvc checkout

dvc는 데이터/모델의 버전을 변경하기 위해 사용합니다. 버전을 변경하는 방법을 알아봅시다!

train.py 에서 일부 하이퍼파라미터를 변경하고 새 모델을 훈련한다고 가정합니다.

훈련 후 model_output에는 새 모델 파일이 있다고 가정합니다.

dvc add model_output 
git commit model_output.dvc -m "dvc: Model Updata vx.x" 
dvc push 
git push origin master

위와 같이 새 버전의 데이터/모델을 dvc에 push합니다.

git checkout <commit>
dvc checkout

이전 데이터의 버전으로 전환할 때는 위와 같이 사용하고자 하는 해당 커밋으로 돌아와 당시의 dvc 내용으로 돌아가면 됩니다!

캐시

• cache dir | Data Version Control · DVC

Is A TTY

• dvc push: No progress bar or text displayed , even with --verbose · Issue #9666 · iterative/dvc

DVC_IGNORE_ISATTY=1 dvc push

Data Management

Remote Storage

• Remote Storage | Data Version Control · DVC

DVC 리모컨은 외부 저장소 위치에 대한 액세스를 제공하여 데이터 및 ML 모델을 추적하고 공유합니다.

일반적으로 이러한 정보는 프로젝트 작업을 수행하는 장치나 팀 구성원 간에 공유됩니다.

예를 들어 동료가 생성한 데이터 아티팩트를 로컬에서 재생성하는 데 시간과 리소스를 소비하지 않고도 다운로드할 수 있습니다.

• Amazon S3
• Azure Blob Storage
• Google Cloud Storage
• Google Drive
• Aliyun OSS
• SSH & SFTP
• HDFS & WebHDFS
• HTTP
• WebDAV

ddrm 저장소 초기화 예제

Synology DiskStation (NAS) 에서 sftp를 사용하면 mkdirs 중 에러가 계속 발생되서 WebDAV 패키지 설치 후 TLS 접속 포트(5006) 로 적용했다.

dvc init
dvc remote add -d yournas webdavs://yournas:5006/20TB_DATA/DVC/ddrm
dvc config core.autostage true
dvc add ./ddrm/assets/checkpoints/
git rm -r --cached ddrm/assets/checkpoints
git add ddrm/assets/checkpoints.dvc

Troubleshooting

• Troubleshooting | Data Version Control · DVC

Client error '401 Unauthorized' for url '..'

Collecting
Fetching
ERROR: unexpected error - received 401 (Unauthorized): Client error '401 Unauthorized' for url 'https://yournas:5006/20TB_DATA/DVC/ddrm/files/md5/00'
For more information check: https://developer.mozilla.org/en-US/docs/Web/HTTP/Status/401

Having any troubles? Hit us up at https://dvc.org/support, we are always happy to help!

최소한 사용자 ID는 추가해야 한다.

dvc remote modify --local yournas user ${USER}

필요하다면 비밀번호도 물어보게 하자.

dvc remote modify yournas ask_password true

unknown module name (_ssl.c:2633)

webdavs 프로토콜 사용, dvc push 할 경우:

ERROR: unexpected error - [CONF: UNKNOWN_MODULE_NAME] unknown module name (_ssl.c:2633): [CONF: UNKNOWN_MODULE_NAME] unknown module name (_ssl.c:2633)

Having any troubles? Hit us up at https://dvc.org/support, we are always happy to help!

하.. -_-; 그냥 pip로 설치한 후 사용하자.

output '...' is already tracked by SCM (e.g. Git)

dvc add ddrm/assets/checkpoints/ 명령을 날리니:

Computing md5 for a large file '/home/yourid/Project/ddrm/ddrm/assets/checkpoints/rtmdet-ins_x_8xb16-300e_coco-cam1-epoch_300.pth'. This is only done once.
Computing md5 for a large file '/home/yourid/Project/ddrm/ddrm/assets/checkpoints/rtmdet-ins_x_8xb16-300e_coco_2nd-epoch_300.pth'. This is only done once.
Adding...
ERROR:  output 'ddrm/assets/checkpoints' is already tracked by SCM (e.g. Git).
    You can remove it from Git, then add to DVC.
        To stop tracking from Git:
            git rm -r --cached 'ddrm/assets/checkpoints'
            git commit -m "stop tracking ddrm/assets/checkpoints"

명시된 파일/폴더를 SCM 버전관리에서 제거해야 한다.

git rm -r --cached 'ddrm/assets/checkpoints'
git commit -m "stop tracking ddrm/assets/checkpoints"

See aslo

• git
• MLOps
• Lnk - Git 기반 단일 바이너리 도트파일(dotfiles) 매니저

Favorite site

• Data Version Control · DVC
• Github - iterative/dvc
• DVC(Data Version Control) 소개 | 개발자 Story | SKT Enterprise
• DVC(Data Version Control) 개념 및 활용 방법
• DVC 설명 및 필수 활용 방법 정리
• DVC 기초 및 사용법 :: 개발 일기