Data Version Control

🦉 ML Experiments and Data Management with Git

DVC 자체만으로 데이터의 버전 관리를 할 수 있는 것은 아닙니다. DVC는 데이터를 추적하는 데에 사용할 메타 데이터와 설정 파일을 생성하고, DVC에 의해 생성된 파일을 git이 추적하여 버전 관리를 진행합니다.

Install

• Linux | Data Version Control · DVC

pip 방법:

pip install dvc

Depending on the type of the remote storage you plan to use, you might need to install optional dependencies: [s3], [gdrive], [gs], [azure], [ssh], [hdfs], [webdav], [oss]. Use [all] to include them all.

snap 방법:

snap install --classic dvc

저장소 초기화

.git이 있는 폴더로 이동한 후

dvc init

하면 다음 파일들이 추가된다.

• .dvc/.gitignore
• .dvc/config
• .dvcignore

원격지 추가

-d 는 --default 옵션과 동일.

## SSH/SFTP
dvc remote add -d yournas ssh://yournas/volume5/20TB_DATA/DVC/ddrm

## WebDAV Over TLS
dvc remote add -d yournas webdavs://yournas:5006/20TB_DATA/DVC/ddrm

원격지 설정

modify 를 사용하면 .dvc/config 파일에 저장된다.

--local 옵션을 사용하면 Git Ignored 처리된 로컬 설정 파일 (located in .dvc/config.local) 을 사용한다.

접속 정보 추가 (저장소가 아닌 사용자 설정)

• dvc remote modify --local {리모트이름} user {사용자명} - 사용자명 지정
• dvc remote modify --local {리모트이름} password {비밀번호} - 비밀번호 지정
• dvc remote modify --local {리모트이름} port {포트번호} - 포트번호 변경
• dvc remote modify {리모트이름} ask_password true - 통신시 비밀번호 질의 여부, true 또는 false

SSH KEY 로 접속할 경우:

• dvc remote modify --local {리모트이름} keyfile {/path/to/keyfile}
• dvc remote modify {리모트이름} ask_passphrase true
• dvc remote modify --local {리모트이름} passphrase mypassphrase

SSL 검증:

• dvc remote modify {리모트이름} ssl_verify false - 검증 SKIP

빠른 시작

잘모르것음 dvc init 이후 아래와 같이 진행.

.dvc/config file:

[core]
    remote = yournas
    autostage = true
['remote "yournas"']
    url = webdavs://yournas:5006/20TB_DATA/DVC/업로드할경로
    ask_password = true
    ssl_verify = false

hosts 파일 업데이트 및 사용자 정보 추가:

sudo echo "{IP} yournas" >> /etc/hosts
dvc remote modify --local yournas user ${USER}

.dvc/config.local file:

['remote "yournas"']
    user = yourid

.dvc/.gitignore file:

/config.local
/tmp
/cache

그리고 추가하고 싶은 파일 추가. 예컨데 cvp/assets/*.sqlite 파일들 이라면:

dvc add cvp/assets/*.sqlite

git 으로 관련 파일들 추가 하던 말던 알아서 하신후

dvc commit
dvc push

하면 된다.

추적 추가

원하는 파일 또는 디렉토리 추가.

dvc add ./ddrm/assets/checkpoints/

다음과 같이 출력된다:

100% Adding...|██████|1/1 [00:04,  4.35s/file]

To track the changes with git, run:

        git add ddrm/assets/checkpoints.dvc

To enable auto staging, run:

        dvc config core.autostage true

DVC 자체는 이력 관리가 없으므로 git 으로 추가한다:

git add ddrm/assets/checkpoints.dvc

추적 제거

dvc remove {삭제할데이터파일명.dvc}

원격 저장소의 파일 제거

원격저장소에서 dvc workspace에서 추적하지 않는 파일 삭제

dvc gc -w -c -r {원격저장소명} -f

상태 확인

*.dvc 파일 기준으로 출력된다.

dvc status

근데 이렇게 보면 뭔말인자 잘 모름.

"data" 가 추가되면 약간 git status 스러운 출력을 할 수 있다.

dvc data status

예를 들면 다음과 같이 출력된다:

Not in cache:
  (use "dvc fetch <file>..." to download files)
        ddrm/assets/checkpoints/mobile_sam.pt
        ddrm/assets/checkpoints/rtmdet-ins_x_8xb16-300e_coco-cam1-epoch_300.pth
        ddrm/assets/checkpoints/rtmdet-ins_x_8xb16-300e_coco_2nd-epoch_300.pth

DVC uncommitted changes:
  (use "dvc commit <file>..." to track changes)
  (use "dvc checkout <file>..." to discard changes)
        deleted: ddrm/assets/checkpoints/mobile_sam.pt
        deleted: ddrm/assets/checkpoints/rtmdet-ins_x_8xb16-300e_coco-cam1-epoch_300.pth
        deleted: ddrm/assets/checkpoints/rtmdet-ins_x_8xb16-300e_coco_2nd-epoch_300.pth
(there are other changes not tracked by dvc, use "git status" to see)

추적중인 파일 갱신 (commit)

dvc add는 추적 중이지 않는 파일을 추적하도록 추가하는 것. dvc commit은 이미 추적 중인 파일이 수정되었을 때 수정 사항을 "확정"하고 캐시를 업데이트한다. (즉 서버에 업로드하지 않는다)

dvc commit

git add -> git commit 순서로 이행되지만 이것과 별개로 생각해야 한다.

예제

데이터가 수정된 직후 다음 데이터 상태를 확인해 보자:

$ opy-dvc data status
DVC uncommitted changes:
  (use "dvc commit <file>..." to track changes)
  (use "dvc checkout <file>..." to discard changes)
        modified: demos/
(there are other changes not tracked by dvc, use "git status" to see)

저기 "modified:" 부분이 <span style="color: yellow;">노란색으로 출력된다. 주석대로 하면 된다.

• 변경 사항을 적용 하고 싶다면 "dvc commit <file>..."
• 변경 사항을 취소 하고 싶다면 "dvc checkout <file>..."

여기선 commit 한다.

$ opy-dvc commit
outputs ['demos'] of stage: 'demos.dvc' changed. Are you sure you want to commit it? [y/n] y

변경된 내용이 있다면 커밋할건지 물어본다. y 를 입력하면 된다.

$ opy-dvc data status
DVC committed changes:
  (git commit the corresponding dvc files to update the repo)
        modified: demos/
(there are other changes not tracked by dvc, use "git status" to see)

"modified:" 부분이 <span style="color: green;">녹색으로 출력된다. 서버에 업로드하고 싶다면 push 하자.

$ opy-dvc push
Collecting                                                                                                                       |267 [00:00,  976entry/s]
Pushing
183 files pushed

원격지 동기화

DVC 원격지에서 다운로드:

dvc pull

DVC 원격지에 업로드:

dvc push

이전 버전 복귀

• DVC를 활용해 모델, 데이터의 버전을 관리해보자!(작성중)

dvc checkout

dvc는 데이터/모델의 버전을 변경하기 위해 사용합니다. 버전을 변경하는 방법을 알아봅시다!

train.py 에서 일부 하이퍼파라미터를 변경하고 새 모델을 훈련한다고 가정합니다.

훈련 후 model_output에는 새 모델 파일이 있다고 가정합니다.

dvc add model_output 
git commit model_output.dvc -m "dvc: Model Updata vx.x" 
dvc push 
git push origin master

위와 같이 새 버전의 데이터/모델을 dvc에 push합니다.

git checkout <commit>
dvc checkout

이전 데이터의 버전으로 전환할 때는 위와 같이 사용하고자 하는 해당 커밋으로 돌아와 당시의 dvc 내용으로 돌아가면 됩니다!

캐시

• cache dir | Data Version Control · DVC

Is A TTY

• dvc push: No progress bar or text displayed , even with --verbose · Issue #9666 · iterative/dvc

DVC_IGNORE_ISATTY=1 dvc push

Data Management

Remote Storage

• Remote Storage | Data Version Control · DVC

DVC 리모컨은 외부 저장소 위치에 대한 액세스를 제공하여 데이터 및 ML 모델을 추적하고 공유합니다.

일반적으로 이러한 정보는 프로젝트 작업을 수행하는 장치나 팀 구성원 간에 공유됩니다.

예를 들어 동료가 생성한 데이터 아티팩트를 로컬에서 재생성하는 데 시간과 리소스를 소비하지 않고도 다운로드할 수 있습니다.

• Amazon S3
• Azure Blob Storage
• Google Cloud Storage
• Google Drive
• Aliyun OSS
• SSH & SFTP
• HDFS & WebHDFS
• HTTP
• WebDAV

ddrm 저장소 초기화 예제

Synology DiskStation (NAS) 에서 sftp를 사용하면 mkdirs 중 에러가 계속 발생되서 WebDAV 패키지 설치 후 TLS 접속 포트(5006) 로 적용했다.

dvc init
dvc remote add -d yournas webdavs://yournas:5006/20TB_DATA/DVC/ddrm
dvc config core.autostage true
dvc add ./ddrm/assets/checkpoints/
git rm -r --cached ddrm/assets/checkpoints
git add ddrm/assets/checkpoints.dvc

Troubleshooting

• Troubleshooting | Data Version Control · DVC

Client error '401 Unauthorized' for url '..'

Collecting
Fetching
ERROR: unexpected error - received 401 (Unauthorized): Client error '401 Unauthorized' for url 'https://yournas:5006/20TB_DATA/DVC/ddrm/files/md5/00'
For more information check: https://developer.mozilla.org/en-US/docs/Web/HTTP/Status/401

Having any troubles? Hit us up at https://dvc.org/support, we are always happy to help!

최소한 사용자 ID는 추가해야 한다.

dvc remote modify --local yournas user ${USER}

필요하다면 비밀번호도 물어보게 하자.

dvc remote modify yournas ask_password true

unknown module name (_ssl.c:2633)

webdavs 프로토콜 사용, dvc push 할 경우:

ERROR: unexpected error - [CONF: UNKNOWN_MODULE_NAME] unknown module name (_ssl.c:2633): [CONF: UNKNOWN_MODULE_NAME] unknown module name (_ssl.c:2633)

Having any troubles? Hit us up at https://dvc.org/support, we are always happy to help!

하.. -_-; 그냥 pip로 설치한 후 사용하자.

output '...' is already tracked by SCM (e.g. Git)

dvc add ddrm/assets/checkpoints/ 명령을 날리니:

Computing md5 for a large file '/home/yourid/Project/ddrm/ddrm/assets/checkpoints/rtmdet-ins_x_8xb16-300e_coco-cam1-epoch_300.pth'. This is only done once.
Computing md5 for a large file '/home/yourid/Project/ddrm/ddrm/assets/checkpoints/rtmdet-ins_x_8xb16-300e_coco_2nd-epoch_300.pth'. This is only done once.
Adding...
ERROR:  output 'ddrm/assets/checkpoints' is already tracked by SCM (e.g. Git).
    You can remove it from Git, then add to DVC.
        To stop tracking from Git:
            git rm -r --cached 'ddrm/assets/checkpoints'
            git commit -m "stop tracking ddrm/assets/checkpoints"

명시된 파일/폴더를 SCM 버전관리에서 제거해야 한다.

git rm -r --cached 'ddrm/assets/checkpoints'
git commit -m "stop tracking ddrm/assets/checkpoints"

See aslo

• git
• MLOps

Favorite site

• Data Version Control · DVC
• Github - iterative/dvc
• DVC(Data Version Control) 소개 | 개발자 Story | SKT Enterprise
• DVC(Data Version Control) 개념 및 활용 방법
• DVC 설명 및 필수 활용 방법 정리
• DVC 기초 및 사용법 :: 개발 일기