Skip to content

Hierarchical Data Format

계층적 데이터 형식(Hierarchical Data Format, HDF)은 HDF Gruop에 의해 관리되고 있는 대용량의 데이터를 저장하기 위한 파일 형식이다. BSD-like 라이선스가 적용되어 있다. 자세한 내용은 홈페이지 참조.

How to install

정상적으로 컴파일되지 않을 경우 --disable-stream-vfd옵션을 추가해 보자. 간단한 방법은, cmake를 사용하여 컴파일 하면 된다.

HDF 파일포맷 개요

일반적으로 과학자들은 다양한 종류의 컴퓨터에서 데이터를 만들거나 처리하고 있고, 데이터 파일을 처리하기 위하여 여러 가지의 소프트웨어 패키지들을 사용하고 있으며, 다른 컴퓨터와 소프트웨어를 사용하는 다른 과학자들과 데이터를 공유하기도 한다. 이러한 환경에서 여러 가지 종류의 정보가 하나의 파일 혹은 여러 개의 파일에 수록되며, 각 파일에 저장되어 있는 서로 다른 정보의 혼합 정도도 각각 다르다. 여기서 어떤 데이터는 많은 파일에 분산될 수 있으므로, 파일들은 개념적으로는 서로 관계가 있을 수 있으나, 물리적으로는 서로 분리되어 있을 수 있다.

HDF(Hierarchical Data Format)는 이러한 분산환경에서 과학용 데이터를 공유하기 위한 다중객체 파일형식이다.HDF는 여러 분야에서 진행되고 있는 프로젝트를 수행하는 다양한 과학자들의 요구를 만족시키기 위하여 NCSA(National Center for Supercomputing Applications)에서 개발되었다. 특히 HDF는 다음과 같은 과학용 데이터를기록하기 위한 많은 요구조건을 만족시키도록 만들어 졌다.

  • 과학자들에게 많이 사용되고 있는 데이터 형식과 메타데이터 형식을 지원한다.
  • 큰 데이터를 읽고, 쓰는데 있어서 효율적이어야 한다.
  • 컴퓨터의 기종에 관계없이 사용할 수 있어야 한다.
  • 다른 표준형식과 무리없이 사용할 수 있어야 하며, 앞으로 기능향상에 대비하여 확장할 수 있어야 한다.

Format

  • HDF4: 기존 데이터 포맷으로 현재 지원되고는 있지만 신규 프로젝트의 경우 HDF5로 진행하기를 권장함.
  • HDF5: 현재 표준 데이터포맷.

장점

아래와 같은 장점이 있다.

  • XML과 동일하게 자기기술적으로 구성되어 있어 데이터 형식을 파일 안에 기술 가능하다.
  • 많은 양의 데이터를 저장 가능하다.
  • 검색 속도가 빠르다.
  • 병렬 입출력을 지원한다.
  • 데이터의 무작위 조회(Random Access) 가 가능하다.
  • 20여년 이상 개발되어온 포맷으로 안정적이다.

Local Download

HDF5 1.8.16
Hdf5-1.8.16.tar.gz
HDF5 1.8.18
Hdf5-1.8.18.tar.gz

See also

Favorite site