ArchiveBox

🗃 Open source self-hosted web archiving. Takes URLs/browser history/bookmarks/Pocket/Pinboard/etc., saves HTML, JS, PDFs, media, and more…

셀프호스팅 웹 아카이빙 도구

Features

모든 웹사이트를 오프라인으로 볼 수 있게 저장해주는 오픈소스
직접 추가한 URL, 브라우저 방문기록(확장 제공), 북마크, RSS, Pocket/Pinboard 등에서 가져와 HTML/JS/PDF/미디어등을 저장
- 하나씩 추가하거나 정기적으로 가져오게 스케줄링 가능
리눅스,맥,윈도우(WSL2)에 설치하거나 Docker로 실행 후 CLI 도구/웹앱/파이썬 라이브러리/일회성 명령등으로 이용
URL의 스냅샷을 여러가지 중복형식으로 저장하며, 페이지에 포함된 모든 콘텐츠를 감지하여 폴더로 추출
- HTML/모든 웹사이트 : 오리지널 HTML+CSS+JS, singlefile HTML, 스크린샷 PNG, PDF, WARC, 제목, 내용 텍스트, favicon, headers, …
- 소셜 미디어/뉴스 : 기사 내용 TXT, 댓글, 제목, 저장, 이미지, …
- YouTube/SoundCloud/etc. : MP3/MP4s, 자막, 메타데이터, 썸네일, …
- Github/Gitlab/etc. 링크들 : GIT 소스코드 클론, README, 이미지들, …
별도 포맷을 이용하지 않고 크롬, wget, yt-dlp 등의 표준 도구를 사용하여 일반 파일/폴더에 저장함. 즉 ArchiveBox 없이도 모든 데이터를 읽을수 있음
저장하는 URL을 archive.org 로 보내서 별도 저장 요청 처리(중복 보관, 로컬 온리모드로 비활성화 가능)