Skip to content

Pipet

Swiss-army tool for scraping and extracting data from online assets, made for hackers

온라인에서 데이터를 스크래핑/추출하는 CLI 도구

Features

  • 3가지 동작을 지원 : HTML 파싱, JSON 파싱, 클라이언트에서 자바스크립트 실행
  • curl 같은 기존 도구에 의존하며, Unix Pipe를 이용하여 동작
  • .pipet 파일로 명령을 구성하며 파일안에는 여러개의 블록으로 구성
    • 하나의 블록은 3개의 섹션
      • 첫줄은 리소스 URL
      • 다음 라인들은 읽어올 데이터들을 지정하는 쿼리
      • > 로 시작하면 다음 페이지를 읽어올 셀렉터 (옵셔널)

Usage

Create a hackernews.pipet file containing this: 

curl https://news.ycombinator.com/
.title .titleline
  span > a
  .sitebit a

See also

Favorite site