Skip to content

Web crawler

웹 크롤러(web crawler)는 조직적, 자동화된 방법으로 월드 와이드 웹을 탐색하는 컴퓨터 프로그램이다. 웹 크롤러에 대한 다른 용어로는 앤트(ants), 자동 인덱서(automatic indexers), 봇(bots), 웜(worms), 웹 스파이더(web spider), 웹 로봇(web robot) 등이 있다.

웹 크롤러가 하는 작업을 웹 크롤링(web crawling) 혹은 스파이더링(spidering)이라 부른다. 검색 엔진과 같은 여러 사이트에서는 데이터의 최신 상태 유지를 위해 웹 크롤링한다. 웹 크롤러는 대체로 방문한 사이트의 모든 페이지의 복사본을 생성하는 데 사용되며, 검색 엔진은 이렇게 생성된 페이지를 보다 빠른 검색을 위해 인덱싱한다. 또한 크롤러는 링크 체크나 HTML 코드 검증과 같은 웹 사이트의 자동 유지 관리 작업을 위해 사용되기도 하며, 자동 이메일 수집과 같은 웹 페이지의 특정 형태의 정보를 수집하는 데도 사용된다.

웹 크롤러는 봇이나 소프트웨어 에이전트의 한 형태이다. 웹 크롤러는 대개 시드(seeds)라고 불리는 URL 리스트에서부터 시작하는데, 페이지의 모든 하이퍼링크를 인식하여 URL 리스트를 갱신한다. 갱신된 URL 리스트는 재귀적으로 다시 방문한다.

Categories

  • Web Scraping
  • Selenium WebDriver
  • WebDriver
  • Beautiful Soup - 다양한 스크래핑 앱 만들기 편한 파이썬 패키지
  • PhantomJS
  • Web archiver
  • robots.txt
  • Playwright - JS실행이 필요한 웹페이지가 많아져서, 브라우저 자동화 도구가 편함
  • Browserflow - 웹 브라우저 기반의 작업 자동화 도구
  • curl-impersonate - 브라우저 처럼 웹사이트를 가져오는 포크버전
  • Helium - 더 사용하기 편한 Selenium-Python
  • undetected_chromedriver - CloudFlare 봇 체크를 통과하는 커스텀 Selenium Chromedriver
  • estela - 쿠버네티스에서 동작하는 elastic web scraping cluster
  • Scrapy
  • Scrapeghost - GPT를 이용한 웹 스크래핑 라이브러리
  • Autotab - 복잡한 웹 작업을 API로 만들어 주는 도구

웹크롤링시 Bot검사를 피하는 방법

See also

Favorite site