Robots Parser

NodeJS용 Robots.txt 파서

NodeJS robots.txt parser with support for wildcard (*) matching.

Features

• IETF 의 Robots Exclusion Protocol 드래프트와 호환을 목표로 개발
• 지원 규칙
  • User-agent, Allow, Disallow, Sitemap, Crawl-delay, Host
  • Path : Wildcard(*) 와 EOL($) 매칭

See also

• Robots.txt

Favorite site

• Github - robots-parser