어떤 웹 페이지에 대한 웹크롤링을 제한시키기 위한 약속같은것으로써 웹사이트의 최상위 경로에 txt파일로 적어서 저장해 둔다.

모든 경로에 봇의 접근을 허락하는 경우
User-agent: *
Allow: /

모든 경로에 봇의 접근을 허락하지 않는 경우
User-agent: *
Disallow: /