daily pastebin goal
50%
SHARE
TWEET

Untitled

a guest May 16th, 2018 90 Never
Not a member of Pastebin yet? Sign Up, it unlocks many cool features!
  1. 어떤 웹 페이지에 대한 웹크롤링을 제한시키기 위한 약속같은것으로써 웹사이트의 최상위 경로에 txt파일로 적어서 저장해 둔다.
  2.  
  3. 모든 경로에 봇의 접근을 허락하는 경우
  4. User-agent: *
  5. Allow: /
  6.  
  7. 모든 경로에 봇의 접근을 허락하지 않는 경우
  8. User-agent: *
  9. Disallow: /
RAW Paste Data
Top