daily pastebin goal
13%
SHARE
TWEET

Untitled

a guest May 16th, 2018 91 Never
Not a member of Pastebin yet? Sign Up, it unlocks many cool features!
  1. 어떤 웹 페이지에 대한 웹크롤링을 제한시키기 위한 약속같은것으로써 웹사이트의 최상위 경로에 txt파일로 적어서 저장해 둔다.
  2.  
  3. 모든 경로에 봇의 접근을 허락하는 경우
  4. User-agent: *
  5. Allow: /
  6.  
  7. 모든 경로에 봇의 접근을 허락하지 않는 경우
  8. User-agent: *
  9. Disallow: /
RAW Paste Data
We use cookies for various purposes including analytics. By continuing to use Pastebin, you agree to our use of cookies as described in the Cookies Policy. OK, I Understand
 
Top