Guest User

Untitled

a guest
May 22nd, 2018
81
0
Never
Not a member of Pastebin yet? Sign Up, it unlocks many cool features!
text 1.57 KB | None | 0 0
  1. //return byte
  2. $ch = curl_init($url);
  3. curl_setopt($ch, CURLOPT_NOBODY, 1);
  4. curl_setopt($ch, CURLOPT_SSL_VERIFYPEER,false);
  5. curl_setopt($ch, CURLOPT_RETURNTRANSFER, 0);
  6. curl_setopt($ch, CURLOPT_HEADER, 0);
  7. curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
  8. curl_setopt($ch, CURLOPT_MAXREDIRS, 3);
  9. curl_exec($ch);
  10. $filesize = curl_getinfo($ch, CURLINFO_CONTENT_LENGTH_DOWNLOAD);
  11. curl_close($ch);
  12. if ($filesize) return $filesize;
  13.  
  14. $file = fopen('robots.txt', 'w');
  15.  
  16. // инициализация cURL
  17. $ch = curl_init();
  18.  
  19. curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
  20. curl_setopt($ch, CURLOPT_URL, $url);
  21. curl_setopt($ch, CURLOPT_FILE, $file);
  22. curl_exec($ch);
  23. fclose($file);
  24. curl_close($ch);
  25.  
  26. $resultFile = 'robots.txt'; // файл, который получили
  27.  
  28. if (!file_exists($resultFile)) {
  29. // Если файл отсутвует, сообщаем ошибку
  30. echo "Файл robots.txt отсутствует.";
  31. } else {
  32. echo "Файл robots.txt присутствует." . "n";
  33. // Начинаем обрабатывать файл, если все прошло успешно
  34. $textget = file_get_contents($resultFile);
  35. htmlspecialchars($textget);
  36.  
  37. if (preg_match("/Host/", $textget)) {
  38. echo "Директива Host есть" . "n";
  39. } else {
  40. echo "Директивы Host нет";
  41. }
  42.  
  43. echo 'Размер файла ' . $resultFile . ': ' . $this->remoteFileSize($url . "/robots.txt") . ' байт';
  44. }
Add Comment
Please, Sign In to add comment