To-Slalom

GrabMajorBots

Apr 19th, 2019
61
Never
Not a member of Pastebin yet? Sign Up, it unlocks many cool features!
  1. ((google?(bot)?-?[a-z]+|(?:-[a-z]+)|(?:-[a-z]+))|([a-z]+-google-[a-z]+)|([a-z]+-google))
  2. Google Keyword Suggestion , Googlebot deepcrawl , Google Favicon ,
  3. Google Web Preview , Google Markup Tester , Google Desktop ,
  4. Google Web Preview Analytics , Google Page Speed Insights
  5.  
  6. googleweblight , Googlebot , Googlebot-Mobile , Googlebot-News , Googlebot
  7. Googlebot-Image , Google-Mobile , GoogleImageProxy , Googlebot-Video
  8.  
  9. Google-Read-Aloud , Google-Adwords-DisplayAds-WebRender ,
  10.  
  11. AdsBot-Google-Mobile , Mediapartners-Google , AdsBot-Google , APIs-Google AppEngine-Google ,
  12.  
  13. (([a-z0-9]+browser)|([0-9]+[ ]browser)|([a-z]+(-|_| )browser)|(([a-z0-9]+(-|_|\s)[a-z]+(-|_|\s)browser)))
  14. 'QQ Browser' , 'Element Browser' , 'iNet Browser' , 'Pink Browser' , 'Crazy Browser' , 'QtWeb Internet Browser' ,
  15. 'GoBrowser' , 'Odyssey Web Browser' , 'InettvBrowser' , 'webOSBrowser' , 'TungstenBrowser' , 'MQQBrowser' ,
  16. 'SailfishBrowser' , 'Tizen Browser' , 'SLP Browser' , 'SamsungBrowser' , 'Mint Browser' , 'wOSBrowser' ,
  17. 'Obigo Browser' , 'Obigo-Browser' , 'HeliumMobileBrowser' , 'Aphone Browser' , 'Hydra Browser' , 'SlimBrowser' ,
  18. 'MxBrowser' , 'APUSBrowser' , 'QQBrowser' , 'XiaoMi/MiuiBrowser' , 'ICE Browser' , 'SunriseBrowser' ,
  19. 'ObigoInternetBrowser' , '1337Browser' , 'Acoo Browser' , 'America Online Browser' , 'JuziBrowser' ,
  20. 'China Local Browse' , 'Aplix_SANYO_browser' , 'Aplix_SEGASATURN_browser' , 'NF-Browser' , 'Tenta Browser' ,
  21. 'chimlac_browser' , 'Openwave Mobile Browser' , 'WeTab Browser' , 'Samsung Browser' , 'Yandex Browser' ,
  22. 'NTENT Browser' , 'Avast Secure Browser' , 'Android Browser' , 'Aloha Browser' , 'Qutebrowser' , 'Light Browser' ,
  23. 'Sailfish Browser' , '360 Phone Browser' , '360 Browser' , 'S40OviBrowser' , 'Origyn Web Browser' ,
  24. 'BackStreet Browser' , 'Advanced Browser' , 'Commerce Browser' , 'LBBROWSER' , 'PrivacyBrowser' , 'osb-browser' ,
  25. 'NetFrontLifeBrowser' , 'Kindle Browser' , 'SECSSOBrowser' , 'ManagedBrowser' , 'WikiBrowser' , 'WeltweitimnetzBrowser' ,
  26. 'YaaniBrowser' , 'Oppo Browser' , 'ONE Browser' , 'Vision Mobile Browser' , 'MiuiBrowser' , 'GreenBrowser' ,
  27. 'Baidu Browser' , '360 Aphone Browser' , 'LG Browser' , 'YaBrowser' , 'NintendoBrowser' , 'OneBrowser' ,
  28. 'UC Browser' , 'Nokia Browser' , 'Nokia OSS Browser' , 'Nokia Ovi Browser' , 'Jig Browser' , 'PureBrowser' ,
  29. 'Multi-Browser' , 'Beaker Browser' , 'Keepsafe Browser' , 'MIUI Browser' , 'Espial TV Browser' , 'LightBrowser' ,
  30. 'Atomic Web Browser' , 'BlackBerry Browser' , 'SEMC-Browser' , 'UCBrowser' , 'Avant Browser' , 'NokiaBrowser' , 'Otter Browser' ,
  31. ([a-z]+?[ |_]?[a-z]+?[ |_]?[a-z-]+?[ |_]?[a-z0-9\s-_]?(crawler spider|sp[y|i]der|crawler|checker|(ro|)bot))
  32. 'artmixx Spider' , 'Adaxas Spider' , 'Comodo Spider' , 'Speedy Spider' , 'Nutch Spider' ,
  33. 'Sogou Orion Spider' , 'Sogou Push Spider' , 'Sogou head Spider' , 'Sogou blog Spider' ,
  34. 'Sogou web Spider' , 'Sogou Pic Spider' , 'Sogou Spider' , 'Nusearch Spider' , 'techmixx Spider' ,
  35. 'BOTW Spider' , 'Screaming Frog SEO Spider' , 'Content Crawler Spider' ,
  36.  
  37. 'SISTRIX Crawler' , 'Sensis Web Crawler' , 'Companybook Crawler' , 'Gluten Free Crawler' ,
  38. 'ExB Language Crawler' , 'Content Crawler' , 'HELLO Crawler' , 'HubSpot Links Crawler' ,
  39. 'netEstate NE Crawler' , 'Feosey Mohk Crawler' , 'CMS Crawler' , 'FAST MetaWeb Crawler' ,
  40. 'NetSeer Crawler' , 'Google Crawler' , 'media Crawler' , 'FAST Enterprise Crawler' , 'IAS Crawler' ,
  41.  
  42. 'Sogou web Robot' , 'Shoula Robot' , 'Mavicanet robot' , 'WoFindeIch Robot' , 'Acoon Robot' ,
  43. 'Mojoo Robot' , 'FDSE Robot' ,
  44. 'Dow Jones Searchbot' ,
  45.  
  46. 'Domain Re-Animator Bot' , 'Superfeedr Bot' , 'news Bot' , 'Screenshot Bot' ,
  47. 'ContextAd Bot' , 'TweetedTimes Bot' , 'Jaxified Bot' , 'Linguee Bot' , 'AutoMapIt Bot'
  48.  
  49. 'EPiServer Link Checker' , 'iVia Site Checker' , 'Vivante Link Checker'
RAW Paste Data