Advertisement
Guest User

Untitled

a guest
Apr 5th, 2020
16
0
Never
Not a member of Pastebin yet? Sign Up, it unlocks many cool features!
text 5.04 KB | None | 0 0
  1. import csv
  2. import urllib.request
  3.  
  4. from bs4 import BeautifulSoup
  5.  
  6. BASE_URL = 'http://okna-mtk.ru/stati/'
  7.  
  8. def get_html(url):
  9. response = urllib.request.urlopen(url)
  10. return response.read()
  11.  
  12.  
  13. def parse(html):
  14. soup = BeautifulSoup(html, features='html.parser') #1 работает РЕЗУЛЬТАТ ПАРСИНГА - СПИСОК []
  15. table = soup.find('div', id='dle-content') #1 работает
  16.  
  17.  
  18. projects = []
  19.  
  20. for row in table.find_all('a', rel='bookmark'): #1 работает
  21. list_row = list(row)
  22. print(list_row)
  23.  
  24. for row in table.find_all('a', rel='bookmark'):
  25. if row.has_attr('href'):
  26. ## link_ = row.get('href')
  27. link_ = list(row.get('href'))
  28. print(link_)
  29.  
  30.  
  31.  
  32.  
  33.  
  34. def main():
  35. parse(get_html(BASE_URL))
  36.  
  37.  
  38. if __name__ == '__main__':
  39. main()
  40.  
  41.  
  42.  
  43.  
  44.  
  45.  
  46. ## resalt
  47. ## ['Зимний режим пластиковых окон, настройка фурнитуры']
  48. ##['Ремонт окон ПВХ в Москве']
  49. ##['Ремонт окон любой сложности в Москве']
  50. ##['Качественный ремонт окон по всей Москве']
  51. ##['Ремонт окон на выгодных условиях!']
  52. ##['Ремонт современных окон в Москве']
  53. ##['Ремонт окон в Москве']
  54. ##['Ремонт пластиковых окон в Москве']
  55. ##['Ремонт окон ПВХ в Москве']
  56. ##['Ремонт пластиковых окон зимой']
  57. ##['h', 't', 't', 'p', ':', '/', '/', 'o', 'k', 'n', 'a', '-', 'm', 't', 'k', '.', 'r', 'u', '/', 's', 't', 'a', 't', 'i', '/', '1', '3', '8', '-', 'z', 'i', 'm', 'n', 'i', 'y', '-', 'r', 'e', 'z', 'h', 'i', 'm', '-', 'p', 'l', 'a', 's', 't', 'i', 'k', 'o', 'v', 'y', 'h', '-', 'o', 'k', 'o', 'n', '-', 'n', 'a', 's', 't', 'r', 'o', 'y', 'k', 'a', '-', 'f', 'u', 'r', 'n', 'i', 't', 'u', 'r', 'y', '.', 'h', 't', 'm', 'l']
  58. ##['h', 't', 't', 'p', ':', '/', '/', 'o', 'k', 'n', 'a', '-', 'm', 't', 'k', '.', 'r', 'u', '/', 'r', 'e', 'm', 'o', 'n', 't', '-', 'o', 'k', 'o', 'n', '/', '1', '3', '4', '-', 'r', 'e', 'm', 'o', 'n', 't', '-', 'o', 'k', 'o', 'n', '-', 'p', 'v', 'h', '-', 'v', '-', 'm', 'o', 's', 'k', 'v', 'e', '.', 'h', 't', 'm', 'l']
  59. ##['h', 't', 't', 'p', ':', '/', '/', 'o', 'k', 'n', 'a', '-', 'm', 't', 'k', '.', 'r', 'u', '/', 'r', 'e', 'm', 'o', 'n', 't', '-', 'o', 'k', 'o', 'n', '/', '1', '3', '3', '-', 'r', 'e', 'm', 'o', 'n', 't', '-', 'o', 'k', 'o', 'n', '-', 'l', 'y', 'u', 'b', 'o', 'y', '-', 's', 'l', 'o', 'z', 'h', 'n', 'o', 's', 't', 'i', '-', 'v', '-', 'm', 'o', 's', 'k', 'v', 'e', '.', 'h', 't', 'm', 'l']
  60. ##['h', 't', 't', 'p', ':', '/', '/', 'o', 'k', 'n', 'a', '-', 'm', 't', 'k', '.', 'r', 'u', '/', 'r', 'e', 'm', 'o', 'n', 't', '-', 'o', 'k', 'o', 'n', '/', '1', '3', '2', '-', 'k', 'a', 'c', 'h', 'e', 's', 't', 'v', 'e', 'n', 'n', 'y', 'y', '-', 'r', 'e', 'm', 'o', 'n', 't', '-', 'o', 'k', 'o', 'n', '-', 'p', 'o', '-', 'v', 's', 'e', 'y', '-', 'm', 'o', 's', 'k', 'v', 'e', '.', 'h', 't', 'm', 'l']
  61. ##['h', 't', 't', 'p', ':', '/', '/', 'o', 'k', 'n', 'a', '-', 'm', 't', 'k', '.', 'r', 'u', '/', 'r', 'e', 'm', 'o', 'n', 't', '-', 'o', 'k', 'o', 'n', '/', '1', '3', '1', '-', 'r', 'e', 'm', 'o', 'n', 't', '-', 'o', 'k', 'o', 'n', '-', 'n', 'a', '-', 'v', 'y', 'g', 'o', 'd', 'n', 'y', 'h', '-', 'u', 's', 'l', 'o', 'v', 'i', 'y', 'a', 'h', '.', 'h', 't', 'm', 'l']
  62. ##['h', 't', 't', 'p', ':', '/', '/', 'o', 'k', 'n', 'a', '-', 'm', 't', 'k', '.', 'r', 'u', '/', 'r', 'e', 'm', 'o', 'n', 't', '-', 'o', 'k', 'o', 'n', '/', '1', '3', '0', '-', 'r', 'e', 'm', 'o', 'n', 't', '-', 'o', 'k', 'o', 'n', '-', 'v', '-', 'm', 'o', 's', 'k', 'v', 'e', '.', 'h', 't', 'm', 'l']
  63. ##['h', 't', 't', 'p', ':', '/', '/', 'o', 'k', 'n', 'a', '-', 'm', 't', 'k', '.', 'r', 'u', '/', 'r', 'e', 'm', 'o', 'n', 't', '-', 'o', 'k', 'o', 'n', '/', '1', '2', '9', '-', 'r', 'e', 'm', 'o', 'n', 't', '-', 'o', 'k', 'o', 'n', '-', 'v', '-', 'm', 'o', 's', 'k', 'v', 'e', '.', 'h', 't', 'm', 'l']
  64. ##['h', 't', 't', 'p', ':', '/', '/', 'o', 'k', 'n', 'a', '-', 'm', 't', 'k', '.', 'r', 'u', '/', 'r', 'e', 'm', 'o', 'n', 't', '-', 'o', 'k', 'o', 'n', '/', '1', '2', '8', '-', 'r', 'e', 'm', 'o', 'n', 't', '-', 'p', 'l', 'a', 's', 't', 'i', 'k', 'o', 'v', 'y', 'h', '-', 'o', 'k', 'o', 'n', '-', 'v', '-', 'm', 'o', 's', 'k', 'v', 'e', '.', 'h', 't', 'm', 'l']
  65. ##['h', 't', 't', 'p', ':', '/', '/', 'o', 'k', 'n', 'a', '-', 'm', 't', 'k', '.', 'r', 'u', '/', 'r', 'e', 'm', 'o', 'n', 't', '-', 'o', 'k', 'o', 'n', '/', '1', '2', '7', '-', 'r', 'e', 'm', 'o', 'n', 't', '-', 'o', 'k', 'o', 'n', '-', 'p', 'v', 'h', '-', 'v', '-', 'm', 'o', 's', 'k', 'v', 'e', '.', 'h', 't', 'm', 'l']
  66. ##['h', 't', 't', 'p', ':', '/', '/', 'o', 'k', 'n', 'a', '-', 'm', 't', 'k', '.', 'r', 'u', '/', 'r', 'e', 'm', 'o', 'n', 't', '-', 'o', 'k', 'o', 'n', '/', '1', '2', '6', '-', 'r', 'e', 'm', 'o', 'n', 't', '-', 'p', 'l', 'a', 's', 't', 'i', 'k', 'o', 'v', 'y', 'h', '-', 'o', 'k', 'o', 'n', '-', 'z', 'i', 'm', 'o', 'y', '.', 'h', 't', 'm', 'l']
Advertisement
Add Comment
Please, Sign In to add comment
Advertisement