Advertisement
Guest User

Untitled

a guest
Jan 9th, 2016
285
0
Never
Not a member of Pastebin yet? Sign Up, it unlocks many cool features!
text 6.46 KB | None | 0 0
  1. Многопоточный парсер на PHP + XPATH без нечитаемых регулярок с подробным комментированием кода.
  2. ===== СДАМ ======
  3. Конфиг для каждого сайта:
  4. 1. Включение/отключение.
  5. 2. Количество потоков.
  6. 3. Дата и время, до которых, будут парситься объявления.
  7. 4. Для модуля Вконтакте: список групп с возможностью удаления/добавления.
  8. Отчет после окончания работы с информацией и ошибками для каждого модуля и общий.
  9. С каждого сайта нужны объявления о сдаче в аренду квартир, комнат и домов от частных лиц на длительный срок.
  10. Объявления о продаже и объявления от агенств (если есть возможность распознать) не должны добавляться в базу.
  11. ----------------------------------------------------
  12.  
  13. Модули нужны для следующих сайтов:
  14. 1. АVITO:
  15. 1. Квартиры: https://m.avito.ru/habarovsk/kvartiry/sdam/na_dlitelnyy_srok?bt=1&user=1&view=gallery
  16. 2. Комнаты: https://m.avito.ru/habarovsk/komnaty/sdam/na_dlitelnyy_srok?bt=1&user=1&view=gallery
  17. 3. Дома: https://m.avito.ru/habarovsk/doma_dachi_kottedzhi/sdam/dom/na_dlitelnyy_srok?bt=1&user=1&view=gallery
  18. 2. PRESENT:
  19. 1. Квартиры: http://present-dv.ru/present/notice/index/rubric/sdam-kvartiry
  20. 2. Комнаты: http://present-dv.ru/present/notice/index/rubric/komnaty-malosemeyki-sdam
  21. 3. Дома: http://present-dv.ru/present/notice/index/rubric/sdam-doma
  22. 3. FARPOST:
  23. 1. Квартиры и комнаты: http://www.farpost.ru/khabarovsk/realty/rent_flats/?agentType%5B0%5D=privatePerson
  24. 2. Дома: http://www.farpost.ru/khabarovsk/realty/rent_houses/?isAgency%5B%5D=owner
  25. 4. IRR:
  26. 1. Квартиры: http://khabarovsk.irr.ru/real-estate/rent/search/rent_period=3674653711/list=list/sort/date_sort:desc/
  27. 2. Комнаты: http://khabarovsk.irr.ru/real-estate/rooms-rent/search/rent_period=3674653711/list=list/sort/date_sort:desc/
  28. 3. Дома: http://khabarovsk.irr.ru/real-estate/out-of-town-rent/search/sort/date_sort:desc/
  29. 5. YANDEX:
  30. 1. Квартиры: https://realty.yandex.ru/search?rgid=550211&rentTime=LARGE&type=RENT&category=APARTMENT&currency=RUR&agents=NO&placementPeriod=MONTH&lowTrust=YES
  31. 2. Комнаты: https://realty.yandex.ru/search?rgid=550211&rentTime=LARGE&type=RENT&category=ROOMS&currency=RUR&agents=NO&placementPeriod=MONTH&lowTrust=YES
  32. 6. AGENSTVNET.RU
  33. 7. VK:
  34. 1. Парсинг с любых групп, например:
  35. https://vk.com/bezagentakhv
  36. https://vk.com/club34564233
  37. Если контактного номера нет в тексте объявления, то он должен парситься с личной страницы арендодателя.
  38. 2. Парсинг с личных страниц пользователей, как здесь: vkrent.ru friendrent.ru
  39. -------------------------------------------------
  40.  
  41. По итогам парсинга данные должны быть собраны в таблицу со следующими полями:
  42. 1. Источник: avito/present/farpost/irr/vk/agenstvnet/yandex
  43. 2. Город: Хабаровск
  44. 3. Тип: квартира/комната/дом
  45. 4. Количество комнат: 2
  46. 5. Площадь: 55
  47. 6. Этаж: 7
  48. 7. Этажей в доме: 9
  49. 8. Тип дома: кирпичный/панельный/блочный/монолитный/деревянный
  50. 9. Арендная плата: 25000
  51. 10. Сумма залога: 12000
  52. 11. Дополнительная плата за коммунальные услуги: Да
  53. 12. Описание: Полное описание, начиная с количества спальных мест(для авито)
  54. 13. Улица: Ленина
  55. 14. Номер дома: 23
  56. 15. Контакты: +79247578384, 89293454567
  57. 16. Контактное лицо: Мария
  58. 17. Дата и время публикации: 2 ноября в 13:34
  59. 18. Дата и время последнего поднятия: 4 декабря в 23:45
  60. 19. Фотографии
  61. 20. Номер объявления: 19777175
  62. 21. URL объявления: https://m.avito.ru/habarovsk/kvartiry/4-k_kvartira_80_m_69_et._644615364
  63. 22. Количество просмотров: 828
  64. 23. Адрес страницы собственника вконтакте: https://vk.com/a.shkolin
  65. Если нет данных для заполнения - поле остается пустым.
  66. ------------------------------------------------------------
  67. ------------------------------------------------------------
  68. ===== СНИМУ ======
  69. Парсер телефонных номеров частных лиц желающих СНЯТЬ квартиру/комнату/дом
  70. Одним файлом. Запускается отдельно.
  71. Настройки:
  72. Дата и время, до которых, будут парситься телефоны из объявлений.
  73. Только сотовые номера: Да/Нет
  74. Настройки многопоточности.
  75. Включение/отключение источников.
  76. Источники:
  77. https://m.avito.ru/habarovsk/kvartiry/snimu/na_dlitelnyy_srok?bt=1&user=1&view=gallery
  78. https://m.avito.ru/habarovsk/komnaty/snimu/na_dlitelnyy_srok?bt=0&user=1
  79. https://m.avito.ru/habarovsk/doma_dachi_kottedzhi/snimu/na_dlitelnyy_srok?bt=0&user=1
  80. http://present-dv.ru/present/notice/index/rubric/jilaya-nedvijimost-snimu
  81. http://www.farpost.ru/khabarovsk/realty/flat_wanted/?isAgency%5B%5D=owner#tab=predlozhenie
  82. VK:
  83. 1. Парсинг с любых групп, например:
  84. https://vk.com/bezagentakhv
  85. https://vk.com/club34564233
  86. Если контактного номера нет в тексте объявления, то он должен парситься с личной страницы арендодателя.
  87. 2. Парсинг с личных страниц пользователей.
  88. Таблица:
  89. 1. Источник: avito/present/farpost/khabmarket/nd27/dorus/barahla/VK
  90. 2. Город
  91. 3. Дата и время
  92. 4. Имя
  93. 5. Телефон
  94. 6. Ссылка на страницу VK
Advertisement
Add Comment
Please, Sign In to add comment
Advertisement