Advertisement
Not a member of Pastebin yet?
Sign Up,
it unlocks many cool features!
- Многопоточный парсер на PHP + XPATH без нечитаемых регулярок с подробным комментированием кода.
- ===== СДАМ ======
- Конфиг для каждого сайта:
- 1. Включение/отключение.
- 2. Количество потоков.
- 3. Дата и время, до которых, будут парситься объявления.
- 4. Для модуля Вконтакте: список групп с возможностью удаления/добавления.
- Отчет после окончания работы с информацией и ошибками для каждого модуля и общий.
- С каждого сайта нужны объявления о сдаче в аренду квартир, комнат и домов от частных лиц на длительный срок.
- Объявления о продаже и объявления от агенств (если есть возможность распознать) не должны добавляться в базу.
- ----------------------------------------------------
- Модули нужны для следующих сайтов:
- 1. АVITO:
- 1. Квартиры: https://m.avito.ru/habarovsk/kvartiry/sdam/na_dlitelnyy_srok?bt=1&user=1&view=gallery
- 2. Комнаты: https://m.avito.ru/habarovsk/komnaty/sdam/na_dlitelnyy_srok?bt=1&user=1&view=gallery
- 3. Дома: https://m.avito.ru/habarovsk/doma_dachi_kottedzhi/sdam/dom/na_dlitelnyy_srok?bt=1&user=1&view=gallery
- 2. PRESENT:
- 1. Квартиры: http://present-dv.ru/present/notice/index/rubric/sdam-kvartiry
- 2. Комнаты: http://present-dv.ru/present/notice/index/rubric/komnaty-malosemeyki-sdam
- 3. Дома: http://present-dv.ru/present/notice/index/rubric/sdam-doma
- 3. FARPOST:
- 1. Квартиры и комнаты: http://www.farpost.ru/khabarovsk/realty/rent_flats/?agentType%5B0%5D=privatePerson
- 2. Дома: http://www.farpost.ru/khabarovsk/realty/rent_houses/?isAgency%5B%5D=owner
- 4. IRR:
- 1. Квартиры: http://khabarovsk.irr.ru/real-estate/rent/search/rent_period=3674653711/list=list/sort/date_sort:desc/
- 2. Комнаты: http://khabarovsk.irr.ru/real-estate/rooms-rent/search/rent_period=3674653711/list=list/sort/date_sort:desc/
- 3. Дома: http://khabarovsk.irr.ru/real-estate/out-of-town-rent/search/sort/date_sort:desc/
- 5. YANDEX:
- 1. Квартиры: https://realty.yandex.ru/search?rgid=550211&rentTime=LARGE&type=RENT&category=APARTMENT¤cy=RUR&agents=NO&placementPeriod=MONTH&lowTrust=YES
- 2. Комнаты: https://realty.yandex.ru/search?rgid=550211&rentTime=LARGE&type=RENT&category=ROOMS¤cy=RUR&agents=NO&placementPeriod=MONTH&lowTrust=YES
- 6. AGENSTVNET.RU
- 7. VK:
- 1. Парсинг с любых групп, например:
- https://vk.com/bezagentakhv
- https://vk.com/club34564233
- Если контактного номера нет в тексте объявления, то он должен парситься с личной страницы арендодателя.
- 2. Парсинг с личных страниц пользователей, как здесь: vkrent.ru friendrent.ru
- -------------------------------------------------
- По итогам парсинга данные должны быть собраны в таблицу со следующими полями:
- 1. Источник: avito/present/farpost/irr/vk/agenstvnet/yandex
- 2. Город: Хабаровск
- 3. Тип: квартира/комната/дом
- 4. Количество комнат: 2
- 5. Площадь: 55
- 6. Этаж: 7
- 7. Этажей в доме: 9
- 8. Тип дома: кирпичный/панельный/блочный/монолитный/деревянный
- 9. Арендная плата: 25000
- 10. Сумма залога: 12000
- 11. Дополнительная плата за коммунальные услуги: Да
- 12. Описание: Полное описание, начиная с количества спальных мест(для авито)
- 13. Улица: Ленина
- 14. Номер дома: 23
- 15. Контакты: +79247578384, 89293454567
- 16. Контактное лицо: Мария
- 17. Дата и время публикации: 2 ноября в 13:34
- 18. Дата и время последнего поднятия: 4 декабря в 23:45
- 19. Фотографии
- 20. Номер объявления: 19777175
- 21. URL объявления: https://m.avito.ru/habarovsk/kvartiry/4-k_kvartira_80_m_69_et._644615364
- 22. Количество просмотров: 828
- 23. Адрес страницы собственника вконтакте: https://vk.com/a.shkolin
- Если нет данных для заполнения - поле остается пустым.
- ------------------------------------------------------------
- ------------------------------------------------------------
- ===== СНИМУ ======
- Парсер телефонных номеров частных лиц желающих СНЯТЬ квартиру/комнату/дом
- Одним файлом. Запускается отдельно.
- Настройки:
- Дата и время, до которых, будут парситься телефоны из объявлений.
- Только сотовые номера: Да/Нет
- Настройки многопоточности.
- Включение/отключение источников.
- Источники:
- https://m.avito.ru/habarovsk/kvartiry/snimu/na_dlitelnyy_srok?bt=1&user=1&view=gallery
- https://m.avito.ru/habarovsk/komnaty/snimu/na_dlitelnyy_srok?bt=0&user=1
- https://m.avito.ru/habarovsk/doma_dachi_kottedzhi/snimu/na_dlitelnyy_srok?bt=0&user=1
- http://present-dv.ru/present/notice/index/rubric/jilaya-nedvijimost-snimu
- http://www.farpost.ru/khabarovsk/realty/flat_wanted/?isAgency%5B%5D=owner#tab=predlozhenie
- VK:
- 1. Парсинг с любых групп, например:
- https://vk.com/bezagentakhv
- https://vk.com/club34564233
- Если контактного номера нет в тексте объявления, то он должен парситься с личной страницы арендодателя.
- 2. Парсинг с личных страниц пользователей.
- Таблица:
- 1. Источник: avito/present/farpost/khabmarket/nd27/dorus/barahla/VK
- 2. Город
- 3. Дата и время
- 4. Имя
- 5. Телефон
- 6. Ссылка на страницу VK
Advertisement
Add Comment
Please, Sign In to add comment
Advertisement