Not a member of Pastebin yet?
Sign Up,
it unlocks many cool features!
- static void ParsePage(int i)
- {
- for (int j = 0; j < types.Count; j++)
- {
- while (true)
- {
- Console.WriteLine(types[j]);
- // получаем ссылку на текущую страницу
- string url = URL(site: types[j], page: i);
- //HtmlDocument webPage = web.Load(url, "GET", currentProxy, logoPass);
- LoadPage(url);
- // сразу меняем прокси и проверка
- ps.Switch();
- //ищем, вдруг ничего нет
- var notfound = webPage.DocumentNode.SelectSingleNode("//*[@class=\"publish message warning\"]");
- if (notfound != null)
- {
- Console.WriteLine("Тип{0} Страница {1}, Нет объявлений", types[j], i);
- //j++;
- //continue;
- break;
- }
- Console.WriteLine("Страница {0}", i);
- // получаем ссылки на объявления
- GetLinks(webPage, types[j]);
- // удаляем ссылки на следующие страницы
- allLinks.RemoveAll(href => href.Contains("list"));
- foreach (string link in allLinks)
- {
- Console.WriteLine(link);
- }
- Console.WriteLine();
- //проверяем дату
- CheckDate();
- // очищаем массив
- allLinks.Clear();
- //j++;
- i++;
- }
- // ждем
- i = 1;
- Thread.Sleep(r.Next(1200, 3500));
- }
- }
Advertisement
Add Comment
Please, Sign In to add comment