Nemo048

Untitled

Jul 13th, 2017
70
0
Never
Not a member of Pastebin yet? Sign Up, it unlocks many cool features!
C# 1.42 KB | None | 0 0
  1.  static void ParsePage(int i)
  2.         {
  3.             for (int j = 0; j < types.Count; j++)
  4.             {
  5.                 while (true)
  6.                 {
  7.                     Console.WriteLine(types[j]);
  8.                     // получаем ссылку на текущую страницу
  9.                     string url = URL(site: types[j], page: i);
  10.                     //HtmlDocument webPage = web.Load(url, "GET", currentProxy, logoPass);
  11.                     LoadPage(url);
  12.                     // сразу меняем прокси и проверка
  13.                     ps.Switch();
  14.                     //ищем, вдруг ничего нет
  15.                     var notfound = webPage.DocumentNode.SelectSingleNode("//*[@class=\"publish message warning\"]");
  16.                     if (notfound != null)
  17.                     {
  18.                         Console.WriteLine("Тип{0} Страница {1}, Нет объявлений", types[j], i);
  19.                         //j++;
  20.                         //continue;
  21.                         break;
  22.                     }
  23.                     Console.WriteLine("Страница {0}", i);
  24.                     // получаем ссылки на объявления
  25.                     GetLinks(webPage, types[j]);
  26.                     // удаляем ссылки на следующие страницы
  27.                     allLinks.RemoveAll(href => href.Contains("list"));
  28.  
  29.                     foreach (string link in allLinks)
  30.                     {
  31.                         Console.WriteLine(link);
  32.                     }
  33.                     Console.WriteLine();
  34.                     //проверяем дату
  35.                     CheckDate();
  36.                     // очищаем массив
  37.                     allLinks.Clear();
  38.                     //j++;
  39.                     i++;
  40.                 }
  41.                 // ждем
  42.                 i = 1;
  43.                 Thread.Sleep(r.Next(1200, 3500));
  44.             }
  45.         }
Advertisement
Add Comment
Please, Sign In to add comment