Advertisement
Nexo78

Untitled

Oct 22nd, 2018
139
0
Never
Not a member of Pastebin yet? Sign Up, it unlocks many cool features!
PHP 16.36 KB | None | 0 0
  1. <?php
  2.  
  3. require ('../parser/phpQuery-onefile.php');
  4.  
  5. $db_connect = mysqli_connect("localhost", "root", "", "osclass");
  6.  
  7. $categories = array(
  8.             'детская одежда' => 'детская одежда',
  9.             'детская обувь' => 'детская обувь',
  10.             'детские коляски' => 'детские коляски',
  11.             'детская мебель' => 'детская мебель',
  12.             'игрушки' => 'игрушки',
  13.             'товары для кормления' => 'товары для кормления',
  14.             'прочие детские товары' => 'прочие детские товары',
  15.             'квартиры,комнаты' => 'продажа квартир',
  16.             'земля' => 'продажа земли',
  17.             'дома' => 'продажа домов',
  18.             'коммерческая недвижимость' => 'продажа помещений',
  19.             'гаражи, парковки' => 'продажа гаражей и стоянок',
  20.             'посуточная аренда жилья' => 'аренда квартир',
  21.             'недвижимость за рубежом' => 'продажа за рубежом',
  22.             'легковые автомобили' => 'легковые автомобили',
  23.             'сельхозтехника' => 'сельхозтехника',
  24.             'прицепы / дома на колесах' => 'дома на колесах',
  25.             'мото' => 'мототехника',
  26.             'водный транспорт' => 'водный транспорт',
  27.             'другой транспорт' => 'другой транспорт',
  28.             'грузовые автомобили' => 'грузовые автомобили',
  29.             'воздушный транспорт' => 'воздушный транспорт',
  30.             'запчасти для транспорта' => 'запчасти и аксессуары',
  31.             'кошки' => 'кошки',
  32.             'собаки' => 'собаки',
  33.             'рептилии' => 'рептилии',
  34.             'зоотовары' => 'зоотовары',
  35.             'птицы' => 'птицы',
  36.             'грызуны' => 'грызуны',
  37.             'сельхоз животные' => 'сельхоз животные',
  38.             'бесплатно (животные и вязка)' => 'животные даром',
  39.             'бюро находок' => 'бюро находок',
  40.             'другие животные' => 'другие животные',
  41.             'посуда / кухонная утварь' => 'посуда',
  42.             'мебель' => 'мебель',
  43.             'инструменты' => 'инструменты',
  44.             'комнатные растения' => 'комнатные растения',
  45.             'сад / огород' => 'садовые растения',
  46.             'продукты питания / напитки' => 'продукты питания',
  47.             'предметы интерьера' => 'предметы интерьера',
  48.             'строительство / ремонт' => 'строительство и ремонт',
  49.             'прочие товары для дома' => 'прочие товары для дома',
  50.             'компьютеры и комплектующие' => 'компьютеры',
  51.             'телефоны и аксессуары' => 'телефоны',
  52.             'фото / видео' => 'фототехника',
  53.             'аудиотехника' => 'аудиотехника',
  54.             'аксессуары и комплектующие' => 'аксессуары и комплектующие',
  55.             'игры и игровые приставки' => 'игры и игровые приставки',
  56.             'техника для дома' => 'техника для дома',
  57.             'техника для кухни' => 'техника для кухни',
  58.             'прочая электроника' => 'прочая электроника',
  59.             'перевозки / аренда транспорта' => 'транспортные услуги',
  60.             'cтроительство / ремонт / уборка' => 'cтроительство / ремонт / уборка',
  61.             'финансовые услуги / партнерство' => 'финансовые услуги / партнерство',
  62.             'красота / здоровье' => 'здоровье, красота, фитнес',
  63.             'реклама / полиграфия / маркетинг / интернет' => 'реклама - полиграфия ',
  64.             'ремонт и обслуживание техники' => 'обслуживание - ремонт техники ',
  65.             'сырьё / материалы' => 'сырьё, материалы',
  66.             'продажа бизнеса' => 'продажа бизнеса',
  67.             'сетевой маркетинг' => 'маркетинг - интернет',
  68.             'прочие услуги' => 'прочие услуги',
  69.             'одежда/обувь' => 'одежда и обувь',
  70.             'для свадьбы' => 'все для свадьбы',
  71.             'подарки' => 'подарки',
  72.             'аксессуары' => 'аксессуары',
  73.             'красота / здоровье' => 'красота и здоровье',
  74.             'мода разное' => 'прочие товары',
  75.             'антиквариат / коллекции' => 'коллекционирование',
  76.             'спорт / отдых' => 'спорт и отдых',
  77.             'билеты' => 'билеты и путешествия',
  78.             'другое' => 'другое',
  79.             'музыкальные инструменты' => 'музыкальные инструменты',
  80. );
  81.  
  82. if(!empty($_POST['url'])){
  83.  
  84. }
  85. else{
  86.     echo "Введите url";
  87.     exit();
  88. }
  89. if(!empty($_POST['page_count'])) {
  90.  
  91.     $i = 1;
  92.     $j = $_POST['page_count'];
  93.     for ($i; $i<=$j; $i++){
  94.         $links[] = $_POST['url'] . '&page=' . $i;
  95.     }
  96.  
  97. }
  98. else{
  99.     echo "Введите кол-во страниц";
  100.     exit();
  101. }
  102.  
  103. $replace = array(
  104.     'Детский мир » ',
  105.     '» Одежда для девочек',
  106.     '» Одежда для мальчиков',
  107.     'Детская одежда »',
  108.     'Одежда для новорожденных',
  109.     'Квартиры, комнаты » ',
  110.     'Дома » ',
  111.     'Посуточная аренда жилья » ',
  112.     'Земля » ',
  113.     '» Audi',
  114.     '» Volkswagen',
  115.     '» Opel',
  116.     'Транспорт » ',
  117.     '» Saab',
  118.     '» Skoda',
  119.     '» Renault',
  120.     '» Ford',
  121.     '» Nissan',
  122.     '» Peugeot',
  123.     '» Hyundai',
  124.     '» Honda',
  125.     '» BMW',
  126.     '» Chevrolet',
  127.     '» Mazda',
  128.     '» Kia',
  129.     '» ВАЗ',
  130.     'и аксессуары » Аксессуары для телефонов',
  131.     'и аксессуары » Мобильные телефоны / смартфоны',
  132.     '» Прочая техника для дома',
  133.     '» Портативная акустика',
  134.     '» Пылесосы',
  135.     'Электроника » ',
  136.     '» Приставки',
  137.     ' и комплектующие » Настольные компьютеры',
  138.     '» Кофеварки / кофемолки',
  139.     'Животные »',
  140.     '» Медицина',
  141.     '» Volvo',
  142.     '» Chery',
  143.     '» Daewoo',
  144.     '» Fiat',
  145.     '» Renault',
  146.     '» Mercedes-Benz',
  147.     '» Dacia',
  148.     '» Subaru',
  149.     '» Toyota',
  150.     '» Suzuki',
  151.     'Все',
  152.     '/ напитки',
  153.     '» Кухонная мебель',
  154.     '» Мебель для гостиной',
  155.     '» Прочие стройматериалы',
  156.     '» Отделочные и облицовочные материалы',
  157.     '» Электроинструмент',
  158.     'Дом и сад »',
  159.     '» Отопление',
  160.     '» Мебель для спальни',
  161.     '» Кирпич и бетон и пеноблоки',
  162.     '» Бензоинструмент',
  163.     '» Офисная мебель'
  164.  
  165. );
  166.  
  167. function curl_content($url){
  168.     $ch = curl_init($url);
  169.     curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
  170.     curl_setopt($ch, CURLOPT_USERAGENT,'Mozilla/5.0 (Windows; U; WinNT; en; rv:1.0.2) Gecko/20030311 Beonex/0.8.2-stable');
  171.     curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
  172.     curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);
  173.     curl_setopt($ch, CURLOPT_SSL_VERIFYPEER ,false);
  174.  
  175.     $html=curl_exec($ch);
  176.     unset($url);
  177.     return $html;
  178.  
  179. }
  180.  
  181. function category_replace($cat, $replace){
  182.  
  183.     $slash_replace = str_replace('/', 'и', $cat);
  184.     $replaces = str_replace($replace, '', $slash_replace);
  185.     return trim($replaces);
  186.  
  187. }
  188.  
  189. /**
  190.  * @param $url
  191.  * @param $id
  192.  * @param $token
  193.  * @return array
  194.  */
  195. function get_phone_number($url)
  196. {
  197.     $cookie_path = $_SERVER['DOCUMENT_ROOT'] . '/cookie.dat';
  198.     preg_match('|-ID(.*).html|', $url, $id);
  199.     $olx = curl_init($url);
  200.     curl_setopt($olx, CURLOPT_SSL_VERIFYPEER, false);
  201.     curl_setopt($olx, CURLOPT_RETURNTRANSFER, true);
  202.     curl_setopt($olx, CURLOPT_HEADER, 1);
  203.     curl_setopt($olx, CURLOPT_COOKIEFILE, $cookie_path);
  204.     curl_setopt($olx, CURLOPT_COOKIEJAR, $cookie_path);
  205.     $result = curl_exec($olx);
  206.     $content = $result;
  207.     curl_close($olx);
  208.     preg_match("|phoneToken = '(.*)';|", $result, $token);
  209.     $olx_number = curl_init('https://www.olx.ua/ajax/misc/contact/phone/' . $id[1] . '/?pt=' . $token[1]);
  210.     curl_setopt($olx_number, CURLOPT_HTTPHEADER, [
  211.         'Host: www.olx.ua',
  212.         'Accept: */*',
  213.         'Accept-Language: uk,ru;q=0.8,en-US;q=0.5,en;q=0.3',
  214.         'Accept-Encoding: gzip, deflate, br',
  215.         'Connection: keep-alive',
  216.         'X-Requested-With: XMLHttpRequest'
  217.     ]);
  218.     curl_setopt($olx_number, CURLOPT_REFERER, $url);
  219.     curl_setopt($olx_number, CURLOPT_USERAGENT, $_SERVER['HTTP_USER_AGENT']);
  220.     curl_setopt($olx_number, CURLOPT_COOKIEFILE, $cookie_path);
  221.     curl_setopt($olx_number, CURLOPT_SSL_VERIFYPEER, false);
  222.     curl_setopt($olx_number, CURLOPT_RETURNTRANSFER, true);
  223.     $result = curl_exec($olx_number);
  224.     curl_close($olx_number);
  225.     unlink( $_SERVER['DOCUMENT_ROOT'].'/cookie.dat');
  226.     $json = json_decode($result);
  227.     return array($content, $json);
  228. }
  229.  
  230.  
  231. /**
  232.  * @param $db_connect
  233.  * @param $linkimgbd
  234.  */
  235. function get_img_by_name($db_connect, $linkimgbd)
  236. {
  237.     $sel = mysqli_query($db_connect, "select pk_i_id from oc_t_item_resource ORDER by pk_i_id desc");
  238.     $feth = mysqli_fetch_all($sel);
  239.  
  240.     $current_img_nr = $feth[0][0] +1;
  241.     $orig_img_name = $current_img_nr;
  242.     $thumb_img_name = $current_img_nr . '_thumbnail' ;
  243.     $preview_img_name = $current_img_nr . '_preview' ;
  244.  
  245.     $saveto1 = '../dpm/oc-content/uploads/28/' . $orig_img_name . '.jpg';
  246.     $saveto2 = '../dpm/oc-content/uploads/28/' . $thumb_img_name . '.jpg';
  247.     $saveto3 = '../dpm/oc-content/uploads/28/' . $preview_img_name . '.jpg';
  248.     $ch = curl_init($linkimgbd);
  249.     curl_setopt($ch, CURLOPT_HEADER, 0);
  250.     curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
  251.     curl_setopt($ch, CURLOPT_BINARYTRANSFER, 1);
  252.     $raw = curl_exec($ch);
  253.     curl_close($ch);
  254.  
  255.     $fp = fopen($saveto1, 'w');
  256.     $fp2 = fopen($saveto2, 'w');
  257.     $fp3 = fopen($saveto3, 'w');
  258.     fwrite($fp, $raw);
  259.     fwrite($fp2, $raw);
  260.     fwrite($fp3, $raw);
  261.     fclose($fp);
  262.     fclose($fp2);
  263.     fclose($fp3);
  264. }
  265.  
  266.  
  267. /**
  268.  * @param $pricebd
  269.  * @param $titlebd
  270.  * @return string
  271.  */
  272. function price_replace($pricebd)
  273. {
  274.     $price_replace = str_replace(" грн.", "", $pricebd);
  275.     $r = str_replace(' ', '', $price_replace) . '000000';
  276.     return $r;
  277. }
  278.  
  279. function country ($db_connect, $location){
  280.  
  281.     $explode = explode(",", $location);
  282.  
  283.     $city = trim($explode[0]);
  284.     $reg = trim($explode[1]);
  285.     $region_sql = mysqli_query($db_connect, "select pk_i_id from oc_t_region where s_name = '$reg'");
  286.     $city_sql = mysqli_query($db_connect, "select pk_i_id from oc_t_city where s_name = '$city'");
  287.     $region_res = mysqli_fetch_all($region_sql);
  288.     $city_res = mysqli_fetch_all($city_sql);
  289.  
  290.     return array($region_res, $city_res, $reg, $city);
  291.  
  292. }
  293.  
  294. /**
  295.  * @param $db_connect
  296.  * @param $titlebd
  297.  * @param $r
  298.  * @param $namedb
  299.  * @param $contentbd
  300.  * @param $telbd
  301.  * @param $img_name
  302.  */
  303. function insert_querys($db_connect, $titlebd, $r, $namedb, $contentbd, $telbd, $t, $reg, $c, $reg_name, $city_name)
  304. {
  305.     $select_query = mysqli_query($db_connect, "select s_title from `oc_t_item_description`");
  306.     $query_res = mysqli_fetch_all($select_query, MYSQLI_ASSOC);
  307.     $time = date('Y-m-d H:i:s');
  308.  
  309.     if ($query_res !== $titlebd) {
  310.  
  311.         mysqli_query($db_connect, "insert into `oc_t_item` (fk_i_category_id, dt_pub_date, i_price, fk_c_currency_code, s_contact_name, b_active) values ( '$t', '$time', '$r', 'GRN','$namedb', '1' )");
  312.         $id = mysqli_insert_id($db_connect);
  313.         mysqli_query($db_connect, "insert into `oc_t_item_description` (fk_i_item_id, s_title, s_description) values ($id , '$titlebd', '$contentbd')");
  314.         mysqli_query($db_connect, "insert into `oc_t_item_location` (fk_i_item_id, fk_i_region_id, fk_i_city_id, s_city_area, fk_c_country_code, s_country, s_region, s_city) values ('$id', '$reg', '$c', '$telbd', 'UA', 'Ukraine', '$reg_name', '$city_name')");
  315.         mysqli_query($db_connect, "insert into `oc_t_item_resource` (fk_i_item_id, s_name, s_extension, s_content_type, s_path) values ('$id', 'img', 'jpg', 'image/jpeg',  'oc-content/uploads/28/')");
  316.  
  317.     }
  318. }
  319.  
  320. foreach ($links as $l) {
  321.     set_time_limit(0);
  322.     $html = curl_content($l);
  323.     phpQuery::newDocument($html);
  324.     $menu = pq('#offers_table')->find('.breakword');
  325.     $prices = pq('.space')->find('a.detailsLink');
  326.     $cat = pq('color-9')->find('.color-9>small')->text();
  327.  
  328.     foreach ($menu as $res) {
  329.  
  330.         $pqres = pq($res);
  331.         $linkarray = $pqres->find('a')->attr('href');
  332.         $pricearray = $pqres->find('p.price>strong')->text();
  333.         $title = $pqres->find('a.marginright5>strong')->text();
  334.         $cat = $pqres->find('.color-9>small')->text();
  335.         $url = $linkarray;
  336.  
  337.          list($content, $json) = get_phone_number($url);
  338.  
  339.         phpQuery::newDocument($content);
  340.         $htmlcon = pq('#textContent>p')->text();
  341.         $big_img = pq('.photo-glow')->find('img')->attr('src');
  342.         $img = pq('.tcenter>.photo-glow')->find('img')->attr('src');
  343.         echo $img . "<br>";
  344.         $name = pq('.offer-user__details>h4')->find('a')->text();
  345.         $location = pq('.offer-titlebox__details')->find('.show-map-link')->text();
  346.         phpQuery::newDocument($json->value);
  347.         $tel = pq('span')->text();
  348.  
  349.         if (empty($tel)) {
  350.             $tel = $json->value;
  351.         }
  352.  
  353.         $resarray = array(
  354.             'imglink' => $img,
  355.             'link' => $linkarray,
  356.             'price' => $pricearray,
  357.             'title' => $title,
  358.             'tel' => $tel,
  359.             'content' => $htmlcon,
  360.             'name' => $name,
  361.         );
  362.  
  363.         $linkimgbd = $resarray['imglink'];
  364.         $linkbd = $resarray['link'];
  365.         $pricebd = $resarray['price'];
  366.         $titlebd = $resarray['title'];
  367.         $telbd = $resarray['tel'];
  368.         $namedb = $resarray['name'];
  369.         $contentbd = $resarray['content'];
  370.  
  371.         /*get_img_by_name($db_connect, $linkimgbd);
  372.         $r = price_replace($pricebd);
  373.  
  374.         $rep = category_replace($cat, $replace);
  375.         $sql = mysqli_query($db_connect, "SELECT `fk_i_category_id`, `s_name` FROM `oc_t_category_description` WHERE 1");
  376.         $result = mysqli_fetch_all($sql);
  377.       list($reg_num, $city_num, $reg_name, $city_name)  = country($db_connect, $location);
  378.  
  379.       foreach ($reg_num as $region){
  380.           foreach ($region as $reg){
  381.  
  382.           }
  383.       }
  384.  
  385.       foreach ($city_num as $city){
  386.           foreach ($city as $c){
  387.  
  388.           }
  389.       }
  390.  
  391.         foreach ($result as $t){
  392.             if ($t[1] == $rep){
  393.  
  394.                 insert_querys($db_connect, $titlebd, $r, $namedb, $contentbd, $telbd, $t[0], $reg, $c, $reg_name, $city_name);
  395.  
  396.            }
  397.         }*/
  398.     }
  399.  
  400. }
  401.  
  402. ?>
Advertisement
Add Comment
Please, Sign In to add comment
Advertisement