Advertisement
Nexo78

Untitled

Oct 11th, 2018
146
0
Never
Not a member of Pastebin yet? Sign Up, it unlocks many cool features!
PHP 13.20 KB | None | 0 0
  1. <?php
  2.  
  3. require ('phpQuery-onefile.php');
  4.  
  5. $db_connect = mysqli_connect("localhost", "root", "", "osclass");
  6.  
  7. $categories = array(
  8.             'детская одежда' => 'детская одежда',
  9.             'детская обувь' => 'детская обувь',
  10.             'детские коляски' => 'детские коляски',
  11.             'детская мебель' => 'детская мебель',
  12.             'игрушки' => 'игрушки',
  13.             'товары для кормления' => 'товары для кормления',
  14.             'прочие детские товары' => 'прочие детские товары',
  15.             'квартиры,комнаты' => 'продажа квартир',
  16.             'земля' => 'продажа земли',
  17.             'дома' => 'продажа домов',
  18.             'коммерческая недвижимость' => 'продажа помещений',
  19.             'гаражи, парковки' => 'продажа гаражей и стоянок',
  20.             'посуточная аренда жилья' => 'аренда квартир',
  21.             'недвижимость за рубежом' => 'продажа за рубежом',
  22.             'легковые автомобили' => 'легковые автомобили',
  23.             'сельхозтехника' => 'сельхозтехника',
  24.             'прицепы / дома на колесах' => 'дома на колесах',
  25.             'мото' => 'мототехника',
  26.             'водный транспорт' => 'водный транспорт',
  27.             'другой транспорт' => 'другой транспорт',
  28.             'грузовые автомобили' => 'грузовые автомобили',
  29.             'воздушный транспорт' => 'воздушный транспорт',
  30.             'запчасти для транспорта' => 'запчасти и аксессуары',
  31.             'кошки' => 'кошки',
  32.             'собаки' => 'собаки',
  33.             'рептилии' => 'рептилии',
  34.             'зоотовары' => 'зоотовары',
  35.             'птицы' => 'птицы',
  36.             'грызуны' => 'грызуны',
  37.             'сельхоз животные' => 'сельхоз животные',
  38.             'бесплатно (животные и вязка)' => 'животные даром',
  39.             'бюро находок' => 'бюро находок',
  40.             'другие животные' => 'другие животные',
  41.             'посуда / кухонная утварь' => 'посуда',
  42.             'мебель' => 'мебель',
  43.             'инструменты' => 'инструменты',
  44.             'комнатные растения' => 'комнатные растения',
  45.             'сад / огород' => 'садовые растения',
  46.             'продукты питания / напитки' => 'продукты питания',
  47.             'предметы интерьера' => 'предметы интерьера',
  48.             'строительство / ремонт' => 'строительство и ремонт',
  49.             'прочие товары для дома' => 'прочие товары для дома',
  50.             'компьютеры и комплектующие' => 'компьютеры',
  51.             'телефоны и аксессуары' => 'телефоны',
  52.             'фото / видео' => 'фототехника',
  53.             'аудиотехника' => 'аудиотехника',
  54.             'аксессуары и комплектующие' => 'аксессуары и комплектующие',
  55.             'игры и игровые приставки' => 'игры и игровые приставки',
  56.             'техника для дома' => 'техника для дома',
  57.             'техника для кухни' => 'техника для кухни',
  58.             'прочая электроника' => 'прочая электроника',
  59.             'перевозки / аренда транспорта' => 'транспортные услуги',
  60.             'cтроительство / ремонт / уборка' => 'cтроительство / ремонт / уборка',
  61.             'финансовые услуги / партнерство' => 'финансовые услуги / партнерство',
  62.             'красота / здоровье' => 'здоровье, красота, фитнес',
  63.             'реклама / полиграфия / маркетинг / интернет' => 'реклама - полиграфия ',
  64.             'ремонт и обслуживание техники' => 'обслуживание - ремонт техники ',
  65.             'сырьё / материалы' => 'сырьё, материалы',
  66.             'продажа бизнеса' => 'продажа бизнеса',
  67.             'сетевой маркетинг' => 'маркетинг - интернет',
  68.             'прочие услуги' => 'прочие услуги',
  69.             'одежда/обувь' => 'одежда и обувь',
  70.             'для свадьбы' => 'все для свадьбы',
  71.             'подарки' => 'подарки',
  72.             'аксессуары' => 'аксессуары',
  73.             'красота / здоровье' => 'красота и здоровье',
  74.             'мода разное' => 'прочие товары',
  75.             'антиквариат / коллекции' => 'коллекционирование',
  76.             'спорт / отдых' => 'спорт и отдых',
  77.             'билеты' => 'билеты и путешествия',
  78.             'другое' => 'другое',
  79.             'музыкальные инструменты' => 'музыкальные инструменты',
  80. );
  81.  
  82. if(!empty($_POST['url'])){
  83.  
  84. }
  85. else{
  86.     echo "Введите url";
  87.     exit();
  88. }
  89. if(!empty($_POST['page_count'])) {
  90.  
  91.     $i = 1;
  92.     $j = $_POST['page_count'];
  93.     for ($i; $i<=$j; $i++){
  94.         $links[] = $_POST['url'] . '&page=' . $i;
  95.     }
  96.  
  97. }
  98. else{
  99.     echo "Введите кол-во страниц";
  100.     exit();
  101. }
  102.  
  103. function curl_content($url){
  104.     $ch = curl_init($url);
  105.     curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
  106.     curl_setopt($ch, CURLOPT_USERAGENT,'Mozilla/5.0 (Windows; U; WinNT; en; rv:1.0.2) Gecko/20030311 Beonex/0.8.2-stable');
  107.     curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
  108.     curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);
  109.     curl_setopt($ch, CURLOPT_SSL_VERIFYPEER ,false);
  110.  
  111.     $html=curl_exec($ch);
  112.     unset($url);
  113.     return $html;
  114.  
  115. }
  116.  
  117. /**
  118.  * @param $url
  119.  * @param $id
  120.  * @param $token
  121.  * @return array
  122.  */
  123. function get_phone_number($url)
  124. {
  125.     $cookie_path = $_SERVER['DOCUMENT_ROOT'] . '/cookie.dat';
  126.     preg_match('|-ID(.*).html|', $url, $id);
  127.     $olx = curl_init($url);
  128.     curl_setopt($olx, CURLOPT_SSL_VERIFYPEER, false);
  129.     curl_setopt($olx, CURLOPT_RETURNTRANSFER, true);
  130.     curl_setopt($olx, CURLOPT_HEADER, 1);
  131.     curl_setopt($olx, CURLOPT_COOKIEFILE, $cookie_path);
  132.     curl_setopt($olx, CURLOPT_COOKIEJAR, $cookie_path);
  133.     $result = curl_exec($olx);
  134.     $content = $result;
  135.     curl_close($olx);
  136.     preg_match("|phoneToken = '(.*)';|", $result, $token);
  137.     $olx_number = curl_init('https://www.olx.ua/ajax/misc/contact/phone/' . $id[1] . '/?pt=' . $token[1]);
  138.     curl_setopt($olx_number, CURLOPT_HTTPHEADER, [
  139.         'Host: www.olx.ua',
  140.         'Accept: */*',
  141.         'Accept-Language: uk,ru;q=0.8,en-US;q=0.5,en;q=0.3',
  142.         'Accept-Encoding: gzip, deflate, br',
  143.         'Connection: keep-alive',
  144.         'X-Requested-With: XMLHttpRequest'
  145.     ]);
  146.     curl_setopt($olx_number, CURLOPT_REFERER, $url);
  147.     curl_setopt($olx_number, CURLOPT_USERAGENT, $_SERVER['HTTP_USER_AGENT']);
  148.     curl_setopt($olx_number, CURLOPT_COOKIEFILE, $cookie_path);
  149.     curl_setopt($olx_number, CURLOPT_SSL_VERIFYPEER, false);
  150.     curl_setopt($olx_number, CURLOPT_RETURNTRANSFER, true);
  151.     $result = curl_exec($olx_number);
  152.     curl_close($olx_number);
  153.     unlink( $_SERVER['DOCUMENT_ROOT'].'/cookie.dat');
  154.     $json = json_decode($result);
  155.     return array($content, $json);
  156. }
  157.  
  158.  
  159. /**
  160.  * @param $db_connect
  161.  * @param $linkimgbd
  162.  */
  163. function get_img_by_name($db_connect, $linkimgbd)
  164. {
  165.     $sel = mysqli_query($db_connect, "select pk_i_id from oc_t_item_resource ORDER by pk_i_id desc");
  166.     $feth = mysqli_fetch_all($sel);
  167.  
  168.     $current_img_nr = $feth[0][0] +1;
  169.     $orig_img_name = $current_img_nr;
  170.     $thumb_img_name = $current_img_nr . '_thumbnail' ;
  171.     $preview_img_name = $current_img_nr . '_preview' ;
  172.  
  173.     $saveto1 = '../dpm/oc-content/uploads/' . $orig_img_name . '.jpg';
  174.     $saveto2 = '../dpm/oc-content/uploads/' . $thumb_img_name . '.jpg';
  175.     $saveto3 = '../dpm/oc-content/uploads/' . $preview_img_name . '.jpg';
  176.     $ch = curl_init($linkimgbd);
  177.     curl_setopt($ch, CURLOPT_HEADER, 0);
  178.     curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
  179.     curl_setopt($ch, CURLOPT_BINARYTRANSFER, 1);
  180.     $raw = curl_exec($ch);
  181.     curl_close($ch);
  182.  
  183.     $fp = fopen($saveto1, 'w');
  184.     $fp2 = fopen($saveto2, 'w');
  185.     $fp3 = fopen($saveto3, 'w');
  186.     fwrite($fp, $raw);
  187.     fwrite($fp2, $raw);
  188.     fwrite($fp3, $raw);
  189.     fclose($fp);
  190.     fclose($fp2);
  191.     fclose($fp3);
  192. }
  193.  
  194. function get_category()
  195. {
  196.  
  197.  
  198.  
  199. }
  200.  
  201. /**
  202.  * @param $pricebd
  203.  * @param $titlebd
  204.  * @return string
  205.  */
  206. function price_replace($pricebd)
  207. {
  208.     $price_replace = str_replace(" грн.", "", $pricebd);
  209.     $r = str_replace(' ', '', $price_replace) . '000000';
  210.  
  211.     return $r;
  212. }
  213.  
  214.  
  215. /**
  216.  * @param $db_connect
  217.  * @param $titlebd
  218.  * @param $r
  219.  * @param $namedb
  220.  * @param $contentbd
  221.  * @param $telbd
  222.  * @param $img_name
  223.  */
  224. function insert_querys($db_connect, $titlebd, $r, $namedb, $contentbd, $telbd, $catt)
  225. {
  226.     $select_query = mysqli_query($db_connect, "select s_title from `oc_t_item_description`");
  227.     $query_res = mysqli_fetch_all($select_query, MYSQLI_ASSOC);
  228.     $time = date('Y-m-d H:i:s');
  229.  
  230.     if ($query_res !== $titlebd) {
  231.  
  232.         mysqli_query($db_connect, "insert into `oc_t_item` (fk_i_category_id, dt_pub_date, i_price, fk_c_currency_code, s_contact_name, b_active) values ( 2, '$time', '$r', 'GRN','$namedb', '1' )");
  233.         $id = mysqli_insert_id($db_connect);
  234.         mysqli_query($db_connect, "insert into `oc_t_item_description` (fk_i_item_id, s_title, s_description) values ($id , '$titlebd', '$contentbd')");
  235.         mysqli_query($db_connect, "insert into `oc_t_item_location` (fk_i_item_id, s_city_area) values ('$id', '$telbd')");
  236.         mysqli_query($db_connect, "insert into `oc_t_item_resource` (fk_i_item_id, s_name, s_extension, s_content_type, s_path) values ('$id', 'img', 'jpg', 'image/jpeg',  'oc-content/uploads/')");
  237.  
  238.     }
  239. }
  240.  
  241. foreach ($links as $l) {
  242.     set_time_limit(0);
  243.     $html = curl_content($l);
  244.     phpQuery::newDocument($html);
  245.     $menu = pq('#offers_table')->find('.breakword');
  246.     $prices = pq('.space')->find('a.detailsLink');
  247.     $category = pq('.color-9>small')->text();
  248.     //echo $category;
  249.  
  250.     foreach ($menu as $res) {
  251.  
  252.         $pqres = pq($res);
  253.         $linkarray = $pqres->find('a')->attr('href');
  254.         $pricearray = $pqres->find('p.price>strong')->text();
  255.         $title = $pqres->find('a.marginright5>strong')->text();
  256.         $img = $pqres->find('img.fleft')->attr('src');
  257.         $url = $linkarray;
  258.  
  259.        // list($content, $json) = get_phone_number($url);
  260.  
  261.         phpQuery::newDocument($content);
  262.         $htmlcon = pq('#textContent>p')->text();
  263.         $big_img = pq('.photo-glow')->find('img')->attr('src');
  264.         $name = pq('.offer-user__details>h4')->find('a')->text();
  265.         phpQuery::newDocument($json->value);
  266.         $tel = pq('span')->text();
  267.  
  268.  
  269.         if (empty($tel)) {
  270.             $tel = $json->value;
  271.         }
  272.  
  273.         $resarray = array(
  274.             'imglink' => $img,
  275.             'link' => $linkarray,
  276.             'price' => $pricearray,
  277.             'title' => $title,
  278.             'tel' => $tel,
  279.             'content' => $htmlcon,
  280.             'name' => $name,
  281.         );
  282.  
  283.         $linkimgbd = $resarray['imglink'];
  284.         $linkbd = $resarray['link'];
  285.         $pricebd = $resarray['price'];
  286.         $titlebd = $resarray['title'];
  287.         $telbd = $resarray['tel'];
  288.         $namedb = $resarray['name'];
  289.         $contentbd = $resarray['content'];
  290.  
  291.         $sql = mysqli_query($db_connect, "SELECT `fk_i_category_id`, `s_name` FROM `oc_t_category_description` WHERE 1");
  292.         $result = mysqli_fetch_all($sql);
  293.  
  294.         echo $category . "<br>";
  295.  
  296.         foreach ($result as $s) {
  297.  
  298.             foreach ($categories as $cat) {
  299.  
  300.                 if (key($categories) == $category){
  301.  
  302.                     echo current($cat);
  303.  
  304.                 }
  305.  
  306.             }
  307.         }
  308. //var_dump($catt);
  309.        // get_img_by_name($db_connect, $linkimgbd);
  310.         //$r = price_replace($pricebd);
  311.  
  312.         //insert_querys($db_connect, $titlebd, $r, $namedb, $contentbd, $telbd);
  313.  
  314.  
  315.     }
  316. }
  317.  
  318. ?>
Advertisement
Add Comment
Please, Sign In to add comment
Advertisement