Advertisement
Guest User

Untitled

a guest
Jun 21st, 2013
85
0
Never
Not a member of Pastebin yet? Sign Up, it unlocks many cool features!
  1.     var request = require('request');
  2.     var cheerio = require('cheerio');
  3.     var async = require('async');
  4.  
  5. exports.getCategories = function(obj, i, errors, cbfunct){
  6.     storeCats = {};
  7.  
  8.     request({
  9.             'uri': obj.url,
  10.             'headers': {
  11.                    'User-Agent': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)'
  12.                }
  13.             }, function (err, resp, body) {
  14.         if (err) {
  15.             console.log("getCategories Error!: " + err + " using " + obj.url);
  16.             errors.nexts.push(url);
  17.         } else {
  18.             console.log("Page loaded!");
  19.             var $ = cheerio.load(body);
  20.  
  21.             async.series([
  22.                 function(callback){
  23.                     createObjects(obj, storeCats, i);
  24.                     callback();
  25.                 },
  26.                 function(callback){
  27.                     storeCats.categories = eval(obj.cat_function);
  28.                 }],
  29.             function(err){
  30.                 if(err){
  31.                     console.log(err);
  32.                 }
  33.                 for (var ind = 0; ind < storeCats.categories.length; ind++){
  34.                     createObjects(obj, ind, storeCats);
  35.                     if (ind = storeCats.categories.length -1){
  36.                        cbfunct(storeCats);
  37.                     }
  38.                 }
  39.             });
  40.         }
  41.     });
  42.  
  43. }
  44.  
  45. createObjects = function(obj, storeCats, i){
  46.  
  47. // General_cat should be "Clothes / Shoes / Accessories" etc
  48. // Spec_Cat should be "Shirts / Chinos / Shorts" etc
  49. // Should run a function to get this info?
  50.                 storeCats.store             = obj.store;
  51.                 storeCats.baseURL           = obj.baseurl;
  52.                 storeCats.gender            = obj.gender;
  53.                 storeCats.spec_cat          = obj.spec_cat;
  54.                 storeCats.next_select       = obj.next_select;
  55.                 storeCats.next_override     = obj.next_override;
  56.                 storeCats.prod_name         = obj.prod_name_select;
  57.                 storeCats.prod_name_override= obj.prod_name_override;
  58.                 storeCats.label_name        = obj.label_name_select;
  59.                 storeCats.label_override    = obj.label_override;
  60.                 storeCats.descript          = obj.desc_select;
  61.                 storeCats.descript_override = obj.desc_override;
  62.                 storeCats.price             = obj.price_select;
  63.                 storeCats.price_override    = obj.price_override;
  64.                 storeCats.prodURL           = obj.product_url;
  65.                 storeCats.prodURL_override  = obj.product_url_override;
  66.                 storeCats.mainImg_select    = obj.mainImg_select;
  67.                 storeCats.mainImg_ref       = obj.mainImg_ref;
  68.                 storeCats.moreImg_select    = obj.moreImg_select;
  69.                 storeCats.moreImg_ref       = obj.moreImg_ref;
  70.                 storeCats.one_brand         = obj.one_brand;
  71.                 storeCats.urls              = [];
  72.                 storeCats.categories        = [];
  73.         return storeCats;
  74. }
Advertisement
Add Comment
Please, Sign In to add comment
Advertisement