SHARE
TWEET

BigDataZal

Zuvi Apr 23rd, 2019 76 Never
Not a member of Pastebin yet? Sign Up, it unlocks many cool features!
  1. import java.io.BufferedReader;
  2. import java.io.BufferedWriter;
  3. import java.io.File;
  4. import java.io.FileNotFoundException;
  5. import java.io.FileOutputStream;
  6. import java.io.FileReader;
  7. import java.io.FileWriter;
  8. import java.io.IOException;
  9. import java.io.PrintWriter;
  10. import java.util.ArrayList;
  11. import java.util.Arrays;
  12. import java.util.Iterator;
  13. import java.util.Scanner;
  14.  
  15. public class big_data {
  16.     public static void main(String[] params) throws Exception {
  17.         int id=Integer.parseInt(params[3]);
  18.         String csvFile = params[0]+"cleanData.csv";
  19.         int sample_size=60;
  20.         int samples_collected=0;
  21.         String line = "";
  22.         String cvsSplitBy = ";";
  23.         boolean isNotHeader=true;
  24.         int id_riadku=0;
  25.         if(id==0)
  26.             isNotHeader=false;
  27.         else
  28.             isNotHeader=true;
  29.        
  30.         PrintWriter bigData = new PrintWriter(new FileOutputStream(new File(params[1]+"bigData.csv"), true /* append = true */));
  31.          try (BufferedReader br = new BufferedReader(new FileReader(csvFile))) {
  32.          
  33.              while ((line = br.readLine()) != null) {
  34.                     samples_collected=0;
  35.                     StringBuilder sb = new StringBuilder();
  36.                     String[] input  = line.split(cvsSplitBy);
  37.                     if(id_riadku!=0||isNotHeader==false)
  38.                     for(int i=1;i<input.length;i++){
  39.                         sb.append(input[i]+";");               
  40.                     }
  41.                    
  42.                     if(isNotHeader)
  43.                         sb.append(params[3]+";");
  44.                     else
  45.                         sb.append("user_id;");
  46.                     if(params[2].equals("Kid")&&(isNotHeader)) sb.append("1;");            
  47.                     if(params[2].equals("Adult")&&(isNotHeader)) sb.append("0;");
  48.                     if(isNotHeader==false) sb.append("is_kid;");
  49.                     sb.append("\n");
  50.                     if(isNotHeader==false&&id==0) bigData.write(sb.toString());
  51.                    
  52.                     if(isNotHeader&&id_riadku!=0&samples_collected<=sample_size){
  53.                         bigData.write(sb.toString());
  54.                         samples_collected++;                       
  55.                     }
  56.                     isNotHeader=true;
  57.                     id_riadku++;
  58.          }
  59.          }
  60.          samples_collected=0;
  61.          bigData.close();
  62.          System.out.println("done!");
  63.        
  64.     }
  65. }
RAW Paste Data
We use cookies for various purposes including analytics. By continuing to use Pastebin, you agree to our use of cookies as described in the Cookies Policy. OK, I Understand
 
Top