betoesquivel

NLEAssignment

Dec 10th, 2015
346
0
Never
Not a member of Pastebin yet? Sign Up, it unlocks many cool features!
Java 6.85 KB | None | 0 0
  1. /*
  2.  * To change this license header, choose License Headers in Project Properties.
  3.  * To change this template file, choose Tools | Templates
  4.  * and open the template in the editor.
  5.  */
  6. package nleproject;
  7.  
  8. import java.io.File;
  9. import java.io.FileInputStream;
  10. import java.io.IOException;
  11. import java.io.InputStream;
  12. import java.io.PrintWriter;
  13. import java.util.ArrayList;
  14. import java.util.Arrays;
  15. import java.util.HashMap;
  16. import java.util.Iterator;
  17. import java.util.Map;
  18. import opennlp.tools.cmdline.postag.POSModelLoader;
  19. import opennlp.tools.namefind.NameFinderME;
  20. import opennlp.tools.namefind.TokenNameFinderModel;
  21. import opennlp.tools.postag.POSModel;
  22. import opennlp.tools.postag.POSSample;
  23. import opennlp.tools.postag.POSTaggerME;
  24. import opennlp.tools.tokenize.Tokenizer;
  25. import opennlp.tools.tokenize.TokenizerME;
  26. import opennlp.tools.tokenize.TokenizerModel;
  27. import opennlp.tools.util.InvalidFormatException;
  28. import opennlp.tools.util.Span;
  29. import org.jsoup.Jsoup;
  30. import org.jsoup.nodes.Document;
  31. import org.jsoup.nodes.Element;
  32. import org.jsoup.select.Elements;
  33.  
  34. /**
  35.  *
  36.  * @author betoesquivel
  37.  */
  38. public class NLEProject {
  39.     private PrintWriter out = new PrintWriter(System.out);
  40.  
  41.     public static void Tokenize(HashMap <String, String[]> data) throws InvalidFormatException, IOException {
  42.         InputStream file = new FileInputStream("en-token.bin");
  43.         Iterator <String> iterator = data.keySet().iterator();
  44.         TokenizerModel model = new TokenizerModel(file);
  45.         Tokenizer tokenizer = new TokenizerME(model);
  46.         while(iterator.hasNext()){
  47.             String key = iterator.next();
  48.             if(key.equalsIgnoreCase("keywords"))
  49.                 continue;
  50.             String information [] = tokenizer.tokenize(data.get(key)[0]);
  51.             data.put(key, information);
  52.         }
  53.     }
  54.     public static void findName(HashMap <String, String[]> data) throws IOException {
  55.         String type [] = {"location", "organization", "person"};
  56.         for(int i=0; i<type.length; i++){
  57.             InputStream is = new FileInputStream("en-ner-"+type[i]+".bin");
  58.             ArrayList <String> list = new ArrayList<String>();
  59.             TokenNameFinderModel model = new TokenNameFinderModel(is);
  60.             NameFinderME nameFinder = new NameFinderME(model);
  61.             Iterator <String> iterator = data.keySet().iterator();
  62.             while(iterator.hasNext()){
  63.                 String key = iterator.next();
  64.                 Span nameSpans[] = nameFinder.find(data.get(key));
  65.                 for(Span s: nameSpans){
  66.                     String temp[] = Arrays.copyOfRange(data.get(key), s.getStart(), s.getEnd());
  67.                     String ans = String.join(" ", temp);
  68.                     list.add(ans);
  69.                 }
  70.             }
  71.             String arr [] = new String [list.size()];
  72.             arr = list.toArray(arr);
  73.             data.put(type[i], arr);
  74.             is.close();
  75.         }                              
  76.     }
  77.    
  78.     public static void POSTag(HashMap <String, String[]> data) throws IOException {
  79.         POSModel model = new POSModelLoader()  
  80.                 .load(new File("en-pos-maxent.bin"));
  81.         POSTaggerME tagger = new POSTaggerME(model);
  82.         Iterator <String> iterator = data.keySet().iterator();
  83.         while(iterator.hasNext()){
  84.             String key = iterator.next();
  85.             if(key.equals("location") || key.equals("person") || key.equals("organization"))
  86.                 break;
  87.             String [] tags = tagger.tag(data.get(key));
  88.             POSSample sample = new POSSample(data.get(key), tags);
  89.             String tagged[] = new String[1];
  90.             tagged[0] = sample.toString();
  91.             data.put(key+"Tagged", tagged);
  92.         }
  93.     }
  94.  
  95.     private void metaElementsToHashmap(Elements metaTags, HashMap<String, String[]> siteData){
  96.        
  97.         ArrayList<String> otherMeta = new ArrayList<String>();
  98.         for (Element tag : metaTags) {
  99.  
  100.             if (tag.hasAttr("name") && tag.hasAttr("content")){
  101.  
  102.                 String name = tag.attr("name");
  103.                 String val;
  104.                 val = tag.attr("content");
  105.                 String value [] = null;
  106.                 if (name.equalsIgnoreCase("keywords")) {
  107.                     value = val.split(", *");
  108.                 }
  109.                 if (value == null) {
  110.                     value = new String[1];
  111.                     value[0] = val;
  112.                 }
  113.                 siteData.put(name, value);
  114.  
  115.             } else {
  116.  
  117.                 if (tag.hasAttr("content")){
  118.                     otherMeta.add(tag.attr("content"));
  119.                 }
  120.  
  121.             }
  122.             String metaArray[] = new String[otherMeta.size()];
  123.             metaArray = otherMeta.toArray(metaArray);
  124.             siteData.put("meta", metaArray);
  125.            
  126.         }
  127.        
  128.        
  129.     }
  130.     private HashMap<String, String[]> retrieveSiteInfoFromURL(String url) {
  131.        
  132.         Document doc = null;
  133.         HashMap<String, String[]> siteData = new HashMap<String, String[]>();
  134.         try {
  135.             doc = Jsoup.connect(url).get();
  136.            
  137.             String title[] = new String[1];
  138.             title[0] = doc.title();
  139.             siteData.put("title", title);
  140.            
  141.             String body[] = new String[1];
  142.             body[0] = doc.body().text();
  143.             siteData.put("body", body);
  144.            
  145.             metaElementsToHashmap(doc.getElementsByTag("meta"), siteData);
  146.            
  147.         } catch (IOException ioe) {
  148.             siteData.put("Invalid", null);
  149.             ioe.printStackTrace();
  150.         }
  151.  
  152.         return siteData;
  153.     }
  154.    
  155.     public void printMap (Map mp) {
  156.        
  157.         Iterator it = mp.entrySet().iterator();
  158.         while(it.hasNext()) {
  159.             Map.Entry pair = (Map.Entry)it.next();
  160.             String output = String.format("%s : %s", pair.getKey(),String.join("|",
  161.                     (String[])pair.getValue()));
  162.             out.println(output);
  163.         }
  164.        
  165.     }
  166.    
  167.     /**
  168.      * @param args the command line arguments
  169.      */
  170.     public static void main(String[] args) throws IOException {
  171.         String urls[] = {
  172.             "http://csee.essex.ac.uk/staff/udo/index.html",
  173.             "http://orb.essex.ac.uk/CE/CE314/syllabus.html"
  174.         };
  175.         NLEProject obj = new NLEProject();
  176.         System.out.println(String.format("Getting information from %d websites.", urls.length));
  177.         for (String url : urls) {
  178.             HashMap<String, String[]> site = new HashMap<String, String[]>();
  179.             site = obj.retrieveSiteInfoFromURL(url);
  180.             NLEProject.Tokenize(site);
  181.             NLEProject.findName(site);
  182.             NLEProject.POSTag(site);
  183.            
  184.             System.out.println("Retrieved data from: " + url);
  185.             obj.printMap(site);
  186.         }
  187.     }
  188.    
  189. }
Advertisement
Add Comment
Please, Sign In to add comment