Advertisement
dereksir

Untitled

Jun 19th, 2024
530
0
Never
Not a member of Pastebin yet? Sign Up, it unlocks many cool features!
Java 1.78 KB | None | 0 0
  1. package com.example;
  2.  
  3. import java.net.URI;
  4. import java.net.http.HttpClient;
  5. import java.net.http.HttpRequest;
  6. import java.net.http.HttpResponse;
  7.  
  8. import org.jsoup.Jsoup;
  9. import org.jsoup.nodes.Document;
  10. import org.jsoup.nodes.Element;
  11. import org.jsoup.select.Elements;
  12.  
  13. public class Main {
  14.     public static void main(String[] args) {
  15.         // create HtttpClient instance
  16.         HttpClient client = HttpClient.newHttpClient();
  17.  
  18.         // build a HttpRequest
  19.         HttpRequest request = HttpRequest.newBuilder()
  20.                 .uri(URI.create("https://www.scrapingcourse.com/ecommerce/"))
  21.                 .build();
  22.  
  23.         // send asynchronous GET request and handle response.
  24.         client.sendAsync(request, HttpResponse.BodyHandlers.ofString())
  25.                 // extract body as string
  26.                 .thenApply(HttpResponse::body)
  27.                 // retrieve extracted body
  28.                 .thenAccept(htmlContent -> {
  29.  
  30.                     // parse the HTML content using Jsoup
  31.                     Document doc = Jsoup.parse(htmlContent);
  32.  
  33.                     // select all product elements
  34.                     Elements productElements = doc.select(".product");
  35.                    
  36.                     // iterate through each product
  37.                     for (Element productElement : productElements) {
  38.                         // retrieve the product title
  39.                         String productTitle = productElement.select("h2").text();
  40.                         // retrieve the image URL
  41.                         String imageUrl = productElement.select("img[src]").attr("src");
  42.                         // retrieve the link
  43.                         String link = productElement.select("a[href]").attr("href");
  44.  
  45.                         System.out.println("Product Title: " + productTitle + "\nImage URL: " + imageUrl + "\nLink: " + link + "\n");
  46.  
  47.                     }
  48.            
  49.                 })
  50.                    
  51.                 .join();
  52.     }
  53. }
Advertisement
Add Comment
Please, Sign In to add comment
Advertisement