scrapy

import scrapy
import openpyxl

class SolarKeyMarkSpider(scrapy.Spider):
    name = "solarkeymark"
    start_urls = [
        "https://solarkeymark.eu/database/"
    ]

    def parse(self, response):
        # Récupération de tous les éléments de la liste de résultats de tests thermiques
        test_results = response.xpath('//div[@id="testResults"]/table/tbody/tr')

        # Initialisation de la liste de résultats
        results_list = []

        # Parcourir tous les résultats de test et extraire les données souhaitées
        for result in test_results:
            company_name = result.xpath('.//td[1]/text()').get()
            brand = result.xpath('.//td[2]/text()').get()
            license_number = result.xpath('.//td[3]/text()').get()
            eta_0b = result.xpath('.//td[4]/text()').get()
            a1 = result.xpath('.//td[5]/text()').get()
            a2 = result.xpath('.//td[6]/text()').get()
            a3 = result.xpath('.//td[7]/text()').get()

            # Ajouter les données à la liste des résultats
            results_list.append({
                "Company Name": company_name,
                "Brand": brand,
                "License Number": license_number,
                "η0,b": eta_0b,
                "a1": a1,
                "a2": a2,
                "a3": a3
            })

        # Exporter les données dans un fichier Excel
        wb = openpyxl.Workbook()
        ws = wb.active

        # Écrire les en-têtes de colonne
        ws.cell(row=1, column=1, value="Company Name")
        ws.cell(row=1, column=2, value="Brand")
        ws.cell(row=1, column=3, value="License Number")
        ws.cell(row=1, column=4, value="η0,b")
        ws.cell(row=1, column=5, value="a1")
        ws.cell(row=1, column=6, value="a2")
        ws.cell(row=1, column=7, value="a3")

        # Écrire les données dans les lignes suivantes
        for i, data in enumerate(results_list):
            row = i + 2
            ws.cell(row=row, column=1, value=data["Company Name"])
            ws.cell(row=row, column=2, value=data["Brand"])
            ws.cell(row=row, column=3, value=data["License Number"])
            ws.cell(row=row, column=4, value=data["η0,b"])
            ws.cell(row=row, column=5, value=data["a1"])
            ws.cell(row=row, column=6, value=data["a2"])
            ws.cell(row=row, column=7, value=data["a3"])

        # Enregistrer le fichier Excel
        wb.save("solarkeymark_results.xlsx")