# このコードは松本香織が作成しました。
#kokkaiWeeklyAPI_1.pyでデータを保存したファイル群から週と件数を抜き出してCSVファイルに保存するコードです。

from datetime import *
from datetime import date, timedelta
from bs4 import BeautifulSoup
import pathlib
import glob
import csv
import re

FILE_PASS2 = 'パス'　#件数を格納するCSVファイルのパスを指定する

fw = csv.writer(open(FILE_PASS2, 'w', encoding='utf-8-sig', newline='\n'),delimiter=',')
fw.writerow(['week', 'records'])

temp = {}　#条件に合致するデータを保存
file_n = [] #条件に合致するファイルを保存

p_temp = pathlib.Path('パス')　#kokkaiWeeklyAPI_1.pyでデータを保存したファイル群の置いてあるパスを指定する

#ファイル名に「GENOM_」を含むファイルのうち、年月日（\d{4}-\d{2}-\d{2}）が付されたファイルのみを変数に格納する（適宜調整してください）
file_n = [p for p in p_temp.glob('GENOM_*.txt')
     if re.search('\d{4}-\d{2}-\d{2}.txt', str(p))]

#ファイル名から週を、ファイルの中身から件数を抜き出してCSVに書き込む（適宜調整してください）
for f in range(len(file_n)):
    with open(file_n[f], 'r', encoding='utf-8-sig') as fp:
        week_n = str(file_n[f]).replace(r'..\thesis\GENOM_', '').replace(r'.txt', '').replace(r'\d{4}-','')
        #week_n = datetime.strptime(week_n, '%Y-%m-%d').date()
        soup = BeautifulSoup(fp, 'lxml')
        nor = soup.find("numberofrecords").string
        temp[f] = nor
        fw.writerow([week_n, temp[f]])