interim tasks

Задача t1 - t15 это задачи на построение прототипов и агрегацию данных разными способами.

Задача 1
Построение разницы результата текущими предсказаниями
с предыдущими предсказаниями которые были достигнуты на прошлой итерации.
Отрисованы как png графики разниц, так и анимированные нормализированные gif-файлы, где визуально видно изменения бронирований начиная с самого дальнего дня бронирования до заезда и заканчивая самим днем заезда.

Задача 2
Построения графиков где осью X теперь будет количество дней до заезда, а не дата. Соответственно название файла отражаем день заезда потому создается по png-файлу для каждого дня.

Задача 3
Построение графика разницы между соседними днями заезда, такой график строится для каждого количества дней бронирования до заезда.
А также построение графика суммы соседних дней заездов аналогично разницы выше.

Задача 4
Построение графиков скользящих средних для нескольких дней N, где N брался для каждого значения из [7, 14, 21, 28, 30, 31, 59, 60, 90, 120, 151, 191, 212, 243, 273, 304, 334, 365, 730, 1095, 1461]
Отрисованы были как png-файлы так и gif-анимация

Задача 5
Построение графиков отношения разницы к целому. Это разница между соседними днями поделить на значение.
Построение графиков разницы дня заезда с каждым днем до заезда.
Построение графиков разницы окна. Когда берется разница значений двух дней до заезда которые друг от друга находятся на заданное количество дней N. К примеру для N=5 это разница между датами 09.01 и 04.01, потом 10.01 и 05.01 и так далее.
Построение графиков скользящего среднего для окна N. Аналогично предыдущему но теперь берется среднее значение всех значение в окне.

Задача 8
Скрипт переноса данных из БД PostregSQL в БД MySQL. Только тех данных которые нужны для построени модели предсказания.

Задача 9
Построение графиков разниц между значениями с типом комнаты GENERAL и суммой всех остальных типов. Для проверки целостности общих данных и расписанных уже по типам комнат.

Задача 10
Построение графиков предсказания где разные года выводятся вместе но разными линиями и разным цветом. Ось x это день года от 1-го января до 31-го декабря.

Задача 11
Построение графиков где на каждый день по оси x отображаются сумма каждого параметра по всем броням в будущее существующие на данный день. Выводятся предсказания и реальные данные по сегодня.

Задача 12
Оптимизация импорта данных из основной PostgreSQL в дополнительную PostgreSQL.
Потому что выполнять все предыдущие задачи с основной базой либо очень долго либо вообще не возможно.
В связи с очень большими размерами БД основная проблема это время выполнения запроса, когда выборка происходит из нескольких таблиц сразу или когда приходится группировать по каким либо полям.
К примеру стандартный запрос к БД PostreqSQL для импорта данных в MySQL во время выполнения начинал потреблять до 60 Гб оперативной памяти и все равно не удалось дождатся результата его выполнения.

Задача 13
Построение графика отображающей ситуацию на каждый день.
Построение анмированных gif и avi файлов, проигрывающих изменения по дням.

Задача 14
Построение графиков состояния броней за N дней до дня проживания. Где N есть параметр и рисуется по рисунки для какждого такого N. Графики рисуются как для каждого отеля, так и в целом по всем отелям.

Задача 15
Построение графиков поступления новых броней. Двумя способами.
Первый - разницa между множеством броней существующих на определенный день и с множеством броней на прошлый день.
Второй способ как первое появление брони в БД.
А также третий график который является разницей между этими двумя способами.

Здесь также была сложность из запросом к БД. Когда разница каждого среза с предыдущим срезом для определения поступившых броней выполнялась от 3-х до 7-ми часов.