Твоя задача — реализовать удобную и стабильную реализацию метода учитель–ученик для обучения LoRA и full моделей с использованием DINOv3 моделей. Основной фокус — пайплайн обучения для SDXL (как основная тестовая ветка данного метода).

---

## КОНТЕКСТ

Тебе предоставлен весь репозиторий:
https://github.com/kohya-ss/sd-scripts

---

## ОСНОВНОЙ МЕТОД

Метод основан на подходе self-distillation (teacher–student) без разметки, описанном здесь:

https://jehillparikh.medium.com/improved-image-encoding-using-transformers-self-distillation-with-no-labels-dino-dinov2-79ac5b6cac06

---

## ТРЕБОВАНИЯ К РЕАЛИЗАЦИИ

### 1. Общие требования

* Реализовать training pipeline teacher–student для SDXL
* Поддержка обучения LoRA и full fine-tuning моделей
* Использование DINOv3 / DINO-style моделей в роли teacher
* Student обучается через distillation loss

---

### 2. Ограничения по ресурсам

Обучение должно быть рассчитано на consumer GPU:

* GPU: 12GB VRAM
* RAM: 32GB

Обязательно учитывать:

* минимизацию потребления памяти
* возможность использования caching для ускорения обучения и снижения нагрузки

---

### 3. Loss functions

Должна сохраняться возможность выбора и расширения loss функций:

* DINO-based loss (основной вариант)
* стандартный loss (из текущего репозитория)
* возможность добавления кастомных loss функций без изменения основной архитектуры

---

### 4. Интеграция в репозиторий

* Не ломать существующий функционал https://github.com/kohya-ss/sd-scripts
* Сохранить весь текущий training pipeline без изменений поведения по умолчанию
* Добавить метод как отдельный модуль / режим обучения
* Интеграция должна быть максимально модульной

---

### 5. Модульность

Реализация должна быть разделена на независимые компоненты, чтобы:

* можно было исправлять отдельные части без изменения всей системы
* можно было отключить DINO pipeline и использовать стандартный training

---

### 6. Caching

Необходимо предусмотреть систему кеширования:

* возможность хранения промежуточных результатов teacher модели
* использование кеша для ускорения обучения
* совместимость с датасетом и конфигурацией обучения

---

## ДОПОЛНИТЕЛЬНЫЕ ИСТОЧНИКИ

Для понимания структуры и стиля проекта использовать:

* CLAUDE.md
* EXAMPLES.md

Ресурсы Meta (DINOv3):

* https://ai.meta.com/research/publications/dinov3/
* https://github.com/facebookresearch/dinov3

---

## КРИТЕРИИ УСПЕШНОЙ РЕАЛИЗАЦИИ

* Работает обучение SDXL LoRA (и LyCORIS https://github.com/KohakuBlueleaf/LyCORIS - в основном будет использоваться он, репозиторий сейчас работает с LyCORIS) с DINO distillation
* Работает full fine-tuning SDXL с тем же подходом
* Поддерживается caching
* Поддерживается pluggable loss system
* Не нарушен существующий функционал sd-scripts
* Реализация модульная и легко расширяемая
* Работает на 12GB GPU без критических OOM при LoRA обучении