akupriyanovhse

BERT Fine-tuning

Apr 16th, 2026 (edited)
93
0
Never
Not a member of Pastebin yet? Sign Up, it unlocks many cool features!
Python 9.14 KB | None | 0 0
  1. import os
  2. import torch
  3. from torch.utils.data import DataLoader, Dataset
  4. from transformers import AutoTokenizer, AutoModelForSequenceClassification
  5. from transformers import get_linear_schedule_with_warmup
  6. from sklearn.model_selection import train_test_split
  7. from sklearn.metrics import classification_report
  8.  
  9. # ══════════════════════════════════════════════
  10. # НАСТРОЙКИ — меняйте здесь
  11. # ══════════════════════════════════════════════
  12.  
  13. # Раскомментируйте нужную модель (только одну!):
  14. MODEL_NAME = "cointegrated/rubert-tiny2"                        # 120 МБ, быстрая, для CPU
  15. # MODEL_NAME = "DeepPavlov/rubert-base-cased"                   # 700 МБ, точнее, нужно больше RAM
  16. # MODEL_NAME = "bert-base-multilingual-cased"                   # 700 МБ, 104 языка
  17. # MODEL_NAME = "blanchefort/rubert-base-cased-sentiment"        # 700 МБ, тональность (готовая)
  18. # MODEL_NAME = "Davlan/bert-base-multilingual-cased-ner-hrl"    # 700 МБ, NER (готовая)
  19.  
  20. MODELS_DIR = "models"
  21. EPOCHS = 15       # сколько раз модель пройдёт по всем данным
  22. LR = 2e-5         # скорость обучения (learning rate), стандарт для BERT: 2e-5 — 5e-5
  23. BATCH_SIZE = 4    # сколько текстов обрабатывается за один шаг (больше = быстрее, но больше RAM)
  24.  
  25. # ══════════════════════════════════════════════
  26. # Загрузка модели: с диска или из интернета
  27. # ══════════════════════════════════════════════
  28. local_path = os.path.join(MODELS_DIR, MODEL_NAME.replace("/", "_"))
  29.  
  30. if os.path.exists(local_path):
  31.     print(f"✓ Модель найдена на диске: {local_path}")
  32.     tokenizer = AutoTokenizer.from_pretrained(local_path)
  33.     model = AutoModelForSequenceClassification.from_pretrained(
  34.         local_path, num_labels=2
  35.     )
  36. else:
  37.     print(f"⏳ Модель не найдена на диске.")
  38.     print(f"   Скачиваю «{MODEL_NAME}» с HuggingFace...")
  39.     print(f"   Это может занять несколько минут при первом запуске.\n")
  40.     tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
  41.     model = AutoModelForSequenceClassification.from_pretrained(
  42.         MODEL_NAME, num_labels=2
  43.     )
  44.     os.makedirs(local_path, exist_ok=True)
  45.     tokenizer.save_pretrained(local_path)
  46.     model.save_pretrained(local_path)
  47.     print(f"✓ Модель сохранена в: {local_path}\n")
  48.  
  49.  
  50. # ══════════════════════════════════════════════
  51. # 1. ДАННЫЕ
  52. # ══════════════════════════════════════════════
  53. texts = [
  54.     "Учёные обнаружили новый вид бактерий в Арктике",
  55.     "Исследователи разработали метод ранней диагностики рака",
  56.     "Новый алгоритм ускоряет обработку данных в 10 раз",
  57.     "На МКС проведён эксперимент по выращиванию кристаллов",
  58.     "Курс доллара обновил максимум за полгода",
  59.     "Акции технологических компаний обвалились на 7%",
  60.     "Центробанк повысил ключевую ставку до 18%",
  61.     "Инфляция в еврозоне замедлилась до 2.4%",
  62.     "Нефть подорожала на фоне конфликта на Ближнем Востоке",
  63.     "Биткоин впервые превысил отметку в 100 тысяч долларов",
  64.     "Запущен телескоп нового поколения для поиска экзопланет",
  65.     "Генная терапия помогла восстановить зрение у мышей",
  66.     "Рынок недвижимости Москвы показал рост на 15%",
  67.     "Золото достигло исторического рекорда на бирже",
  68.     "Физики подтвердили существование нового типа кварка",
  69.     "ВВП страны сократился второй квартал подряд",
  70. ]
  71.  
  72. labels = [
  73.     0, 0, 0, 0,  # 0 = наука
  74.     1, 1, 1, 1,  # 1 = финансы
  75.     1, 1,
  76.     0, 0,
  77.     1, 1,
  78.     0, 1,
  79. ]
  80.  
  81. LABEL_NAMES = ["наука", "финансы"]
  82.  
  83. # ══════════════════════════════════════════════
  84. # 2. ТОКЕНИЗАЦИЯ
  85. # ══════════════════════════════════════════════
  86. class TextDataset(Dataset):
  87.     def __init__(self, texts, labels, tokenizer, max_len=128):
  88.         self.encodings = tokenizer(
  89.             texts, truncation=True, padding=True,
  90.             max_length=max_len, return_tensors="pt",
  91.         )
  92.         self.labels = torch.tensor(labels, dtype=torch.long)
  93.  
  94.     def __len__(self):
  95.         return len(self.labels)
  96.  
  97.     def __getitem__(self, idx):
  98.         return {
  99.             "input_ids": self.encodings["input_ids"][idx],
  100.             "attention_mask": self.encodings["attention_mask"][idx],
  101.             "labels": self.labels[idx],
  102.         }
  103.  
  104. train_texts, test_texts, train_labels, test_labels = train_test_split(
  105.     texts, labels, test_size=0.25, random_state=42, stratify=labels
  106. )
  107.  
  108. train_ds = TextDataset(train_texts, train_labels, tokenizer)
  109. test_ds = TextDataset(test_texts, test_labels, tokenizer)
  110. train_loader = DataLoader(train_ds, batch_size=BATCH_SIZE, shuffle=True)
  111. test_loader = DataLoader(test_ds, batch_size=BATCH_SIZE)
  112.  
  113. # ══════════════════════════════════════════════
  114. # 3. ОБУЧЕНИЕ
  115. # ══════════════════════════════════════════════
  116. device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
  117. model = model.to(device)
  118.  
  119. optimizer = torch.optim.AdamW(model.parameters(), lr=LR)
  120. scheduler = get_linear_schedule_with_warmup(
  121.     optimizer, num_warmup_steps=0,
  122.     num_training_steps=len(train_loader) * EPOCHS,
  123. )
  124.  
  125. for epoch in range(1, EPOCHS + 1):
  126.     model.train()
  127.     total_loss = 0
  128.     for batch in train_loader:
  129.         batch = {k: v.to(device) for k, v in batch.items()}
  130.         outputs = model(**batch)
  131.         loss = outputs.loss
  132.         loss.backward()
  133.         torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0)
  134.         optimizer.step()
  135.         scheduler.step()
  136.         optimizer.zero_grad()
  137.         total_loss += loss.item()
  138.     avg = total_loss / len(train_loader)
  139.     print(f"Epoch {epoch}/{EPOCHS}  loss: {avg:.4f}")
  140.  
  141. # ══════════════════════════════════════════════
  142. # 4. ОЦЕНКА
  143. # ══════════════════════════════════════════════
  144. model.eval()
  145. all_preds, all_labels = [], []
  146.  
  147. with torch.no_grad():
  148.     for batch in test_loader:
  149.         batch_device = {k: v.to(device) for k, v in batch.items()}
  150.         outputs = model(**batch_device)
  151.         preds = outputs.logits.argmax(dim=-1)
  152.         all_preds.extend(preds.cpu().tolist())
  153.         all_labels.extend(batch["labels"].tolist())
  154.  
  155. print("\n" + classification_report(
  156.     all_labels, all_preds, target_names=LABEL_NAMES
  157. ))
  158.  
  159. # ══════════════════════════════════════════════
  160. # 5. ИСПОЛЬЗОВАНИЕ
  161. # ══════════════════════════════════════════════
  162. def predict(text):
  163.     inputs = tokenizer(text, return_tensors="pt",
  164.                        truncation=True, max_length=128).to(device)
  165.     with torch.no_grad():
  166.         logits = model(**inputs).logits
  167.     probs = torch.softmax(logits, dim=-1).squeeze()
  168.     idx = probs.argmax().item()
  169.     return LABEL_NAMES[idx], probs[idx].item()
  170.  
  171. new_texts = [
  172.     "Физики создали квантовый компьютер на 1000 кубитов",
  173.     "Индекс Мосбиржи упал на 3% за торговую сессию",
  174.     "NASA отправило зонд к спутнику Юпитера",
  175. ]
  176.  
  177. print("─" * 50)
  178. for t in new_texts:
  179.     label, conf = predict(t)
  180.     print(f"[{label:>8}] {conf:.0%}  ← {t}")
Tags: bert
Advertisement
Add Comment
Please, Sign In to add comment