Not a member of Pastebin yet?
Sign Up,
it unlocks many cool features!
- import os
- import torch
- from torch.utils.data import DataLoader, Dataset
- from transformers import AutoTokenizer, AutoModelForSequenceClassification
- from transformers import get_linear_schedule_with_warmup
- from sklearn.model_selection import train_test_split
- from sklearn.metrics import classification_report
- # ══════════════════════════════════════════════
- # НАСТРОЙКИ — меняйте здесь
- # ══════════════════════════════════════════════
- # Раскомментируйте нужную модель (только одну!):
- MODEL_NAME = "cointegrated/rubert-tiny2" # 120 МБ, быстрая, для CPU
- # MODEL_NAME = "DeepPavlov/rubert-base-cased" # 700 МБ, точнее, нужно больше RAM
- # MODEL_NAME = "bert-base-multilingual-cased" # 700 МБ, 104 языка
- # MODEL_NAME = "blanchefort/rubert-base-cased-sentiment" # 700 МБ, тональность (готовая)
- # MODEL_NAME = "Davlan/bert-base-multilingual-cased-ner-hrl" # 700 МБ, NER (готовая)
- MODELS_DIR = "models"
- EPOCHS = 15 # сколько раз модель пройдёт по всем данным
- LR = 2e-5 # скорость обучения (learning rate), стандарт для BERT: 2e-5 — 5e-5
- BATCH_SIZE = 4 # сколько текстов обрабатывается за один шаг (больше = быстрее, но больше RAM)
- # ══════════════════════════════════════════════
- # Загрузка модели: с диска или из интернета
- # ══════════════════════════════════════════════
- local_path = os.path.join(MODELS_DIR, MODEL_NAME.replace("/", "_"))
- if os.path.exists(local_path):
- print(f"✓ Модель найдена на диске: {local_path}")
- tokenizer = AutoTokenizer.from_pretrained(local_path)
- model = AutoModelForSequenceClassification.from_pretrained(
- local_path, num_labels=2
- )
- else:
- print(f"⏳ Модель не найдена на диске.")
- print(f" Скачиваю «{MODEL_NAME}» с HuggingFace...")
- print(f" Это может занять несколько минут при первом запуске.\n")
- tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
- model = AutoModelForSequenceClassification.from_pretrained(
- MODEL_NAME, num_labels=2
- )
- os.makedirs(local_path, exist_ok=True)
- tokenizer.save_pretrained(local_path)
- model.save_pretrained(local_path)
- print(f"✓ Модель сохранена в: {local_path}\n")
- # ══════════════════════════════════════════════
- # 1. ДАННЫЕ
- # ══════════════════════════════════════════════
- texts = [
- "Учёные обнаружили новый вид бактерий в Арктике",
- "Исследователи разработали метод ранней диагностики рака",
- "Новый алгоритм ускоряет обработку данных в 10 раз",
- "На МКС проведён эксперимент по выращиванию кристаллов",
- "Курс доллара обновил максимум за полгода",
- "Акции технологических компаний обвалились на 7%",
- "Центробанк повысил ключевую ставку до 18%",
- "Инфляция в еврозоне замедлилась до 2.4%",
- "Нефть подорожала на фоне конфликта на Ближнем Востоке",
- "Биткоин впервые превысил отметку в 100 тысяч долларов",
- "Запущен телескоп нового поколения для поиска экзопланет",
- "Генная терапия помогла восстановить зрение у мышей",
- "Рынок недвижимости Москвы показал рост на 15%",
- "Золото достигло исторического рекорда на бирже",
- "Физики подтвердили существование нового типа кварка",
- "ВВП страны сократился второй квартал подряд",
- ]
- labels = [
- 0, 0, 0, 0, # 0 = наука
- 1, 1, 1, 1, # 1 = финансы
- 1, 1,
- 0, 0,
- 1, 1,
- 0, 1,
- ]
- LABEL_NAMES = ["наука", "финансы"]
- # ══════════════════════════════════════════════
- # 2. ТОКЕНИЗАЦИЯ
- # ══════════════════════════════════════════════
- class TextDataset(Dataset):
- def __init__(self, texts, labels, tokenizer, max_len=128):
- self.encodings = tokenizer(
- texts, truncation=True, padding=True,
- max_length=max_len, return_tensors="pt",
- )
- self.labels = torch.tensor(labels, dtype=torch.long)
- def __len__(self):
- return len(self.labels)
- def __getitem__(self, idx):
- return {
- "input_ids": self.encodings["input_ids"][idx],
- "attention_mask": self.encodings["attention_mask"][idx],
- "labels": self.labels[idx],
- }
- train_texts, test_texts, train_labels, test_labels = train_test_split(
- texts, labels, test_size=0.25, random_state=42, stratify=labels
- )
- train_ds = TextDataset(train_texts, train_labels, tokenizer)
- test_ds = TextDataset(test_texts, test_labels, tokenizer)
- train_loader = DataLoader(train_ds, batch_size=BATCH_SIZE, shuffle=True)
- test_loader = DataLoader(test_ds, batch_size=BATCH_SIZE)
- # ══════════════════════════════════════════════
- # 3. ОБУЧЕНИЕ
- # ══════════════════════════════════════════════
- device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
- model = model.to(device)
- optimizer = torch.optim.AdamW(model.parameters(), lr=LR)
- scheduler = get_linear_schedule_with_warmup(
- optimizer, num_warmup_steps=0,
- num_training_steps=len(train_loader) * EPOCHS,
- )
- for epoch in range(1, EPOCHS + 1):
- model.train()
- total_loss = 0
- for batch in train_loader:
- batch = {k: v.to(device) for k, v in batch.items()}
- outputs = model(**batch)
- loss = outputs.loss
- loss.backward()
- torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0)
- optimizer.step()
- scheduler.step()
- optimizer.zero_grad()
- total_loss += loss.item()
- avg = total_loss / len(train_loader)
- print(f"Epoch {epoch}/{EPOCHS} loss: {avg:.4f}")
- # ══════════════════════════════════════════════
- # 4. ОЦЕНКА
- # ══════════════════════════════════════════════
- model.eval()
- all_preds, all_labels = [], []
- with torch.no_grad():
- for batch in test_loader:
- batch_device = {k: v.to(device) for k, v in batch.items()}
- outputs = model(**batch_device)
- preds = outputs.logits.argmax(dim=-1)
- all_preds.extend(preds.cpu().tolist())
- all_labels.extend(batch["labels"].tolist())
- print("\n" + classification_report(
- all_labels, all_preds, target_names=LABEL_NAMES
- ))
- # ══════════════════════════════════════════════
- # 5. ИСПОЛЬЗОВАНИЕ
- # ══════════════════════════════════════════════
- def predict(text):
- inputs = tokenizer(text, return_tensors="pt",
- truncation=True, max_length=128).to(device)
- with torch.no_grad():
- logits = model(**inputs).logits
- probs = torch.softmax(logits, dim=-1).squeeze()
- idx = probs.argmax().item()
- return LABEL_NAMES[idx], probs[idx].item()
- new_texts = [
- "Физики создали квантовый компьютер на 1000 кубитов",
- "Индекс Мосбиржи упал на 3% за торговую сессию",
- "NASA отправило зонд к спутнику Юпитера",
- ]
- print("─" * 50)
- for t in new_texts:
- label, conf = predict(t)
- print(f"[{label:>8}] {conf:.0%} ← {t}")
Advertisement
Add Comment
Please, Sign In to add comment