akupriyanovhse

BERT Preload

Apr 16th, 2026
96
0
Never
Not a member of Pastebin yet? Sign Up, it unlocks many cool features!
Python 2.35 KB | None | 0 0
  1. import os
  2. from transformers import (
  3.     AutoTokenizer,
  4.     AutoModel,
  5.     AutoModelForMaskedLM,
  6.     AutoModelForSequenceClassification,
  7.     AutoModelForTokenClassification,
  8. )
  9.  
  10. MODELS_DIR = "models"
  11.  
  12. MODELS = [
  13.     # Дообучение + заполнение маски (лёгкая универсальная модель)
  14.     ("cointegrated/rubert-tiny2",
  15.      AutoModelForSequenceClassification, "классификация, дообучение"),
  16.  
  17.     ("cointegrated/rubert-tiny2",
  18.      AutoModelForMaskedLM, "заполнение маски [MASK]"),
  19.  
  20.     ("cointegrated/rubert-tiny2",
  21.      AutoModel, "эмбеддинги, сравнение текстов"),
  22.  
  23.     # Тональность (готовая, обучать не надо)
  24.     ("blanchefort/rubert-base-cased-sentiment",
  25.      AutoModelForSequenceClassification, "тональность текста"),
  26.  
  27.     # NER (готовая, обучать не надо)
  28.     ("Davlan/bert-base-multilingual-cased-ner-hrl",
  29.      AutoModelForTokenClassification, "NER: имена, места, организации"),
  30. ]
  31.  
  32. for name, model_class, description in MODELS:
  33.     suffix = model_class.__name__.replace("AutoModel", "").lower()
  34.     folder = name.replace("/", "_") + (f"_{suffix}" if suffix else "")
  35.     local_path = os.path.join(MODELS_DIR, folder)
  36.  
  37.     if os.path.exists(local_path):
  38.         print(f"  ✓ Уже есть: {name} ({description})")
  39.         continue
  40.  
  41.     print(f"  ⏳ Скачиваю: {name}")
  42.     print(f"     Задача: {description}")
  43.  
  44.     tokenizer = AutoTokenizer.from_pretrained(name)
  45.  
  46.     if model_class == AutoModelForSequenceClassification:
  47.         model = model_class.from_pretrained(name, num_labels=2,
  48.                                             ignore_mismatched_sizes=True)
  49.     else:
  50.         model = model_class.from_pretrained(name)
  51.  
  52.     os.makedirs(local_path, exist_ok=True)
  53.     tokenizer.save_pretrained(local_path)
  54.     model.save_pretrained(local_path)
  55.     print(f"  ✓ Сохранена в: {local_path}\n")
  56.  
  57. print("\n" + "═" * 50)
  58. print("Готово! Скачанные модели:\n")
  59. for d in sorted(os.listdir(MODELS_DIR)):
  60.     path = os.path.join(MODELS_DIR, d)
  61.     size = sum(
  62.         os.path.getsize(os.path.join(path, f))
  63.         for f in os.listdir(path)
  64.     ) / 1024 / 1024
  65.     print(f"  {d:55s} {size:>7.0f} МБ")
Tags: bert
Advertisement
Add Comment
Please, Sign In to add comment