akupriyanovhse

BERT Context

Apr 16th, 2026 (edited)
83
0
Never
Not a member of Pastebin yet? Sign Up, it unlocks many cool features!
Python 2.10 KB | None | 0 0
  1. import os
  2. from transformers import pipeline, AutoTokenizer, AutoModelForMaskedLM
  3.  
  4. # ══════════════════════════════════════════════
  5. # НАСТРОЙКИ
  6. # ══════════════════════════════════════════════
  7. MODEL_NAME = "bert-base-multilingual-cased"   # 700 МБ, 104 языка
  8. MODELS_DIR = "models"
  9.  
  10. # ══════════════════════════════════════════════
  11. # Загрузка модели: с диска или из интернета
  12. # ══════════════════════════════════════════════
  13. local_path = os.path.join(MODELS_DIR, MODEL_NAME.replace("/", "_"))
  14.  
  15. if os.path.exists(local_path):
  16.     print(f"✓ Модель найдена на диске: {local_path}")
  17. else:
  18.     print(f"⏳ Модель не найдена на диске.")
  19.     print(f"   Скачиваю «{MODEL_NAME}» с HuggingFace...")
  20.     print(f"   Это может занять несколько минут при первом запуске.\n")
  21.     tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
  22.     model = AutoModelForMaskedLM.from_pretrained(MODEL_NAME)
  23.     os.makedirs(local_path, exist_ok=True)
  24.     tokenizer.save_pretrained(local_path)
  25.     model.save_pretrained(local_path)
  26.     print(f"✓ Модель сохранена в: {local_path}\n")
  27.  
  28. unmasker = pipeline("fill-mask", model=local_path)
  29.  
  30. # ══════════════════════════════════════════════
  31. # Заполнение маски
  32. # ══════════════════════════════════════════════
  33. text = "Москва — это [MASK] России."
  34. results = unmasker(text)
  35.  
  36. for r in results[:3]:
  37.     print(f"{r['token_str']:>12}  →  {r['score']:.2%}")
Tags: bert
Advertisement
Add Comment
Please, Sign In to add comment