Not a member of Pastebin yet?
Sign Up,
it unlocks many cool features!
- import os
- from transformers import pipeline, AutoTokenizer, AutoModelForMaskedLM
- # ══════════════════════════════════════════════
- # НАСТРОЙКИ
- # ══════════════════════════════════════════════
- MODEL_NAME = "bert-base-multilingual-cased" # 700 МБ, 104 языка
- MODELS_DIR = "models"
- # ══════════════════════════════════════════════
- # Загрузка модели: с диска или из интернета
- # ══════════════════════════════════════════════
- local_path = os.path.join(MODELS_DIR, MODEL_NAME.replace("/", "_"))
- if os.path.exists(local_path):
- print(f"✓ Модель найдена на диске: {local_path}")
- else:
- print(f"⏳ Модель не найдена на диске.")
- print(f" Скачиваю «{MODEL_NAME}» с HuggingFace...")
- print(f" Это может занять несколько минут при первом запуске.\n")
- tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
- model = AutoModelForMaskedLM.from_pretrained(MODEL_NAME)
- os.makedirs(local_path, exist_ok=True)
- tokenizer.save_pretrained(local_path)
- model.save_pretrained(local_path)
- print(f"✓ Модель сохранена в: {local_path}\n")
- unmasker = pipeline("fill-mask", model=local_path)
- # ══════════════════════════════════════════════
- # Заполнение маски
- # ══════════════════════════════════════════════
- text = "Москва — это [MASK] России."
- results = unmasker(text)
- for r in results[:3]:
- print(f"{r['token_str']:>12} → {r['score']:.2%}")
Advertisement
Add Comment
Please, Sign In to add comment