Not a member of Pastebin yet?
Sign Up,
it unlocks many cool features!
- import os
- import torch
- from transformers import AutoTokenizer, AutoModel
- from torch.nn.functional import cosine_similarity
- # ══════════════════════════════════════════════
- # НАСТРОЙКИ
- # ══════════════════════════════════════════════
- # Раскомментируйте нужную модель (только одну!):
- MODEL_NAME = "cointegrated/rubert-tiny2" # 120 МБ, быстрая, для CPU
- # MODEL_NAME = "bert-base-multilingual-cased" # 700 МБ, 104 языка
- # MODEL_NAME = "DeepPavlov/rubert-base-cased" # 700 МБ, точнее для русского
- MODELS_DIR = "models"
- # ══════════════════════════════════════════════
- # Загрузка модели: с диска или из интернета
- # ══════════════════════════════════════════════
- local_path = os.path.join(MODELS_DIR, MODEL_NAME.replace("/", "_"))
- if os.path.exists(local_path):
- print(f"✓ Модель найдена на диске: {local_path}")
- tokenizer = AutoTokenizer.from_pretrained(local_path)
- model = AutoModel.from_pretrained(local_path)
- else:
- print(f"⏳ Модель не найдена на диске.")
- print(f" Скачиваю «{MODEL_NAME}» с HuggingFace...")
- print(f" Это может занять несколько минут при первом запуске.\n")
- tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
- model = AutoModel.from_pretrained(MODEL_NAME)
- os.makedirs(local_path, exist_ok=True)
- tokenizer.save_pretrained(local_path)
- model.save_pretrained(local_path)
- print(f"✓ Модель сохранена в: {local_path}\n")
- # ══════════════════════════════════════════════
- # Эмбеддинги и сравнение текстов
- # ══════════════════════════════════════════════
- def get_embedding(text):
- inputs = tokenizer(text, return_tensors="pt",
- truncation=True, max_length=512)
- with torch.no_grad():
- outputs = model(**inputs)
- # Берём [CLS]-токен как представление всего текста
- return outputs.last_hidden_state[:, 0, :].squeeze()
- e1 = get_embedding("Кот сидит на коврике")
- e2 = get_embedding("Кошка лежит на полу")
- e3 = get_embedding("Акции Газпрома выросли на 5%")
- print(f"Кот/Кошка: {cosine_similarity(e1, e2, dim=0):.3f}")
- print(f"Кот/Акции: {cosine_similarity(e1, e3, dim=0):.3f}")
Advertisement
Add Comment
Please, Sign In to add comment