akupriyanovhse

BERT Embedding

Apr 16th, 2026 (edited)
75
0
Never
Not a member of Pastebin yet? Sign Up, it unlocks many cool features!
Python 3.01 KB | None | 0 0
  1. import os
  2. import torch
  3. from transformers import AutoTokenizer, AutoModel
  4. from torch.nn.functional import cosine_similarity
  5.  
  6. # ══════════════════════════════════════════════
  7. # НАСТРОЙКИ
  8. # ══════════════════════════════════════════════
  9. # Раскомментируйте нужную модель (только одну!):
  10. MODEL_NAME = "cointegrated/rubert-tiny2"            # 120 МБ, быстрая, для CPU
  11. # MODEL_NAME = "bert-base-multilingual-cased"       # 700 МБ, 104 языка
  12. # MODEL_NAME = "DeepPavlov/rubert-base-cased"       # 700 МБ, точнее для русского
  13.  
  14. MODELS_DIR = "models"
  15.  
  16. # ══════════════════════════════════════════════
  17. # Загрузка модели: с диска или из интернета
  18. # ══════════════════════════════════════════════
  19. local_path = os.path.join(MODELS_DIR, MODEL_NAME.replace("/", "_"))
  20.  
  21. if os.path.exists(local_path):
  22.     print(f"✓ Модель найдена на диске: {local_path}")
  23.     tokenizer = AutoTokenizer.from_pretrained(local_path)
  24.     model = AutoModel.from_pretrained(local_path)
  25. else:
  26.     print(f"⏳ Модель не найдена на диске.")
  27.     print(f"   Скачиваю «{MODEL_NAME}» с HuggingFace...")
  28.     print(f"   Это может занять несколько минут при первом запуске.\n")
  29.     tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
  30.     model = AutoModel.from_pretrained(MODEL_NAME)
  31.     os.makedirs(local_path, exist_ok=True)
  32.     tokenizer.save_pretrained(local_path)
  33.     model.save_pretrained(local_path)
  34.     print(f"✓ Модель сохранена в: {local_path}\n")
  35.  
  36. # ══════════════════════════════════════════════
  37. # Эмбеддинги и сравнение текстов
  38. # ══════════════════════════════════════════════
  39. def get_embedding(text):
  40.     inputs = tokenizer(text, return_tensors="pt",
  41.                        truncation=True, max_length=512)
  42.     with torch.no_grad():
  43.         outputs = model(**inputs)
  44.     # Берём [CLS]-токен как представление всего текста
  45.     return outputs.last_hidden_state[:, 0, :].squeeze()
  46.  
  47. e1 = get_embedding("Кот сидит на коврике")
  48. e2 = get_embedding("Кошка лежит на полу")
  49. e3 = get_embedding("Акции Газпрома выросли на 5%")
  50.  
  51. print(f"Кот/Кошка:     {cosine_similarity(e1, e2, dim=0):.3f}")
  52. print(f"Кот/Акции:     {cosine_similarity(e1, e3, dim=0):.3f}")
Tags: bert
Advertisement
Add Comment
Please, Sign In to add comment