akupriyanovhse

BERT Кластеризация

Apr 17th, 2026
110
0
Never
Not a member of Pastebin yet? Sign Up, it unlocks many cool features!
Python 6.56 KB | None | 0 0
  1. import os
  2. import torch
  3. from transformers import AutoTokenizer, AutoModel
  4. from sklearn.cluster import KMeans
  5. from collections import Counter
  6.  
  7. # ══════════════════════════════════════════════
  8. # НАСТРОЙКИ
  9. # ══════════════════════════════════════════════
  10. MODEL_NAME = "cointegrated/rubert-tiny2"
  11. MODELS_DIR = "models"
  12. NUM_CLUSTERS = 4  # сколько тем хотим найти
  13.  
  14. # ══════════════════════════════════════════════
  15. # Загрузка модели
  16. # ══════════════════════════════════════════════
  17. local_path = os.path.join(MODELS_DIR, MODEL_NAME.replace("/", "_"))
  18.  
  19. if os.path.exists(local_path):
  20.     print(f"✓ Модель найдена на диске: {local_path}")
  21.     tokenizer = AutoTokenizer.from_pretrained(local_path)
  22.     model = AutoModel.from_pretrained(local_path)
  23. else:
  24.     print(f"⏳ Скачиваю «{MODEL_NAME}»...")
  25.     tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
  26.     model = AutoModel.from_pretrained(MODEL_NAME)
  27.     os.makedirs(local_path, exist_ok=True)
  28.     tokenizer.save_pretrained(local_path)
  29.     model.save_pretrained(local_path)
  30.     print(f"✓ Модель сохранена в: {local_path}\n")
  31.  
  32.  
  33. def get_embedding(text):
  34.     inputs = tokenizer(text, return_tensors="pt",
  35.                        truncation=True, max_length=512)
  36.     with torch.no_grad():
  37.         outputs = model(**inputs)
  38.     return outputs.last_hidden_state[:, 0, :].squeeze()
  39.  
  40. # ══════════════════════════════════════════════
  41. # Заголовки новостей (замените на свои)
  42. # ══════════════════════════════════════════════
  43. headlines = [
  44.     # Спорт
  45.     "Сборная России по хоккею обыграла Финляндию в овертайме",
  46.     "ЦСКА выиграл Кубок России по футболу",
  47.     "Медведева установила мировой рекорд в короткой программе",
  48.     "Олимпийский комитет утвердил новые правила допуска спортсменов",
  49.  
  50.     # Экономика
  51.     "Центробанк снизил ключевую ставку до 16 процентов",
  52.     "Курс доллара упал ниже 90 рублей впервые за полгода",
  53.     "Инфляция замедлилась до минимума с начала года",
  54.     "Нефть подорожала на фоне решения ОПЕК сократить добычу",
  55.  
  56.     # Технологии
  57.     "Яндекс представил новую версию нейросети для генерации текста",
  58.     "Учёные разработали квантовый процессор на 1000 кубитов",
  59.     "Роскосмос запустил спутник для мониторинга климата",
  60.     "Искусственный интеллект научился диагностировать рак по снимкам",
  61.  
  62.     # Политика
  63.     "Госдума приняла закон о регулировании социальных сетей",
  64.     "Президент подписал указ о национальных целях развития",
  65.     "МИД выступил с заявлением по ситуации на Ближнем Востоке",
  66.     "Совет Федерации одобрил поправки в избирательное законодательство",
  67. ]
  68.  
  69. # ══════════════════════════════════════════════
  70. # Получаем эмбеддинги всех заголовков
  71. # ══════════════════════════════════════════════
  72. print("Вычисляю эмбеддинги...")
  73. embeddings = torch.stack([get_embedding(h) for h in headlines]).numpy()
  74.  
  75. # ══════════════════════════════════════════════
  76. # Кластеризация (KMeans)
  77. # ══════════════════════════════════════════════
  78. kmeans = KMeans(n_clusters=NUM_CLUSTERS, random_state=42, n_init=10)
  79. labels = kmeans.fit_predict(embeddings)
  80.  
  81. # ══════════════════════════════════════════════
  82. # Результаты — заголовки сгруппированы по темам
  83. # ══════════════════════════════════════════════
  84. print(f"\nНайдено {NUM_CLUSTERS} тематических кластеров:\n")
  85.  
  86. for cluster_id in range(NUM_CLUSTERS):
  87.     cluster_headlines = [
  88.         headlines[i] for i in range(len(headlines)) if labels[i] == cluster_id
  89.     ]
  90.     print(f"── Кластер {cluster_id + 1} ({len(cluster_headlines)} текстов) ──")
  91.     for h in cluster_headlines:
  92.         print(f"   • {h}")
  93.     print()
  94.  
  95. # ══════════════════════════════════════════════
  96. # Проверка: к какому кластеру отнесёт новый текст?
  97. # ══════════════════════════════════════════════
  98. new_texts = [
  99.     "Зенит проиграл Спартаку в матче чемпионата",
  100.     "Минфин предложил повысить налог на прибыль",
  101.     "В Сколково открыли лабораторию робототехники",
  102. ]
  103.  
  104. print("═" * 60)
  105. print("Новые тексты → к какому кластеру ближе?\n")
  106.  
  107. for t in new_texts:
  108.     emb = get_embedding(t).numpy().reshape(1, -1)
  109.     cluster = kmeans.predict(emb)[0]
  110.     print(f"  Кластер {cluster + 1}  ←  {t}")
Tags: bert
Advertisement
Add Comment
Please, Sign In to add comment