Not a member of Pastebin yet?
Sign Up,
it unlocks many cool features!
- import os
- import torch
- from transformers import AutoTokenizer, AutoModel
- from sklearn.cluster import KMeans
- from collections import Counter
- # ══════════════════════════════════════════════
- # НАСТРОЙКИ
- # ══════════════════════════════════════════════
- MODEL_NAME = "cointegrated/rubert-tiny2"
- MODELS_DIR = "models"
- NUM_CLUSTERS = 4 # сколько тем хотим найти
- # ══════════════════════════════════════════════
- # Загрузка модели
- # ══════════════════════════════════════════════
- local_path = os.path.join(MODELS_DIR, MODEL_NAME.replace("/", "_"))
- if os.path.exists(local_path):
- print(f"✓ Модель найдена на диске: {local_path}")
- tokenizer = AutoTokenizer.from_pretrained(local_path)
- model = AutoModel.from_pretrained(local_path)
- else:
- print(f"⏳ Скачиваю «{MODEL_NAME}»...")
- tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
- model = AutoModel.from_pretrained(MODEL_NAME)
- os.makedirs(local_path, exist_ok=True)
- tokenizer.save_pretrained(local_path)
- model.save_pretrained(local_path)
- print(f"✓ Модель сохранена в: {local_path}\n")
- def get_embedding(text):
- inputs = tokenizer(text, return_tensors="pt",
- truncation=True, max_length=512)
- with torch.no_grad():
- outputs = model(**inputs)
- return outputs.last_hidden_state[:, 0, :].squeeze()
- # ══════════════════════════════════════════════
- # Заголовки новостей (замените на свои)
- # ══════════════════════════════════════════════
- headlines = [
- # Спорт
- "Сборная России по хоккею обыграла Финляндию в овертайме",
- "ЦСКА выиграл Кубок России по футболу",
- "Медведева установила мировой рекорд в короткой программе",
- "Олимпийский комитет утвердил новые правила допуска спортсменов",
- # Экономика
- "Центробанк снизил ключевую ставку до 16 процентов",
- "Курс доллара упал ниже 90 рублей впервые за полгода",
- "Инфляция замедлилась до минимума с начала года",
- "Нефть подорожала на фоне решения ОПЕК сократить добычу",
- # Технологии
- "Яндекс представил новую версию нейросети для генерации текста",
- "Учёные разработали квантовый процессор на 1000 кубитов",
- "Роскосмос запустил спутник для мониторинга климата",
- "Искусственный интеллект научился диагностировать рак по снимкам",
- # Политика
- "Госдума приняла закон о регулировании социальных сетей",
- "Президент подписал указ о национальных целях развития",
- "МИД выступил с заявлением по ситуации на Ближнем Востоке",
- "Совет Федерации одобрил поправки в избирательное законодательство",
- ]
- # ══════════════════════════════════════════════
- # Получаем эмбеддинги всех заголовков
- # ══════════════════════════════════════════════
- print("Вычисляю эмбеддинги...")
- embeddings = torch.stack([get_embedding(h) for h in headlines]).numpy()
- # ══════════════════════════════════════════════
- # Кластеризация (KMeans)
- # ══════════════════════════════════════════════
- kmeans = KMeans(n_clusters=NUM_CLUSTERS, random_state=42, n_init=10)
- labels = kmeans.fit_predict(embeddings)
- # ══════════════════════════════════════════════
- # Результаты — заголовки сгруппированы по темам
- # ══════════════════════════════════════════════
- print(f"\nНайдено {NUM_CLUSTERS} тематических кластеров:\n")
- for cluster_id in range(NUM_CLUSTERS):
- cluster_headlines = [
- headlines[i] for i in range(len(headlines)) if labels[i] == cluster_id
- ]
- print(f"── Кластер {cluster_id + 1} ({len(cluster_headlines)} текстов) ──")
- for h in cluster_headlines:
- print(f" • {h}")
- print()
- # ══════════════════════════════════════════════
- # Проверка: к какому кластеру отнесёт новый текст?
- # ══════════════════════════════════════════════
- new_texts = [
- "Зенит проиграл Спартаку в матче чемпионата",
- "Минфин предложил повысить налог на прибыль",
- "В Сколково открыли лабораторию робототехники",
- ]
- print("═" * 60)
- print("Новые тексты → к какому кластеру ближе?\n")
- for t in new_texts:
- emb = get_embedding(t).numpy().reshape(1, -1)
- cluster = kmeans.predict(emb)[0]
- print(f" Кластер {cluster + 1} ← {t}")
Advertisement
Add Comment
Please, Sign In to add comment