Not a member of Pastebin yet?
Sign Up,
it unlocks many cool features!
- import os
- import torch
- from transformers import AutoTokenizer, AutoModel
- from torch.nn.functional import cosine_similarity
- # ══════════════════════════════════════════════
- # НАСТРОЙКИ
- # ══════════════════════════════════════════════
- MODEL_NAME = "cointegrated/rubert-tiny2"
- MODELS_DIR = "models"
- # ══════════════════════════════════════════════
- # Загрузка модели
- # ══════════════════════════════════════════════
- local_path = os.path.join(MODELS_DIR, MODEL_NAME.replace("/", "_"))
- if os.path.exists(local_path):
- print(f"✓ Модель найдена на диске: {local_path}")
- tokenizer = AutoTokenizer.from_pretrained(local_path)
- model = AutoModel.from_pretrained(local_path)
- else:
- print(f"⏳ Скачиваю «{MODEL_NAME}»...")
- tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
- model = AutoModel.from_pretrained(MODEL_NAME)
- os.makedirs(local_path, exist_ok=True)
- tokenizer.save_pretrained(local_path)
- model.save_pretrained(local_path)
- print(f"✓ Модель сохранена в: {local_path}\n")
- # ══════════════════════════════════════════════
- # Функция получения эмбеддинга
- # ══════════════════════════════════════════════
- def get_embedding(text):
- inputs = tokenizer(text, return_tensors="pt",
- truncation=True, max_length=512)
- with torch.no_grad():
- outputs = model(**inputs)
- return outputs.last_hidden_state[:, 0, :].squeeze()
- # ══════════════════════════════════════════════
- # ФРЕЙМ-АНАЛИЗ
- # ══════════════════════════════════════════════
- # Определяем фреймы — каждый описан набором характерных фраз
- frames = {
- "угроза / безопасность": [
- "угроза национальной безопасности",
- "опасность для граждан",
- "защита от внешнего врага",
- "террористическая угроза",
- ],
- "экономическая выгода": [
- "экономический рост",
- "инвестиции и развитие",
- "рабочие места и доходы",
- "повышение благосостояния",
- ],
- "права человека": [
- "нарушение прав и свобод",
- "ущемление гражданских прав",
- "свобода слова и собраний",
- "защита прав меньшинств",
- ],
- "патриотизм / единство": [
- "национальное единство",
- "сплочение народа",
- "патриотический долг",
- "защита отечества",
- ],
- }
- # Считаем средний эмбеддинг для каждого фрейма
- frame_embeddings = {}
- for frame_name, phrases in frames.items():
- embs = [get_embedding(p) for p in phrases]
- frame_embeddings[frame_name] = torch.stack(embs).mean(dim=0)
- # ══════════════════════════════════════════════
- # Анализируемые заголовки / фрагменты
- # ══════════════════════════════════════════════
- texts = [
- "Новый закон ужесточает контроль на границе для предотвращения терактов",
- "Строительство моста создаст тысячи рабочих мест в регионе",
- "Протестующие требуют отмены закона, ограничивающего свободу собраний",
- "Президент призвал граждан сплотиться перед лицом внешних вызовов",
- "Правозащитники заявили о массовых задержаниях на митинге",
- "Проект увеличит ВВП региона на 3% в ближайшие два года",
- "Военные учения прошли у западных границ страны",
- "Активисты подали иск о нарушении конституционных свобод",
- ]
- # ══════════════════════════════════════════════
- # Определяем доминирующий фрейм для каждого текста
- # ══════════════════════════════════════════════
- print("═" * 70)
- print(f"{'ТЕКСТ':50s} {'ФРЕЙМ':>18s}")
- print("═" * 70)
- for t in texts:
- t_emb = get_embedding(t)
- scores = {}
- for frame_name, frame_emb in frame_embeddings.items():
- scores[frame_name] = cosine_similarity(
- t_emb, frame_emb, dim=0
- ).item()
- best_frame = max(scores, key=scores.get)
- best_score = scores[best_frame]
- print(f"{t[:48]:50s} → {best_frame} ({best_score:.0%})")
- # Детальный разбор одного текста
- print("\n" + "─" * 70)
- print("Детальный разбор: «" + texts[0][:45] + "...»\n")
- t_emb = get_embedding(texts[0])
- for frame_name, frame_emb in frame_embeddings.items():
- score = cosine_similarity(t_emb, frame_emb, dim=0).item()
- bar = "█" * int(score * 40)
- print(f" {frame_name:25s} {score:.3f} {bar}")
Advertisement
Add Comment
Please, Sign In to add comment