akupriyanovhse

Эмбеддинг FAISS

Mar 3rd, 2026
83
0
Never
Not a member of Pastebin yet? Sign Up, it unlocks many cool features!
text 2.46 KB | None | 0 0
  1. from langchain_gigachat import GigaChatEmbeddings
  2. from langchain_community.document_loaders import TextLoader
  3. from langchain_community.vectorstores import FAISS
  4. from langchain.text_splitter import RecursiveCharacterTextSplitter
  5. from my_config import ClientSecret
  6. import os
  7. import shutil
  8.  
  9. # Константы
  10. FAISS_DIR = "faiss_index"
  11. BOOK_FILE = "master_i_margarita.txt"
  12.  
  13. print("🚀 Создаем FAISS индекс...")
  14.  
  15. # Удаляем старый индекс, если есть
  16. if os.path.exists(FAISS_DIR):
  17. print(f"🗑️ Удаляем старый индекс")
  18. shutil.rmtree(FAISS_DIR)
  19.  
  20. # 1. ЗАГРУЗКА
  21. print(f"📖 Загружаем файл: {BOOK_FILE}")
  22. loader = TextLoader(BOOK_FILE, encoding='utf-8')
  23. documents = loader.load()
  24.  
  25. # 2. РАЗБИЕНИЕ
  26. print("✂️ Разбиваем на фрагменты...")
  27. splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200)
  28. chunks = splitter.split_documents(documents)
  29. print(f"✅ Получено {len(chunks)} фрагментов")
  30.  
  31. # 3. ЭМБЕДДИНГИ
  32. print("🔌 Подключаемся к GigaChat Embeddings...")
  33. embeddings = GigaChatEmbeddings(
  34. credentials=ClientSecret,
  35. verify_ssl_certs=False,
  36. )
  37.  
  38. # 4. СОЗДАНИЕ FAISS (СРАЗУ СОХРАНЯЕТСЯ!)
  39. print("💾 Создаем FAISS индекс...")
  40. db = FAISS.from_documents(chunks, embeddings)
  41.  
  42. # 5. СОХРАНЯЕМ
  43. db.save_local(FAISS_DIR)
  44. print(f"✅ FAISS индекс сохранен в {FAISS_DIR}")
  45.  
  46. # 6. ПРОВЕРКА
  47. if os.path.exists(FAISS_DIR):
  48. print(f"\n✅ Папка {FAISS_DIR} создана!")
  49. files = os.listdir(FAISS_DIR)
  50. print(f"📋 Файлы ({len(files)}):")
  51. for f in files:
  52. size = os.path.getsize(os.path.join(FAISS_DIR, f)) / 1024
  53. print(f" 📄 {f}: {size:.1f} KB")
  54.  
  55. # Пробуем загрузить обратно с параметром безопасности
  56. print("\n🔄 Пробуем загрузить индекс...")
  57. db2 = FAISS.load_local(
  58. FAISS_DIR,
  59. embeddings,
  60. allow_dangerous_deserialization=True # Добавьте этот параметр
  61. )
  62. print(f"✅ Загружено {len(db2.docstore._dict)} документов")
  63.  
  64. # Дополнительная проверка
  65. print(f"📊 Размер индекса: {db2.index.ntotal} векторов")
  66. else:
  67. print(f"❌ Папка {FAISS_DIR} НЕ создана!")
Advertisement
Add Comment
Please, Sign In to add comment