Not a member of Pastebin yet?
Sign Up,
it unlocks many cool features!
- from langchain_gigachat import GigaChatEmbeddings
- from langchain_community.document_loaders import TextLoader
- from langchain_community.vectorstores import FAISS
- from langchain.text_splitter import RecursiveCharacterTextSplitter
- from my_config import ClientSecret
- import os
- import shutil
- # Константы
- FAISS_DIR = "faiss_index"
- BOOK_FILE = "master_i_margarita.txt"
- print("🚀 Создаем FAISS индекс...")
- # Удаляем старый индекс, если есть
- if os.path.exists(FAISS_DIR):
- print(f"🗑️ Удаляем старый индекс")
- shutil.rmtree(FAISS_DIR)
- # 1. ЗАГРУЗКА
- print(f"📖 Загружаем файл: {BOOK_FILE}")
- loader = TextLoader(BOOK_FILE, encoding='utf-8')
- documents = loader.load()
- # 2. РАЗБИЕНИЕ
- print("✂️ Разбиваем на фрагменты...")
- splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200)
- chunks = splitter.split_documents(documents)
- print(f"✅ Получено {len(chunks)} фрагментов")
- # 3. ЭМБЕДДИНГИ
- print("🔌 Подключаемся к GigaChat Embeddings...")
- embeddings = GigaChatEmbeddings(
- credentials=ClientSecret,
- verify_ssl_certs=False,
- )
- # 4. СОЗДАНИЕ FAISS (СРАЗУ СОХРАНЯЕТСЯ!)
- print("💾 Создаем FAISS индекс...")
- db = FAISS.from_documents(chunks, embeddings)
- # 5. СОХРАНЯЕМ
- db.save_local(FAISS_DIR)
- print(f"✅ FAISS индекс сохранен в {FAISS_DIR}")
- # 6. ПРОВЕРКА
- if os.path.exists(FAISS_DIR):
- print(f"\n✅ Папка {FAISS_DIR} создана!")
- files = os.listdir(FAISS_DIR)
- print(f"📋 Файлы ({len(files)}):")
- for f in files:
- size = os.path.getsize(os.path.join(FAISS_DIR, f)) / 1024
- print(f" 📄 {f}: {size:.1f} KB")
- # Пробуем загрузить обратно с параметром безопасности
- print("\n🔄 Пробуем загрузить индекс...")
- db2 = FAISS.load_local(
- FAISS_DIR,
- embeddings,
- allow_dangerous_deserialization=True # Добавьте этот параметр
- )
- print(f"✅ Загружено {len(db2.docstore._dict)} документов")
- # Дополнительная проверка
- print(f"📊 Размер индекса: {db2.index.ntotal} векторов")
- else:
- print(f"❌ Папка {FAISS_DIR} НЕ создана!")
Advertisement
Add Comment
Please, Sign In to add comment