当前位置：首页 > AI > 正文内容

LightRAG - 更快更廉价的GraphRAG

邻居的猫1个月前 (12-09)AI1093

检索增强生成（Retrieval-Augmented Generation, RAG）已经成为提高大型言语模型（LLMs）才能的重要办法之一，经过整合外部常识，明显改善了生成内容的质量和相关性。

RAG 的局限性

传统的 RAG 体系虽然体现优异，但其局限性也不容忽视：

数据结构扁平化
传统 RAG 体系往往依靠扁平化的数据结构，难以捕捉信息之间的杂乱联系。这种缺点导致生成的答案片段化，缺少上下文的一致性。
有限的上下文认识
体系在处理需求归纳多个数据点的杂乱问题时体现欠安，生成的答案缺少对数据间彼此相关的全面了解。

GraphRAG的局限性

GraphRAG 经过运用** 常识图谱** 对文本中的实体和联系进行结构化建模，然后能够捕捉信息间的杂乱相关。GraphRAG 首要在整个私有数据集上创立实体和联系的引证，随后选用自底向上的聚类办法，将数据层次化地安排为语义簇。
但是，当数据会集参加新的常识时，GraphRAG 有必要从头履行整个图构建流程。这种办法关于动态更新的数据集来说功率低下且本钱昂扬。

资源需求高：需求很多 API 调用（一般依靠贵重的模型如 GPT-4o）。
数据更新贵重：每次更新数据时，有必要重建整个图谱。

LightRAG的立异点

比较之下，LightRAG 的增量更新机制大大简化了流程。它经过简略的 联合操作（union operation），将新的图节点和边直接添加到现有图谱中。这种办法避免了重复构建图谱的昂扬开支，一起保证常识库实时更新，习惯动态数据需求。

LightRAG

LightRAG 的中心卖点在于 根据图的索引和双层检索结构。以下是对这两个要害功用的深化解析：

Graph-based Indexing

以下是 LightRAG 进行根据图索引的过程：

实体与联系（ER）提取
实体与联系提取由图中的 R(.) 表明。此过程保证从给定文档中首要提取简略的实体。例如，在上图的示例中，“蜜蜂”（bees）和“养蜂人”（beekeeper）是两个实体，它们经过“调查”（observe）联系相相关，即养蜂人调查蜜蜂。
运用 LLM 生成键值（KV）对
运用简略的 LLM 生成键值对。LLM 的剖析过程为实体或联系供给了扼要的阐明或解说。例如，在所选示例中，LLM 解说了“养蜂人”是谁。此过程在图中由 P(.) 表明。需求留意的是，此 LLM 不同于主 RAG 流程中运用的通用 LLM。
去重
鉴于文档内容与蜜蜂相关，实体“养蜂人”可能从多个文档或文本块中被屡次提取。因而，需求一个去重过程，仅保存一个具有相同含义的实体，丢掉其他重复项。此过程在图中由 D(.) 表明。

Dual-level Retrieval

对 RAG 体系的查询能够分为两种类型——详细的或笼统的。在相同的蜜蜂示例中，详细查询可能是：“一个蜂巢中能够有多少只蜂王？” 笼统查询可能是：“气候变化对蜜蜂有哪些影响？” 为了应对这种多样性，LightRAG 选用了两种检索办法：

低层检索：简略地提取准确的实体及其联系，如蜜蜂（bees）、调查（observe）和养蜂人（beekeepers）。
高层检索：经过运用 LLM，LightRAG 聚合信息并总结多个信息来历。