3⃣️知识库创建

一、什么是知识库，为什么需要

二，为什么需要知识库

• 在GPT3.5 时代，LLM 的token 上下文只有4080，大概为中文的字符的1.5倍，也就说输入 1000 个汉字，为2000 tokens（何为token，参考这篇）

• 因此，LLM 能理解的内容大概就2000 字左右，对于长文本、复杂功能、上下文记忆，远远不够。所以需要一个新的工具：向量数据库

• 将用户输入的文本，分割、向量化、存入向量数据库，然后根据用户输入向量化，跟向量数据库中的数据相似度对比，获取最优文本，作为上下文，连同问题一起返回给 LLM ，这既是最原始基础的 RAG（检索增强技术）

三、什么是知识库

四、创建知识库

• 分段设置：
• 自动是官方已经默认配置好的，一般选这个就可以
• 自定义化：就要讲解一些概念
• 分段标识符： 是以什么字符为分段一般 \n(换行），或者你可以在自己文本中自定义
• 分段最大长度：这里dify 设置最高1000，你要考虑，多段文本+指令集+用户问题，是否会超过模型的 max_token，一般500合适
• 分段重叠长度：就是分段文本与上下文的冗余，这样能更好的衔接上下文，一般10～20%

• 索引方式：
• 也就是向量化，不同模型的向量化工具、词库不一致，所以最好使用原本模型的，或者高质量的向量化工具
• Q&A分段：将文本用LLM 推理成一问一答形式，多适用于短小、采访、多问题文本。

• 检索设置
• 向量检索：知识库会把用户问题跟知识库内容，进行相似度匹配，并且返回语义相似度最高的前几个文本返回

五，知识库相关功能介绍