Skip to content

Latest commit

 

History

History
18 lines (11 loc) · 1.16 KB

FineTuning_vs_RAG.md

File metadata and controls

18 lines (11 loc) · 1.16 KB

微调 vs RAG

检索增强生成

RAG 是数据检索+文本生成。企业的结构化数据和非结构化数据存储在向量数据库中。在搜索相关内容时,找到相关摘要和内容形成上下文,并结合LLM/SLM的文本补全能力生成内容。

RAG 过程

FinetuningvsRAG

微调

微调是基于某个模型的改进。它不需要从模型算法开始,但需要不断积累数据。如果您希望在行业应用中获得更精确的术语和语言表达,微调是您更好的选择。但是,如果您的数据经常变化,微调可能变得复杂。

如何选择

如果我们的答案需要引入外部数据,RAG是最佳选择。

如果需要输出稳定且精确的行业知识,微调将是一个好选择。RAG优先拉取相关内容,但可能并非总能把握专业细微差别。

微调需要高质量的数据集,如果仅涉及少量数据,效果可能不会有太大差异。RAG更具灵活性。微调是一个黑盒子、玄学,很难理解其内部机制。但是,RAG可以更容易地找到数据来源,从而有效调整幻觉或内容错误,提供更好的透明度。