自有数据辅助的大语言模型问答精度改进

系列文章

基于自有数据private上下文的大语言模型问答精度改进-你看见的黑是我眼中的白.jpg

工具选择

这篇文章最初是在一年前我构思的，目的在于通过引用外部数据源，改善LLM回答的精确性，减少“幻觉”。但自己一直没有推动

一年后的今天，我觉得该自用的RAG系统做个了解，才惊觉这个技术已经有了长足的发展：Dify、AnythingLLM、Langflow等已经超脱了LangChain ^[1] 、LlamaIndex 等基础设施的范畴 ^[2] ，可以直接为终端用户提供开箱可用的方案。

君子性非异也，善假于物也。作为非专业研究者，我是时候放下执念，从善如流了。通过比较，我最终选择了 RAGFlow . 相比于其它解决方案，RAGFlow对我的吸引力主要来自于如下：

🍔 兼容各类异构数据源

支持件类型丰富文，包括 Word 文档、PPT、excel 表格、txt 文件、图片、PDF、影印件、复印件、结构化数据、网页等。
🛀 全程无忧、自动化的 RAG 工作流
- 全面优化的 RAG 工作流可以支持从个人应用乃至超大型企业的各类生态系统。
- 大语言模型 LLM 以及向量模型均支持配置。
- 基于多路召回、融合重排序。
- 提供易用的 API，可以轻松集成到各类企业系统。

此外，它还能对外提供API接口，以方便我们将RAGFlow的知识外挂能提集成到其它应用。

引入私人数据的个性化大模型参数微调lora-韩立自费炼制筑基丹境界突进.jpeg

安装方法

🎬 快速开始
在PowerShell中打开Windows操作系统的虚拟化功能 Hyper-v(使用 PowerShell 启用 Hyper-V):
Enable-WindowsOptionalFeature -Online -FeatureName Microsoft-Hyper-V -All
解决端口问题：【已解决】bind: An attempt was made to access a socket in a way forbidden by its access permissions.

Graph Agent: Search Introduction

在知识库的基础上，我进一步集成了websearch获得的信息。其中，我为输出端定制的提示词可以方便的给出引文，此处备案一下：

Role: You are an intelligent assistant. 
Task: Chat with user. Answer the question based on the provided content from: Knowledge Base, Wikipedia, Duckduckgo, Bing and Google.
Requirements:
  - Answer should be in markdown format.
  - Answer should include all sources(Knowledge Base, Wikipedia, Duckduckgo, Bing, Google) as long as they are relevant, and {{label the sources of the cited content separately}}, {{in the formart such as `[webpage title of raw materila](URL)` }}.
  - Attach URL links to the content which is quoted from Wikipedia, DuckDuckGo, Bing or Google, {{in the formart such as `[webpage title of raw materila](URL)` }}.
  - Do not make thing up when there's no relevant information to user's question. 
  - In the end of answer, all the references should be listed vertically.

Keyword: {keywords}

## Knowledge base content
 {kb_input}

## Wikipedia content
{wikipedia}

## Duckduckgo content
{duckduckgo}

## Bing content
{bing}

## Google content
{google}