自有数据辅助的大语言模型问答精度改进
系列文章大模型在自动驾驶领域的应用(上:可能性)语言大模型的本地部署.lite自有数据辅助的大语言模型问答精度改进大模型在自动驾驶领域的应用(下:可行性).tbd 工具选择这篇文章最初是在一年前我构思的,目的在于通过引用外部数据源,改善LLM回答的精确性,减少“幻觉”。但自己一直没有推动 一年后的今天,我觉得该自用的RAG系统做个了解,才惊觉这个技术已经有了长足的发展:Dify、AnythingLLM、Langflow等已经超脱了LangChain [1] 、LlamaIndex 等基础设施的范畴 [2] ,可以直接为终端用户提供开箱可用的方案。 君子性非异也,善假于物也。作为非专业研究者,我是时候放下执念,从善如流了。通过比较,我最终选择了 RAGFlow . 相比于其它解决方案,RAGFlow对我的吸引力主要来自于如下: 🍔 兼容各类异构数据源 支持件类型丰富文,包括 Word 文档、PPT、excel 表格、txt 文件、图片、PDF、影印件、复印件、结构化数据、网页等。 🛀 全程无忧、自动化的 RAG 工作流 全面优化的 RAG 工作流可以支持从个人应用乃至超大型企业的各类生态系统。 大语言模型 LLM...
填坑:(neo)vim中自动切换中文输入法
1. 工作动机用(neo)vim编辑中文有个特别蛋疼的地方:(neo)vim的模式切换只支持英语,那么在用中文进行文档编辑时,我们往往要先从中文输入法切换为英语输入法;更让人抓狂的是,我们在心流状态下编辑时往往忘了——结果手忙脚乱地把输入法切换一通,这让原本沉浸式写作状态非常别扭。 今天终于忍无可忍了,于是找到了下面的解决方案。 2. 解决方案 如何让 Neovim 中文输入时自动切换输入法 –> im-select.nvim. 选择该方案是因为该插件是用lua语言编写的。 终于把“vim中文编辑时的输入法自动切换”这个坑给填平了。
一款流畅的、用于重构代码的neovim插件:ChatGPT.nvim
ChatGPT试用体验Copilot 就不多说了,它是微软的代码生成工具,擅长的是“无中生有”——属于建构。 而今天无意中发现了一款 neovim 插件ChatGPT.nvim。同 Copilot 不同的是,ChatGPT.nvim 更侧重于重构:可以重构代码,也可以重构自然语言书写的文本。 下面是 Youtube 是该插件用于重构代码的演示视频: % youtuber video dWe01EV0q3Q %% endyoutuber % 从视频中可见,ChatGPT.nvim 充分利用 vim 编辑器的无键盘操作理念,整个过程非常流畅,个人认为比 Obsidian 中的 AIGC 工具更加……能让人保持心流状态。😎 备忘一下,日后再说。 nvim备选AI插件按照“从高到低”的硬核程度排序: ⚡ Neural 🤖 ai.vim NeoAI 🧠 llm.nvim
通过Nginx实现不同前缀的三级域名指向不同网站服务器
实际难题最近我有一个新的需求:通过同一台云服务器提供在线PPT浏览服务。我不想将这个online slide的文件直接上传到原来的博客网站的文件根目录:因为online slide和blog分别是由不同的团队负责,每次blog内容上传都会把online slide的文件清空。那么,将online slide和blog的文件夹在磁盘上进行物理隔离就是一个自然而然的解决办法——此时它俩的根文件夹将作为不同server的root。真实烦恼~ 此时,我的问题就变成了:如何通过配置Nginx,实现不同前缀的三级域名指向不同网站服务器? 解决方案依次完成如下三个步骤: 在阿里云的域名解析中,为一级域名papers.fun申请二级域名slide.papers.fun. 参考《🔥二级域名的创建、配置和解析,买一个域名,有无限个域名可以使用的方案》 为二级域名slide.papers.fun申请SSL(免费版是单域名证书). 参考《数字证书管理服务(原SSL证书)》 在Nginx的配置文件nginx.conf为二级域名slide.papers.fun配置SSL证书....
Mathematica脚本:批量重命名图床图片
需要为博客上传一些图片到图床。为了便于日后在图床中管理图片文件,我对图床中图片的文件名一般命名为 博客title-原先文件名. 那么就用我最趁手的工具Mathematica 来搞事情吧~ 😎 123456789101112(* 设置当前工作文件夹 *)SetDirectory["D:\\Downloads\\撰写ppt的流程与方法 - 副本"];(* 列出待重命名的文件命 *)oldFileNames = FileNames[];(* 构造新文件名 *)newFileNames = Map[StringJoin[制, #] &, fileNames];(* 文件重命名 *)MapThread[RenameFile, {oldFileNames, newFileNames}] 上述代码中的”利用 AIGC 工具辅助撰写 ppt 的流程与方法要点-“指向的就是篇博客文章:《利用 AIGC 工具辅助撰写 ppt 的流程与方法要点》. 完!此贴就是为了水,凑工作量的~ 哈哈哈哈哈哈
利用AIGC辅助撰写ppt的流程与方法.tbd
研究动机懒。 但“懒”是科技发展的原始动力。 所以说懒没啥丢人的。 实验设计工作目标: 以“撰写ppt的流程与方法”为题,命令AIGC制作ppt 制成ppt为网页版,方便阅读 将AIGC制作ppt的经验,提炼出prompt 材料与工具: 网页版ppt的制作工具:nodeppt 语言大模型工具:Private ChatGPT 提示词prompt制作工具:LangGPT 验过程法1:利用Agent直接生成这种方法是直接对基于Agent和LLM模型,围绕“撰写ppt的流程与方法”的目标,自动进行任务规划。利用这种方式得到的最终ppt,转换成图片之后如下: [{"url":"https://vip2.loli.io/2023/06/26/Q6Am7tE1IeiFuUV.png","alt":"利用 AIGC 工具辅助撰写 ppt 的流程与方法要点-1.png"},{"url":"https://vip2.loli.io/2023/06/26/qXM1puDBlTN2doP.png","alt":"利用 AIGC 工具辅助撰写 ppt...
🤖 机器人学术动态、技术资源整合
...
🛠️ 个人科研工具的开发、整合
...
你的团队在发现问题,还是解决问题?
原文链接:《你的团队在发现问题,还是解决问题?》, 部分文字有调整。 1....
语言大模型的本地部署.lite
1. 系列文章大模型在自动驾驶领域的应用(上:可能性)语言大模型的本地部署.lite自有数据辅助的大语言模型问答精度改进大模型在自动驾驶领域的应用(下:可行性).tbd 2. 项目背景本文尝试在本机部署私有大语言模型。评论系统用于收集“本地部署大模型”的散装资料。 私有语言大模型的本地部署是比较紧迫的工作——因为另一个云主机的OSINT资料膨胀地很快,却缺乏高效的数据清洗的手段。而LLM可以提供一个比较便捷的方式进行非结构化数据的整理、规范。本文工作及后续任务包括以下几项: 【本文】在本地部署私有语言大模型(Large Language Models); 【本地】LangChain的数据摄入(将OSINT数据供给本地私有LLM); 【云端】OSINT的prompt engineering,这是定制化比较高的工作; 【可视化】在自己Github的Codespaces中安装JupyterLab 4.1: 注:可视化面板用于汇聚本地数据和云端OSINT,以定制化数据面板给合伙人远程试用。 上述几项工作的排程: flowchart TB 1("1.locally deploy private LLM for: ...