【AI】RAG 实践-Ollama+AnythingLLM 搭建本地知识库

---

---

¶写在前面 / 链接存档

• RAG 实践-Ollama+AnythingLLM 搭建本地知识库_ollama rerank-CSDN博客 基本内容都来自这篇

• Mintplex-Labs/anything-llm：内置RAG、AI代理等功能的一体化桌面和Docker AI应用程序。

• open-webui/open-webui：用户友好的 AI 界面（支持 Ollama、OpenAI API 等）

基本cv+后面拿到服务器的个人操作截图，侵删orz

¶RAG 实践-Ollama+AnythingLLM 搭建本地知识库

¶什么是RAG

检索增强生成（Retrieval-Augmented Generation），是一种先进的自然语言处理技术架构

• 它旨在克服传统大型语言模型（LLMs）在处理开放域问题时的信息容量限制和时效性不足
• RAG的核心机制融合了信息检索系统的精确性和语言模型的强大生成能力，为基于自然语言的任务提供了更为灵活和精准的解决方案

¶RAG与LLM的关系

• RAG不是对LLM的替代，而是对其能力的扩展与升级
  • 传统LLM受限于训练数据的边界，对于未见信息或快速变化的知识难以有效处理
  • RAG通过动态接入外部资源，使LLM得以即时访问和利用广泛且不断更新的知识库，进而提升模型在问答、对话、文本生成等任务中的表现
• 此外，RAG框架强调了模型的灵活性和适应性，允许开发者针对不同应用场景定制知识库，从而满足特定领域的需求

¶RAG的大致流程

• RAG就像是为大型语言模型（LLM）配备了一个即时查询的“超级知识库”
• 这个“外挂”不仅扩大了模型的知识覆盖范围，还提高了其回答特定领域问题的准确性和时效性

传统的LLM像是一个博学多才但记忆力有限的学者，它依赖于训练时吸收的信息来回答问题

而RAG，则是这位学者随时可以连线的庞大图书馆和实时资讯网络

当面临复杂或最新的查询时，RAG能让模型即时搜索并引用这些外部资源，就像学者翻阅最新的研究资料或在线数据库一样，从而提供更加精准、全面和最新的答案

这种设计尤其适用于需要高度专业化或快速更新信息的场景，比如医学咨询、法律意见、新闻摘要等

• 基于此，RAG 技术特别适合用来做个人或企业的本地知识库应用，利用现有知识库资料结合 LLM 的能力，针对特定领域知识的问题能够提供自然语言对话交互，且答案比单纯用 LLM 准确性要高得多

¶实践部分（教程内容）

用 Ollama + Qwen2.5 +AnythingLLM 实现本地知识库

¶下载和安装Ollama和基座大模型

• Ollama官方有 Windows、Mac、Linux版本

• 也可以选择使用Docker安装Ollama镜像

  • ollama/ollama - Docker Image | Docker Hub 之前找到的可以下载的Docker国内镜像站

  • 验证安装完成：

    ollama --version

• 拉取模型：

  ollama pull llama2

  ollama run llama3

  run 命令，它会在运行之前自动检查模型是否下载，如果没有会自动下载

• ∵搭建本地知识库以中文为主，所以需要对中文支持好的模型

  • Llama2-Chinese：基于Llama2微调。搜“Chinese”关键词就能找到。
  • Qwen 2：阿里的通义千问。一共有6个尺寸，默认是4b。所有尺寸的模型都支持32K的上下文长度。多语言支持。

• 选择Qwen 2.5：

  ollama run qwen2.5:7b

• 模型下载的默认路径是：/Users/${home}/.ollama/models

• run命令执行完就可以在命令行进行对话

¶Open WebUI

• open-webui/open-webui：用户友好的 AI 界面（支持 Ollama、OpenAI API 等）

以下安装步骤来自Open Web UI的github仓库的README.md

1. 安装 Open WebUI： 打开终端并运行以下命令以安装 Open WebUI：

pip install open-webui

2. 运行 Open WebUI： 安装后，您可以通过执行以下命令来启动 Open WebUI：

open-webui serve

3. 在 http://localhost:8080 访问本地启动的Open WebUI

• 还有Docker版本安装，但是目前的环境是Windows本地安装，所以暂时按下不表

¶AnythingLLM

• Mintplex-Labs/anything-llm：内置RAG、AI代理等功能的一体化桌面和Docker AI应用程序。

意外发现还有多模态支持hhhh

• 下载页面：

  • Download AnythingLLM for Desktop

• 使用过程：

  • 启动AnythingLLM后，还需要服务器模式启动Ollama

    ollama serve

  • 启动Ollama后，在Base URL中填：http://127.0.0.1:11434

  • 模型选择之前下载的Qwen2.5: 7b

  • Token context window 可以先用默认的 4096

¶自分の具体操作

• 因为服务器需要远程连接所以增加了一点难度

• ssh连接远程服务器

  • 这次只有2080还是2090了555，但是回答速度依然很快hhh，所以暂时没感觉有什么影响
  • 使用的工具是MobaXterm

• ollama安装

  • ubuntu安装只需要一行
  • 挺简单，等一会搞定
  • Download Ollama on Linux

  curl -fsSL https://ollama.com/install.sh | sh

• Open webUI

  pip install open-webui

  • 在pip之前先conda create了一个独立环境，因为这个过程要安装的包老多了

  conda create -n env_name python=3.11

  安装时候显示Open webUI指定的python版本是3.11.x，所以conda应该算是必需操作

  • 安装完成后启动Open webUI

  open-webui serve

  • 启动成功后显示

显示服务挂载到0.0.0.0:8080

但是远程连上的服务器没法开web端，只能考虑挂载到localhost主机

• 刚好之前部署的时候学会了ssh连接，这次也很丝滑的连上了

• 在web界面对话过程中，询问“who r u？”，然后看到命令行页面回显

• AnythingLLM

  • 下载：Download AnythingLLM for Desktop

  

• 安装文档界面：Linux Installation ~ AnythingLLM

• 安装脚本界面：anything-llm/linux_installer.sh at desktop · Mintplex-Labs/anything-llm
  • 因为是借用的服务器再加上要隔离好自己的工程，所以把安装脚本拷贝了一份，修改了OUTDIR到自己的目录下

#!/bin/sh
# This script installs AnythingLLMDesktop on Linux.
# Due to READ_ONLY issues on regular mounting of an AppImage
# we need to download the file then unpack it so it can be run.
set -eu

status() { echo ">>> $*" >&2; }
error() { echo "ERROR $*"; exit 1; }
warning() { echo "WARNING: $*"; }

[ "$(uname -s)" = "Linux" ] || error 'This script is intended to run on Linux only.'
if [ "$(id -u)" -eq 0 ]; then
    status "This script should not be run as root. Please run it as a regular user."
    exit 1
fi

APPIMAGE_URL="https://s3.us-west-1.amazonaws.com/public.useanything.com/latest/AnythingLLMDesktop.AppImage"
APPIMAGE_FILE="AnythingLLMDesktop.AppImage"
EXTRACTED_DIR="anythingllm-desktop"
OUTDIR="$HOME/AnythingLLMDesktop"

rm -rf $OUTDIR
mkdir -p $OUTDIR

status "Downloading latest AnythingLLM Desktop..."
curl --fail --show-error --location --progress-bar -o $OUTDIR/$APPIMAGE_FILE $APPIMAGE_URL

cd $OUTDIR
chmod +x $APPIMAGE_FILE;
status "Extracting..."
./$APPIMAGE_FILE --appimage-extract >/dev/null;
rm -rf $APPIMAGE_FILE
mv squashfs-root $EXTRACTED_DIR
ln -sf $EXTRACTED_DIR/AppRun start

status "AnythingLLMDesktop is ready to run with .$OUTDIR/start."
status "\e[36mHeads up!\e[0mYou can rerun this installer anytime to get the latest version of AnythingLLM without effecting your existing data."
status "Documentation: https://docs.useanything.com"
status "Issues: https://github.com/Mintplex-Labs/anything-llm"
status "\e[36mThanks for using AnythingLLM!\e[0m "

• 修改地方：OUTDIR="$HOME/AnythingLLMDesktop"，该到了自己的目录下

• 安装完成后的提示信息："AnythingLLMDesktop is ready to run with .$OUTDIR/start."

  • 显示启动脚本名为start
  • 启动AnythingLLM：./start
  • 有丶神奇：启动后MobaXterm会自己弹出来窗口
  • 一系列注册初始化操作后成功启动服务

  

• 后面还需要上传自己的知识库文件，经过Embedding之后形成向量库，但是由于我的文件太大了，需要的时间比较多，所以就还没有进行到那一步

• 后面再说。