ubuntu部署ragflow最新版并接入本地Gemma3:27B

前言：硬件环境

RTX3090显卡24G显存

DDR5 64G内存

2T 7200MSSD

ragflow版本0.17.2

gemma3:27B

bge-m3:lastest

一、系统准备，如果已安装就跳过

# 更新系统
sudo apt update && sudo apt upgrade -y

# 安装基础依赖
sudo apt install -y python3-pip git curl wget build-essential

# 安装NVIDIA驱动和CUDA（若使用GPU）
# 访问 https://developer.nvidia.com/cuda-downloads 获取安装命令
# 例如：
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-ubuntu2404.pin
sudo mv cuda-ubuntu2404.pin /etc/apt/preferences.d/cuda-repository-pin-600
sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/3bf863cc.pub
sudo add-apt-repository "deb https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/ /"
sudo apt-get update
sudo apt-get -y install cuda

# 安装PyTorch（根据CUDA版本选择）
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

二、使用docker配置

cd /data
sudo git clone https://gitee.com/da_xu/ragflow.git
cd ragflow/docker
#切换到需要的版本，ragflow提供了多个版本，大小如下图
git checkout -f v0.17.2

#通过docker-compose.yml启动，
docker compose -f docker-compose.yml up -d

默认启动是的v0.17.2-slim，可以通过修改.env里的文件

如图：把后面的-slim去掉，就是满血版，满血嵌入一些大模型，如官方图

#打开 env文件
sudo vim .env
#停止服务
docker compose -f docker-compose.yml down -v
#启动
docker compose -f docker-compose.yml up -d

这里要拉多个镜像如mysql /es01/redis以及ragflow，保证网络较好，不然可能拉不成功。下面我提供一些可用的国内镜像地址供参考使用。不清楚怎么修改可以留言，修改后记得重启docker。

{
    "registry-mirrors": [
    "https://hub-mirror.c.163.com",
    "https://docker.mirrors.ustc.edu.cn",
    "https://yivojnoa.mirror.aliyuncs.com",
        "https://f1361082.m.daocloud.io",
        "https://mirror.baidubce.com",
        "https://docker.nju.edu.cn",
            "https://do.nark.eu.org",
        "https://dc.j8.work",
        "https://docker.m.daocloud.io",
        "https://dockerproxy.com",
        "https://docker.mirrors.ustc.edu.cn",
        "https://docker.nju.edu.cn"
    ]
}

因为我已部署了dify，80和443端口都被dify占用了，所以我把ragflow的默认端口修改为81和444，修改方式如下：

cd /data/ragflow/docker
#如下图
sudo vim docker-compose.yml
#再重新运行
docker compose -f docker-compose.yml up -d
#查看运行日志
docker logs -f ragflow-server

通过浏览器输入：http://localhost,我的已修改为81，所以是http://localhost:81,然后注册用户，登录进去就可以耍起来了。

四、使用ragflow

1、接入gemma3:27b

如图，点击模型供应商，在下面找到ollama，ollama部署gemma3和deepseek在之前的文章都有介绍。查看模型名称，填入如图的框中。

ollama list
NAME               ID              SIZE      MODIFIED
deepseek-r1:14b    ea35dfe18182    9.0 GB    
gemma3:27b         30ddded7fba6    17 GB     
bge-m3:latest      790764642607    1.2 GB    

基础url填写ollama的访问地址，这里不要使用localhost:11434，应使用ip，你首先应该在浏览器尝试一下使用ip:11434能不能打开，如果不能打开，还需要配置一下ollama的环境变量，可以参考下面的访问

ubuntu24安装docker部署dify接入ollama deepseekr1:14b

2、配置嵌入模型bge-m3

操作与上面相同

3、设置系统模型，不然在新建聊天助理的时候会一直提示：请在模型供应商中添加嵌入模型和LLM，然后在“系统模型设置”中设置它们。

完成一下设置即可。

4、新建聊天助理

聊天--》新建助理-助理设置--提示引擎---》模型设置

助理设置 是基础的设置，不知道怎么设置默认即可。

提示引擎，这里的系统提示词关键，我要建一个旅游助手，我填写了如下的提示词，这里不如dify好用，dify可以根据指令帮助生成提示词，而这里要手敲，不过你也可以通过deepseek去生成，方法很多。

最后一步模型设置，设置刚才填写的gemma3:27b即可。

5、接下来就可以聊天了，很顺利，以后再进行优化。

以上就是全部过程，整个过程还是很丝滑的。

欢迎留言交流 关注 点赞，创作不易。