type
status
date
slug
summary
tags
category
icon
password
简述
1.RAGFlow:本地docker部署,用于构造知识库,提供交互入口(webUI)
2.Embedding模型:本地Ollama部署,用于作为嵌入式模型
3.LLM模型:ctyun.cn
准备
1.一台Linux服务器,推荐ubuntu24
CPU >= 4 cores
RAM >= 8 GB
Disk >= 500 GB
服务器IP,记为xxx.xxx.xxx.xxx
2.一个ctyun.cn账号
RAGFlow安装
1.安装Docker Engine并配置国内hub
2.安装RAGFlow
获取git(如果无法访问GitHub,可以寻找国内镜像域名替换github.com)
启动容器
访问RAGFlow的webUI,注册并登录
安装Ollama
1.一键安装
2.配置允许非本地访问
添加
重启服务
安装Embedding模型
1.一键安装
在RAGFlow的webUI添加Embedding模型
点击右上角头像->==模型提供商==->==Ollama==,添加参数
key | value |
模型类型 | embedding |
模型名称 | nomic-embed-text |
基础URL | |
最大token数 | 4096 |
在RAGFlow的webUI添加LLM模型
点击右上角头像->==模型提供商==->==Xinference==,添加参数
key | value |
模型类型 | chat |
模型UID | （huiju.ctyun.cn左边栏模型广场获取） |
基础URL | （huiju.ctyun.cn左边栏模型广场获取） |
API-key | （huiju.ctyun.cn左边栏服务接入获取） |
最大token数 | 4096 |
在RAGFlow的webUI配置默认模型
点击右上角头像->模型提供商->系统模型设置，聊天模型选择LLM模型，嵌入模型选择nomic-embed-text
在RAGFlow的webUI添加知识库
点击上边栏==知识库==->==创建知识库==
点击创建好的知识库->==数据集==->==新增文件==
点击==解析==(解析后知识库才能用)
在RAGFlow的webUI添加聊天机器人
点击上边栏==聊天==->==新增助理==(模型配置部分注意选择Xinference)
点击==新建聊天==
after,enjoy yourself
- Author:共倒金荷家万里
- URL:https://tangly1024.com/article/1ce40ef0-3786-80c7-814c-d4198bc9eb93
- Copyright:All articles in this blog, except for special statements, adopt BY-NC-SA agreement. Please indicate the source!
Relate Posts