准备工作

操作系统CentOS Stream 9 (x86)

cat /etc/os-release
NAME="CentOS Stream"
VERSION="9"
ID="centos"
ID_LIKE="rhel fedora"
VERSION_ID="9"
PLATFORM_ID="platform:el9"
PRETTY_NAME="CentOS Stream 9"
ANSI_COLOR="0;31"
LOGO="fedora-logo-icon"
CPE_NAME="cpe:/o:centos:centos:9"
HOME_URL="https://centos.org/"
BUG_REPORT_URL="https://issues.redhat.com/"
REDHAT_SUPPORT_PRODUCT="Red Hat Enterprise Linux 9"
REDHAT_SUPPORT_PRODUCT_VERSION="CentOS Stream"

已安装docker compose

Docker version 29.5.3, build d1c06ef 
Docker Compose version v5.1.4

AnythingLLM tag版本号为1.14.1
配置好vLLM，并且可以curl访问chat和embedding模型接口
配置好SearXNG，并且可以curl访问json接口

一、目录结构

anythingllm/

├── docker-compose.yml

└── storage/ (留空，需要777权限)

二、创建配置文件

mkdir -p -m 777 anythingllm/storage/ && cd anythingllm

cat > docker-compose.yml << 'EOF'
services:
  anythingllm:
    image: swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/mintplexlabs/anythingllm:1.14.1
    container_name: anythingllm
    ports:
      - "3001:3001"
    cap_add:
      - SYS_ADMIN
    environment:
      - TZ=Asia/Shanghai
      - STORAGE_DIR=/app/server/storage
      - JWT_SECRET=your_super_secret_key_here_1234567890
    volumes:
      - /etc/localtime:/etc/localtime:ro
      - ./storage:/app/server/storage
    restart: unless-stopped
EOF

三、启动AnythingLLM

docker compose up -d

正常启动后可以访问http://localhost:3001来访问后台管理web

四、配置web

1、配置模型供应商

首次访问会出现欢迎界面流程

LLM偏好选择LiteLLM

字段名	值	说明
Base URL	http://118.193.117.134:3000/v1	配置LiteLLM的网关地址
Chat Model Selection	qwen3-public	配置好url和api key后，会连接到网关查询可用模型列表，自行选择。如果没有出现模型列表，说明LiteLLM配置有问题，或者网络有问题。
Model context window	4096	模型最大上下文长度，不要太大，超过vLLM的配置阈值可能会报错
API Key	sk-mHz0miMx_QyR6xAhxVmSgw	根据之前的配置填写key

2、配置用户账户

将有多少用户使用此实例？根据实际使用来选择，我这里是选择只有我

你想要设置密码吗？选择否

3、测试chat

正常配置到目前可以正常对话了，可以在对话中进行QA

4、配置embedding模型

进入设置--->人工智能提供商--->嵌入器(Embedding)--->选择LiteLLM

字段名	值	说明
Base URL	http://118.193.117.134:3000/v1	同上网关地址
Embedding Model Selection	embedding-public	配置好url和api key后，会连接到网关查询可用模型列表，自行选择。如果没有出现模型列表，说明LiteLLM配置有问题，或者网络有问题。
Max embedding chunk length	4096	默认值
API Key	sk-mHz0miMx_QyR6xAhxVmSgw	根据之前的配置填写key

保存更改

5、配置联网搜索RAG

进入设置--->代理技能--->实时网络搜索和浏览--->打开开关实时网络搜索和浏览

--->选择SearXNG--->SearXNG API Base URL填写http://10.101.83.124:18080--->保存

6、配置日期变量

进入设置--->管理员--->Default System Prompt--->填写System Prompt：今天的日期时间是{datetime_24}

五、测试chat

提问：现在是什么时间，帮我搜索现在的新闻内容

正常会回答当前日期时间，以及目前的时政新闻。

当前时间是2026年6月27日。以下是最新新闻摘要：

福建新闻

福建省人民政府印发最新通知，《福建省牲畜屠宰管理条例》将于10月1日起施行。
“在中国式现代化建设中奋勇争先 奋力谱写新征程新福建建设新篇章”系列主题新闻发布会举行。
人民网福建频道推出“遇见福建之美”图片栏目，展示八闽精彩瞬间。
福州新闻

福州计划在2026年新增15公顷公园开放共享空间。
福州足球队客场1:0战胜漳州，实现闽超六连胜，进入争冠组。
福建发布暴雨警报，福州将迎来中雨、大雨、暴雨天气。
国内新闻

上海一名90岁老人取快递时被绊倒，股骨骨折两个月后去世。
一名13岁男孩失踪5天，救援人员一度失去信心，最终在母亲坚持下被找到。
一名8岁女孩在ICU抢救一天花费1万元。
国际新闻

巴基斯坦内政部长抵达德黑兰。
特朗普访华相关报道引发关注，首款载人变形机甲发布，引发对未来性能与应用的讨论。
经济与社会

5月末我国外汇储备升至34422亿美元。
全国麦收进度接近六成，夏收工作正在稳步推进。
如需更详细内容，可访问相关网站或提供具体新闻类别，我将为您进一步整理！

AnythingLLM部署手册