AnythingLLM

最近折腾开源 AI 圈，发现 AnythingLLM 真是一个让人眼前一亮的宝藏工具，它彻底打破了那种必须敲代码才能拥有私有知识库的刻板印象。这软件最大的爽点在于它的“纯粹”：下载一个 exe 或 dmg 双击就能跑，没有复杂的终端配置，更不需要注册什么账号、验证邮箱或者绑定信用卡，你的模型、文档和聊天记录全都稳稳地留在本地硬盘里，数据隐私安全感拉满。对于像我这样既想利用大模型能力整理文献笔记，又担心把核心资料上传到云端被“幻觉”带偏的用户来说，它简直是救星。你可以轻松拖拽 PDF 进去，配合本地 Ollama 或者云端模型，瞬间就能搭建起一个只认自家文件的智能问答系统，再也不用忍受 AI 一本正经地胡说八道了。

不过用着用着你会发现，工具虽好，细节才是魔鬼。比如刚上手时如果连不上 Ollama，多半是防火墙在搞鬼；要是发现上传的文档 AI 读不懂，那大概率是你没注意它只能访问当前工作区的文件，跨区提问可是会翻车的。还有那个中文检索效果，如果不特意拉取 bge-m3 这种嵌入模型，体验真的会大打折扣。最近 v1.16.0 版本更新了不少好东西，像文件夹拖拽上传更智能了，甚至能直接生成图像和实时朗读长文本，连停止生成都能彻底打断推理过程，不再浪费算力。虽然它不是那种花里胡哨的界面党，但胜在实在、透明且高度可控，特别适合那些想要真正掌握自己数据主权，又不想被技术门槛劝退的极客和普通用户去深度折腾一下。

软件特色

1、一键安装

下载一个文件，双击完成。没有终端，没有包管理器，没有配置。

2、默认为本地

你的模型、文档和聊天记录都会留在你的电脑上。没有什么能打电话回家。

3、不需要账号

打开应用开始工作。没有注册，没有邮件验证，没有信用卡。

4、跨平台

原生版本适用于macOS（Apple Silicon + Intel）、Windows（x64 + ARM）和Linux。

AnythingLLM使用教程

1、安装并打开软件，在主界面点击左下角扳手图标，进入设置页面。

2、依次找到并选择「人工智能提供商」-「LLM首选项」，随后选定Ollama，再搭配选择DeepSeek-R1模型。

3、输入个人邮箱地址，选择个人使用类型，点击下一步继续配置。

4、自定义填写工作区名称，确认后点击下一步完成基础创建。

5、进入软件主界面，可进行基础模型对话测试，验证模型是否正常运行。

6、如需切换中文界面，再次进入设置页面，将语言选项设置为Chinese即可。

AnythingLLM文件夹介绍

1、lancedb

这里是你本地矢量数据库及其表存储的地方。

2、documents

这是上传文件解析后的文档内容。

3、vector-cache

该文件夹是之前上传和嵌入文件的缓存和嵌入表示。其文件名是哈希处理的。

4、models

系统使用的任何本地存储的大型语言模型或嵌入模型都存储在这里。通常是GGUF文件。

5、anythingllm.db

这是AnythingLLM SQLite数据库。

6、plugins

这是存放你定制代理技能的文件夹。

7、direct-uploads

这是存放文件拖拽到 AnythingLLM 桌面聊天窗口的文件夹。这是为了在聊天窗口中全文插入文件。

8、logs

这是存放 AnythingLLM 桌面日志的文件夹。

常见报错解决

1、无法连接Ollama

确认Ollama程序正在运行；地址填写http://localhost:11434，关闭防火墙拦截。

2、上传文档后 AI 读不到内容

检查文档是否成功Processed；确认嵌入模型正常加载；不要跨工作区提问(AI 只能访问当前 workspace 文档)。

3、中文检索效果差

嵌入模型优先使用bge-m3，终端执行ollama pull bge-m3。

更新日志

v1.16.0版本

- 图像生成

/img现在，当设置了受支持的提供商时，您可以通过它生成图像。

如果您的提供商支持图像编辑，此流程还允许添加图像附件以进行编辑、后续跟进或组合提示。

- AnythingLLM 图像生成

代理工具生成图像的功能将在下次更新中加入。

更佳的文件选择器用户体验

现在，在文件选择器中，您可以拖动整个文件夹，其层级结构将在上传面板中保留。这只会导入文件夹中的顶层文件——后续更新将支持更深层级和递归导入。

现在您还可以直接将文件拖放到现有文件夹中，而无需移动文件。

最后，您不再需要输入https网址获取器——省略网址时，它会自动假定为 https。

我们还进行了一些重大的性能改进，例如对文件夹中包含数千个文档的用户进行文件夹延迟加载。

- 会话中切换工具

现在，在代理聊天过程中，您可以随时自由切换工具的开启/关闭状态，无需重新加载或启动新会话。只有已配置的工具（如果需要配置）才可用。

- 停止一代

一个很大的改进是，现在aborting响应实际上可以完全终止推理，这样就不会在不需要推理的情况下继续进行幽灵推理了。

- 新功能

全新create-scheduled-job代理工具 - 代理现在可以代表您创建定时任务，助理面板中新增了专属卡片。

通过命令生成图像/img，包括渲染和辅助面板中的控件

Foundry Local 全面改进 - 模型表具备完整的模型管理、代理和异步聊天以及工具调用支持

PiperTTS 全面升级——现在长消息可以实时播放，不会超时；助手面板可以朗读去除 Markdown 格式的回复。

You.com 已添加为代理商的网络搜索提供商。

Gitea 数据连接器

GitHub 数据连接器现在支持 GitHub Enterprise URL。

支持与 OpenAI 兼容的 Whisper API，用于语音转文本（可自带转录端点）

input_audio通用 OpenAI 提供程序对音频附件的支持

文档管理器中的文件夹上传功能现在会保留相对文件夹路径。

现在系统默认提示信息中包含了当前日期和时间，因此模型可以回答与时间相关的问题。

SQL代理连接器现在支持一次添加多个数据库，并包含一个用于自签名证书的SSL切换开关。

- 改进

现在，“停止生成”按钮会完全中止代理会话和推理，包括助手面板和本地推理引擎。

现在，未附加任何工具的客服聊天会通过原生工具自动补全功能进行路由，以提高响应质量。

模型路由器的冷却时间现在从推理完成时开始，而不是从检测到路由规则时开始，因此较长的推理响应不再消耗整个冷却窗口。

直播期间聊天自动滚动更流畅——长消息不再出现滚动锁定或抖动。

更新了 OpenAI 和 Anthropic 的默认回退模型。

现在，带有嵌套对象参数（$ref/$defs模式）的 MCP 工具已正确内联到 Anthropic 代理工具调用中

浅色模式滚动条颜色

macOS 系统叠加层现在已从屏幕上下文捕获中过滤掉。

新增及更新的译文：加泰罗尼亚语、意大利语、印尼语、老挝语、克罗地亚语和繁体中文（zh-TW）

PiperTTS 现在支持分段播放内容，这意味着较长消息的播放速度将显著加快。

- 错误修复

修复了 PiperTTS 的一个错误，该错误会导致语音无法播放并引发“工作进程超时”错误。

修复了使用外部嵌入提供程序时onnxruntime导致的嵌入过程中原生崩溃的问题maxConcurrentChunks

现在，非流式 REST API 工作区聊天端点已能正确传输人类响应。

AWS Bedrock 固定工作区模型选择

修复了 Lemonade URL 输入无法保存更改的问题

对于未在通用 OpenAI 提供商上发出思维模块的模型，思维模块将不再渲染。

修复文档管理器中的 Windows 文件路径

修复了斜杠命令预设无法展开为提示文本的问题

API中的固定引用回归

修复了 Magic Echo 的通用 OpenAI 提供商请求

受监控文档的重新同步不再破坏已置顶文档的去重功能

代理人澄清问题计数器现在每回合重置

修复了null当存在多个工作区时 Milvus/Zilliz 的向量计数错误问题。

工作区更新 API 现在会验证有效负载，而不是返回误导性的200响应。

线程查找现在限定在已验证的工作区内。

Kokoro TTS 语音列表现在可以在 0.3.x 之前的kokoro-fastapi服务器上渲染了

在多用户模式下，“代理技能”页面上的“应用集成”空白部分现已隐藏。

现在省略了温度信息claude-sonnet-5，因为它不支持温度。