云端大模型（比如 Claude、ChatGPT）确实很强，但您输入的每一句话都要传到别人的服务器上。本地大模型的好处是隐私好、不依赖网络，问题是能跑得动的大多是小模型，知识少，还容易一本正经地胡说八道。这篇文章讲一个思路：给本地小模型接上离线维基百科，让它先查资料再回答。
本地大模型为什么受硬件限制
老电脑跑不动云端那种大模型
您可能已经发现，这两年电脑、手机的价格普遍涨了不少。一个原因是内存（RAM）价格大涨，业内有人把这叫做“内存涨价潮”。原因在于，支撑 Gemini、Claude、ChatGPT 这类服务的 AI 数据中心买走了大量 GPU，内存厂商也把产能转向了 GPU 用的高带宽内存，留给普通消费者的就少了。
所以在自己电脑上跑模型，同样绕不开硬件问题。想跑到接近云端大模型的水平，需要内存大、显卡强的机器。如果只是普通电脑，也能跑本地模型，但只能选参数小的模型。这些小模型能力有限，不过足够在弱一些的机器上运行。
小模型能跑，但知识量小得多
本地模型不知道时，可能会编答案
小模型做很多常规事情其实不差，比如解释概念、写点简单代码、聊天。但复杂推理能力比大模型弱，内置的知识也少得多。首都是哪里、怎么煮鸡蛋，它大概率会答；冷门一点的事实，比如某个软件的创始人是谁，它可能就没有印象。
更麻烦的是，大模型通常不太擅长承认“我不知道”，它会编出听起来很像真的事实。如果您本身也不清楚答案，这种“幻觉”很难分辨，对于需要查事实的场景非常不理想。
Kiwix Wiki MCP 服务器：让大模型能查维基百科
资料放在本地服务器，模型需要时再去查
Kiwix Wiki MCP Server 是一个很实用的思路。小模型装不下海量资料，那就把资料存在自己的硬盘上。Kiwix 是一款离线阅读软件，可以把整站维基百科的离线副本放在自己的电脑上提供服务。Kiwix Wiki MCP Server 则通过 MCP（模型上下文协议，可以理解为让模型调用外部工具的一套标准接口），把 Kiwix 接到本地模型上，让模型回答前先去搜维基百科。
资料以 ZIM 格式保存，这是一种专门为离线网站内容设计的压缩包格式。除了维基百科，还能下载古腾堡计划的书籍、iFixit 维修指南、Stack Exchange 问答等。您可以按需求选择不同领域的资料，让模型在某个方面更靠谱。简单讲，模型本身并不存知识，它学会的是去查。
实测对比：同一个小模型，差距有多大
原文作者做过一组测试。测试设备是一台十几年前的台式机，16 GB 内存，没有独立显卡，模型是 Ollama 中运行的 Qwen 3.5 4B（40 亿参数）。测试题是 13 道常识题。先让模型自己回答，再给它接上完整英文维基百科的离线文本文件（约 50 GB），然后问同样的问题。
| 测试方式 | 回答结果 | 平均响应时间 |
|---|---|---|
| 只靠模型自身知识 | 答对 4 题，其余多为看似合理的错误答案 | 约 9 秒 |
| 接入离线维基百科 | 答对 11 题，1 题部分正确，1 题拒答，未发现编造内容 | 约 2 分钟 |
差距最直观的例子是：问《The Wasp Factory》的作者是谁，原模型回答是 Iain Sinclair，1983 年出版；正确答案是 Iain Banks，1984 年。问 Home Assistant 的创始人，原模型给出的也是一个虚构的名字，正确的是 Paulus Schoutsen。接入维基百科后，这些问题都能答对。
代价是慢。响应时间从约 9 秒增加到约 2 分钟，因为模型要先检索再组织答案。另外有一题，接入后模型拒绝回答 2026 年六国橄榄球赛的冠军，理由是它以为当前还是 2024 年。这说明模型对“今天是哪一天”的判断也可能出错，遇到时间相关的问题，最好在提示里把日期写清楚。
怎么动手搭建：通用步骤
下面是一般流程，具体命令和参数请以项目官方说明为准：
- 在电脑上安装 Kiwix，并下载需要的 ZIM 离线包，可以选英文维基百科，也可以选对应语言的版本。
- 启动 Kiwix 服务器，在浏览器里确认能正常打开维基百科页面。
- 安装 Kiwix Wiki MCP Server，并把配置指向您保存 ZIM 文件的位置。
- 在支持 MCP 的本地模型客户端中添加这个服务器，让模型能够调用它。
- 准备几十道您自己熟悉答案的题目，做一次“接入前后”的对比，确认模型确实在调用检索。
适合哪些人，需要注意什么
如果您经常用本地模型查资料、辅助写作，又在意隐私，给它接上可靠的资料源会很有帮助。但有几点要记住：维基百科并不是万能的，医学、法律、最新新闻这类内容，仍然要以权威来源为准；ZIM 文件体积大，要预留足够的硬盘空间；检索会拖慢回答速度，适合不急着要结果的场景。
常见问题（FAQ）
没有高端显卡，能用这个方法吗？
可以。原文测试机就没有独立显卡，用的也是 4B 的小模型。不过响应会明显变慢，需要耐心等待。
离线维基百科要占多大空间？
原文测试用的是英文完整文本，约 50 GB。如果硬盘紧张，可以选择体积更小的语言版本或子集。
接入维基百科后，模型还会胡说吗？
会少很多，但不能完全避免。模型仍可能误解问题或读错资料，重要信息建议您再核实一次。
为什么本地模型会搞错今天的日期？
模型的训练数据有截止时间，它并不知道今天是几号。在提示词里写明当前日期，会比让它自己判断更稳妥。
总结
小模型不是不能用，关键是别指望它什么都知道。给它接上离线维基百科这类可靠资料，回答准确率能明显提升，代价是速度变慢、要占用硬盘。如果您的电脑配置一般，又想兼顾隐私和离线能力，这是一个值得试一试的方向。如果您手里的照片多到难以整理，也可以看看本地 AI 怎么帮忙：用本地AI整理照片怎么做？不上传一张，240张图40分钟搞定。