想练外语,又不想交订阅费、不想被连续打卡的提醒催着走?小编给您一个思路:用安卓手机跑一个本地大模型,当离线外语陪练。有位用户用一台几年前的 Galaxy S21(8GB 内存),装一个免费应用加一个小模型,改几项设置,就开始练希伯来语了。
结论先说:这事不难,两分钟能装好,适合做短时间的口语练习;但它不是真老师,冷门语言可能讲错,手机也会发热。下面一步步讲。
不是新手机,也能跑 AI
关键在于选对小模型
在手机本地跑 AI 聊天机器人,意味着不用联网、没有月费,您说的话也不会离开设备。这位用户的 Galaxy S21 有 8GB 内存,思路就是找一个小语言模型,再配一个跑得动它、又不会把手机烤热的应用。一般来说,近五六年买的手机,多半都够用。
可选的应用其实很多,比如 PocketPal AI、ChatterUI 和 SmolChat。它们底层都用精简版的 llama.cpp 运行环境,再通过一小段底层代码把安卓应用和 AI 引擎连起来。
这里有个关键点:模型文件是怎么载入内存的。很多人以为得把整个文件一次性塞进内存,那样手机肯定吃不消。实际上系统用的是内存映射,只把当前用到的那部分读进内存。
设置比您想的简单
先改几项设置
这位用户最喜欢 PocketPal AI,小编也建议您先装它。它免费,不需要 root,只要存储权限。装好后打开,首页有几个可以直接下载的模型。动手之前先连上 Wi-Fi,因为模型文件有好几个 GB,别用掉手机流量。
接着选模型:点菜单进入“模型”,可以从 Hugging Face 下载,也可以从推荐列表里选。他选的是 Gemma 2 2B 的 Q4_K_M 版本,笔记本和手机都容易跑动。
下载完成后,点“加载”把模型读进内存。第一次会慢一点,之后会快。开始聊之前,先进模型设置,把上下文长度降到 2048 个 token 左右,这样内存占用不会太高,安卓也不容易把应用杀掉。另外,最好把后台其他应用关掉,腾出尽量多的内存。
然后进入 Pals,新建一个“Pal”,起个名字,比如“Hebrew Teacher”,并写一段系统提示词。他在另一个 AI 的帮助下写了这样一段(大意):
你是一位友好的希伯来语老师,请用希伯来语和我自然对话。每句希伯来语先用希伯来字母写出来,再用括号标上英文音译,最后用括号给出英文翻译。每次回复不超过三句话,用简单的日常词汇。我出错时,请温和地纠正,并用一句简短的英文说明原因。每次都问我一个后续问题。我的水平是初学者。如果我用英文写,请用希伯来语回答,并鼓励我再试着用希伯来语说。
有个小坑:这位用户第一次建 Pal 时,把提示词填进了“描述”栏,很久之后才发现。如果您发现老师不听指挥,先检查提示词有没有填对位置。建好后,点聊天输入框下方的按钮,选择刚建的 Pal 就行。
想学别的语言,把“希伯来语”换成您的目标语言,再写清楚自己的水平,模型就不会说得太难。他认识字母和几个单词,所以写的是“初学者”。
手机有它的极限
短时间练习,才能跑得稳
让 AI 模型一直不停地跑,对手机并不好。最好把它当成 Duolingo 的一节课,只练几分钟。运算量很大,来回聊几分钟后手机就开始发热。这时安卓会自动给处理器降频来控制温度,所以您会觉得一开始很快,后来变慢。
小编建议分成多次短练。除了发热,另一个原因是内存:聊得越久越吃紧,因为模型要记住前面说过的所有内容才能正确回答,这会占用内存。有的模型扛得住些,但都有上限。
到了上限,应用会开始丢掉较早的对话内容。模型可能忘了您之前的纠错,开始重复自己,或者不再像老师那样说话。所以这位用户每天的课都新开一个对话。毕竟练的是口语,不需要老师记住您的所有事。
选语言也有讲究。网上文本较少的语言,容易出问题:模型可能把一句正常的话标成错误,认错动词变位,或者把语法规则讲得像模像样却不对。原因是这些语言在训练数据里出现得少。
希伯来语算其中之一,但还不是最冷门的,只是用得没有英语、西班牙语或法语多。斯瓦希里语、阿姆哈拉语、威尔士语、爱尔兰语以及多数原住民语言会更吃力,这些语言本来能用的应用也不多。
比 Duolingo 更对胃口,但要看您自己
先说清楚:这不是真正的老师,对某些语言来说,Duolingo 的课程结构仍然更完整。这位用户更喜欢本地模型,是因为他觉得 Duolingo 的希伯来语课程不好,而且开口交流本来就是更好的学法。只要一个免费应用和一次下载,一个下午就能知道适不适合您。如果您本来就在做每日短练习,花几分钟装一个试试很划算。
想了解 llama.cpp 这个底层运行环境,可以看它在 GitHub 上的项目主页;模型文件则可以到 Hugging Face 查看。
常见问题(FAQ)
我的手机比较旧,真的能跑吗?
这位用户用的是 8GB 内存的 Galaxy S21。一般近五六年买的手机问题不大,先试一个小模型,别一上来就下大的。
跑本地模型要联网、要付费吗?
下载模型时需要联网,之后聊天不用网,也没有月费。您说的话也不会离开设备。
为什么用着用着手机变慢、变烫?
模型运算量大,手机发热后安卓会自动降频。建议每次只练几分钟,分几次来。
AI 老师忘了我之前的纠错,怎么办?
聊得太长,应用会丢掉较早的内容。每天新开一个对话,并把上下文长度设在 2048 个 token 左右。
什么语言不适合用这种方法?
网上资料少的语言,比如斯瓦希里语、阿姆哈拉语、威尔士语等,模型更容易出错。学这些语言时,请多找其他资料核对。