手机(安卓 / iOS)轻松离线布署 DeepSeek:PocketPal AI

还是比较推荐 在线用API使用:https://cswll.cn/12067.html

今天分享这款「PocketPal AI」免费开源手机离线部署模型应用,预置了多种轻量化模型,包括 DeepSeek-R1、Qwen、Llama、Gemma、Phi 等,并支持用户自定义加载 GGUF 格式模型。
对比手机安装 Ollama,这款「PocketPal AI」还提供了内存释放机制,当应用切换至后台时自动释放模型占用的内存,返回前台时快速重新加载。

使用介绍

这款「PocketPal AI」应用提供了安卓和 iOS 版本,这里以安卓版为使用介绍,安卓端通过 MLC-LLM 等框架优化 GPU 资源调用,提升推理速度。安装好后,需要先下载模型,点击 + 添加模型,支持在线下载模型,从 Add from Hugging Face 进行下载。

20250217-2

等待模型下载完毕后,在模型管理里面,点击 Load 启动。然后就可以使用离线版本 DeepSeek 了。

聊天生成设置功能方面,可以对上下文设置,用户可设置生成内容的最大长度,默认建议调整为 4096 或 8000,支持选择不同预置模板,实时性能指标等。

20250217-3

加载本地模型

如果网络问题下载不了 DeepSeek 模型,那么也可以通过本地加载 GGUF 格式模型。点击 + 本地加载模型(Add Local Model)- 载入你下载好的模型 - 模型管理 - 点击 Load 启动。

下载地址

有问题及时联系站长,QQ:1240555208
更多优质资源在QQ群里,可以进群领取:467392290~
© 版权声明
THE END
点赞8 分享
及时反馈~ 抢沙发

请登录后发表评论

    暂无评论内容