文章总结： 本文详细介绍了在MacM3设备上本地部署Llama模型的两种方法：Gpt4all和Ollama。Gpt4all提供图形化界面并支持文档向量化检索，但存在模型库不全和聊天记录不保存的问题；Ollama通过命令行运行，配合Open-WebUI可实现图形化操作，支持多模型并行响应。文章指出Llama3.2在文档分析方面表现一般，建议根据需求选择工具并调整token设置以优化性能。 综合评分： 76 文章分类： AI安全,安全工具,数据安全,解决方案,技术标准

自己动手，搭建专属AI聊天伴侣 – Llama模型私有化教程

Jumbo Jumbo

蚁景网络安全

2026年5月12日 17:40 湖南

在小说阅读器读本章

去阅读

前言

AI新时代，提高了生产力且能帮助用户快速解答问题，现在用的比较多的是Openai、Claude，为了保证个人隐私数据，所以尝试本地（Mac M3）搭建Llama模型进行沟通。

Gpt4all

安装比较简单，根据https://github.com/nomic-ai/gpt4all下载客户端软件即可，打开是这样的：

然后选择并下载模型文件，这里以Llama为例：

下载模型文件完，选择模型文件则可以进行对话了：

也可以利用基于 nomic-embed-text嵌入模型，把文档转成向量方便语义检索和匹配。选择文档所在的目录：

然后对话中选择对应的文档即可：

如果文件太大，需要在设置适当添加token大小，太大也不好，处理会慢且机器会卡死：

gpt4all使用起来还是比较方便的，但是有几个缺点：有些能在huggingface.co搜到的模型在gpt4all上面搜不到、退出应用后聊天记录会消失。

Ollama

安装也很方便，下载https://ollama.com/download/Ollama-darwin.zip，然后运行如下命令即可启动Llama：

ollama run llama3.2

为了方便图形化使用，可以借助https://github.com/open-webui/open-webui完整图形化的使用，启动也很简单，直接使用官方仓库中的命令即可：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

然后访问本地的3000端口即可：

open-webui的原理也比较简单，Ollama启动后会在本地监听11434端口，open-webui也是利用这个端口来和Ollama通信完成的图形化使用。 open-webui还可以多选模型一起回答：

整体测试下来，发现Llama3.2对于文档分析差点意思，给他提供一个pdf文档，也看不出个啥来。但是上面的gpt4all，然后通过nomic-embed-text模型嵌入后好点。

总结

本文演示了通过不同手段来运行Llama模型，来达到本地使用LLM的目的。

免责声明：

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景，旨在提升网络安全防护能力，具有明确的技术研究属性。

任何单位或个人未经授权，将本文内容用于攻击、破坏等非法用途的，由此引发的全部法律责任、民事赔偿及连带责任，均由行为人独立承担，本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布，若存在版权侵权或其他异议，请通过邮件联系处理，具体联系方式可点击页面上方的联系我。

本文转载自：蚁景网络安全 Jumbo Jumbo《自己动手，搭建专属AI聊天伴侣 – Llama模型私有化教程》