在网上使用 ChatGPT 很简单,只需有网络连接和好的浏览器即可。但这样做可能会泄露您的隐私和数据。OpenAI 存储了您的提示和其他元数据以重新训练模型。对于一些人来说可能不成问题,但注重隐私的人可能更愿意在本地使用这些模型,不受外部跟踪的影响。
本文将介绍五种在本地使用大型语言模型(LLMs)的方法。这些软件大多兼容所有主要操作系统,并且可以轻松下载安装。通过在笔记本电脑上使用LLMs,您可以自由选择模型,只需从 HuggingFace hub 下载模型即可开始使用。此外,您还可以授权这些应用程序访问您的项目文件夹,并生成上下文感知的响应。
1. GPT4All
![](https://img-blog.csdnimg.cn/img_convert/2c323d6ead550ca13a10be3364c7393d.jpeg)
GPT4All 是一款先进的开源软件,允许用户轻松下载和安装最先进的开源模型。
只需从网站下载并在系统上安装 GPT4ALL。接下来,从面板中选择适合您需求的模型即可开始使用。如果您安装了 CUDA(Nvidia GPU),GPT4ALL 将自动开始使用您的 GPU 生成每秒最多 30 个标记的快速响应。
您可以授予对包含重要文件和代码的多个文件夹的访问权限,GPT4ALL 将使用检索增强生成生成响应。GPT4ALL 用户友好,速度快,受到 AI 社区的欢迎。
2. LM Studio
![](https://img-blog.csdnimg.cn/img_convert/d0cbe80dcd21e590a3aa81d1f5642303.jpeg)
LM Studio 是一款新软件,与 GPT4ALL 相比,它提供了几个优点。用户界面出色,您可以通过几次点击安装 Hugging Face Hub 上的任何模型。此外,它提供了 GPU 卸载和其他 GPT4ALL 中不可用的选项。但是,LM Studio 是闭源的,并且没有通过阅读项目文件生成上下文感知的响应选项。
LM Studio 提供了对数千种开源LLMs的访问,允许您启动本地推理服务器,行为类似于 OpenAI API。您可以通过交互式用户界面上的多个选项修改LLM的响应。
3. Ollama
![](https://img-blog.csdnimg.cn/img_convert/cc3aaf05c17f5cc568ffc2b01d05aa08.jpeg)
Ollama 是一个命令行界面(CLI)工具,可快速操作大型语言模型,如 Llama 2、Mistral 和 Gemma。如果您是黑客或开发人员,这个CLI工具是一个绝佳的选择。您可以下载并安装该软件,并使用 llama run llama2 命令开始使用 LLaMA 2 模型。您可以在 GitHub 存储库中找到其他模型命令。
它还允许您启动本地 HTTP 服务器,可以与其他应用程序集成。例如,您可以通过提供本地服务器地址使用 Code GPT VSCode 扩展,并开始使用它作为AI编码助手。
4. LLaMA.cpp
![](https://img-blog.csdnimg.cn/img_convert/f8daf645a7d766c92282289f72d1579a.jpeg)
LLaMA.cpp 是一个同时提供 CLI 和图形用户界面(GUI)的工具。它允许您在本地无需任何麻烦即可使用任何开源LLMs。这个工具高度可定制,并提供对任何查询的快速响应,因为它完全使用纯 C/C++ 编写。
LLaMA.cpp 支持所有类型的操作系统、CPU 和 GPU。您还可以使用多模态模型,如 LLaVA、BakLLaVA、Obsidian 和 ShareGPT4V。
5. NVIDIA Chat with RTX
![](https://img-blog.csdnimg.cn/img_convert/c458e55c8d1d047a63c74ad0cf3855d9.jpeg)
要使用 NVIDIA Chat with RTX,您需要在笔记本电脑上下载并安装 Windows 11 应用程序。该应用程序与至少具有 8GB RAM 和 50GB 可用存储空间的 30 系列或 40 系列 RTX NVIDIA 显卡的笔记本电脑兼容。此外,您的笔记本电脑至少应具有 16GB RAM 才能顺利运行 Chat with RTX。
通过 Chat with RTX,您可以在笔记本电脑上本地运行 LLaMA 和 Mistral 模型。这是一个快速高效的应用程序,甚至可以从您提供的文档或 YouTube 视频中学习。但是,需要注意的是,Chat with RTX 依赖于 TensorRTX-LLM,后者仅支持 30 系列 GPU 或更新版本。
结论
如果您想利用最新的LLMs同时保持数据安全和私密,您可以使用像 GPT4All、LM Studio、Ollama、LLaMA.cpp 或 NVIDIA Chat with RTX 这样的工具。每个工具
都有其独特的优势,无论是易于使用的界面、命令行可访问性还是对多模态模型的支持。通过正确的设置,您可以拥有一个功能强大的人工智能助手,生成定制的上下文感知响应。
建议您先从 GPT4All 和 LM Studio 开始,因为它们涵盖了大多数基本需求。之后,您可以尝试 Ollama 和 LLaMA.cpp,最后再尝试 Chat with RTX。
如何学习AI大模型?
作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
一、全套AGI大模型学习路线
AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!
![](https://img-blog.csdnimg.cn/direct/73960f44794245eb988e286620c38b59.png)
二、640套AI大模型报告合集
这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。
![](https://img-blog.csdnimg.cn/direct/ecbe365405e6442986e91b29da53efbd.png)
三、AI大模型经典PDF籍
随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。
![](https://img-blog.csdnimg.cn/direct/f3f83643ea7e4954ad51c4b3099dddc6.png)
四、AI大模型商业化落地方案
![](https://img-blog.csdnimg.cn/direct/de6bd4e8e37c4e61a79c37b2551d466e.png)
作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。