如何在本地一键配置最强国产大模型

自从OpenAI的ChatGPT横空出世以来,国内外各类大语言模型(LLM)层出不穷,其中不乏Google的Gemini、Claude、文心一言等等。相较于竞争激烈的商业模型赛道,以Llama为代表的开源大模型的进步速度也十分惊人。

伴随着大语言模型的百花齐放,如何评价一个模型的各项指标与综合能力成了新的问题,其中大规模多任务语言理解(MMLU-Massive Multitask Language Understanding)是评估语言模型能力最常用和权威的基准之一,它由约 16,000 个多项选择题组成,涵盖数学、哲学、法律和医学等 57 个学科。

在最新的以MMLU为基准的大语言模型排行榜上,国产的开源大模型通义千问Qwen2和零一万物Yi-Large在与Claude3、ChatGPT4o、Gemini等商业模型的竞争中不遑多让,名列前茅。

通常情况下我们都是在线使用大语言模型,难免会遇到网络不便、账号受限等问题,既然国产开源大模型已经有了如此强大的性能,能否将其部署在本地来使用呢?

答案是可以的,而且对计算机配置的需求比各位想象的低很多。

本地大模型框架ollama介绍

既然想要在本地计算机或服务器配置大模型,就不得不提到一个神器 --- Ollama

Ollama是一个开源框架,专门设计用于在本地运行大型语言模型。 它的主要特点是将模型权重、配置和数据捆绑到一个包中,从而优化了设置和配置细节,包括GPU使用情况,简化了在本地运行大型模型的过程。

Ollama一开始仅支持macOS和Linux操作系统,近期也推出了支持Windows系统的预览版。

这里以Windows系统为例,首先在官网或GitHub下载并安装Ollama,注意系统版本要求Windows 10及以上

官网下载:https://ollama.com/download

GitHub:https://github.com/ollama/ollama/releases

下载完成后进行安装

ollama没有GUI,安装完成后需要在PowerShell或命令行进行使用。

在PowerShell运行命令:ollama help将显示 Ollama 中的可用命令。

通过输入"ollama + 可用命令"即可对ollama进行操作,例如:

  • ollama list:显示模型列表。
  • ollama show:显示模型的信息
  • ollama pull:拉取模型
  • ollama push:推送模型
  • ollama cp:拷贝一个模型
  • ollama rm:删除一个模型
  • ollama run:运行一个模型

安装并运行本地模型

完成ollama的安装并熟悉了基本操作后,可以开始安装所需的模型了。

在ollama官方网站的模型页面可以浏览支持的开源模型列表。

这里选择国产qwen2模型,ollama支持0.5b、1.5b、7b、72b四种参数规模(b即billion,十亿参数量),可根据个人硬件配置与存储空间进行选择,经过实测,拥有NVidia独显的笔记本电脑完全可以跑的动7b模型。

硬件需求:

  • RAM: 7B模型推荐16GB,70B需要64GB或更多。
  • GPU: 具有至少8GB 显存的GPU,最好是支持CUDA的NVIDIA GPU。

在下图标记1出选择对应参数的模型,标记2处会自动切换至该模型的安装命令,复制命令并在PowerShell中运行即可进行下载安装。

这里选择安装qwen2:7b模型。

模型文件的保存路径为:

C:\Users\"你的用户名"\.ollama\models\

安装完成后即可进行对话。

在每次使用前请先确认ollama服务已经开启,可在开始菜单启动ollama或创建快捷方式,ollama启动后会在系统任务栏显示图标。

接着在PowerShell通过ollama run qwen2启动模型。

进阶使用方法

很显然,通过PowerShell与本地大模型进行对话不是那么的方便,ollama支持很多桌面客户端通过端口进行调用,其默认使用11434端口,可通过 http://localhost:11434 访问。

聊天对话推荐使用chatbox,可实现无需部署,开箱即用,内置大量prompt可以最大程度的发挥模型的能力。

官网:https://chatboxai.app/zh

Github:https://github.com/Bin-Huang/chatbox

翻译、润色、总结等功能推荐使用OpenAI Translator,其最初是ChatGPT API 的划词翻译浏览器插件和跨平台桌面端应用,但目前同样支持ollama的本地模型。

Github:https://github.com/Bin-Huang/chatbox

总结

ollama不仅可以让我们在本地随时随地使用大语言模型不受网络、账户等限制,同时可以利用ollama提供的api接口开发基于各类大语言模型的应用与服务,并且ollama支持安装多个模型,方便我们进行对比和使用。

ollama的特点可以总结为:

  • 开源:开源推动项目的持续发展。
  • 开箱即用:一条命令的方式,简化了大量的工作,降低了门槛。
  • 可扩展:可以和很多工具进行集成使用,有更多的玩法。
  • 轻量化:不需要太多的资源,个人电脑完全可以胜任。
相关推荐
qzhqbb3 小时前
基于统计方法的语言模型
人工智能·语言模型·easyui
沉下心来学鲁班6 小时前
复现LLM:带你从零认识语言模型
人工智能·语言模型
数据猎手小k6 小时前
AndroidLab:一个系统化的Android代理框架,包含操作环境和可复现的基准测试,支持大型语言模型和多模态模型。
android·人工智能·机器学习·语言模型
sp_fyf_20246 小时前
计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-11-01
人工智能·深度学习·神经网络·算法·机器学习·语言模型·数据挖掘
charles_vaez7 小时前
开源模型应用落地-glm模型小试-glm-4-9b-chat-快速体验(一)
深度学习·语言模型·自然语言处理
知来者逆7 小时前
研究大语言模型在心理保健智能顾问的有效性和挑战
人工智能·神经网络·机器学习·语言模型·自然语言处理
云起无垠7 小时前
技术分享 | 大语言模型赋能软件测试:开启智能软件安全新时代
人工智能·安全·语言模型
学术头条9 小时前
AI 的「phone use」竟是这样练成的,清华、智谱团队发布 AutoGLM 技术报告
人工智能·科技·深度学习·语言模型
光芒再现dev15 小时前
已解决,部署GPTSoVITS报错‘AsyncRequest‘ object has no attribute ‘_json_response_data‘
运维·python·gpt·语言模型·自然语言处理
Yawesh_best16 小时前
思源笔记轻松连接本地Ollama大语言模型,开启AI写作新体验!
笔记·语言模型·ai写作