Qwen2大模型本地部署+高考作文

今天是6月7日,高考第一天,语文考试结束了,高考作文又成为了备受关注的热点,AI时代也进入了高考作文内容中,新课标I卷的题目:

随着互联网的普及、人工智能的应用,越来越多的问题能很快得到答案。那么,我们的问题是否会越来越少?

以上材料引发了你怎样的联想和思考?请写一篇文章。

要求:选准角度,确定立意,明确文体,自拟标题;不要套作,不得抄袭;不得泄露个人信息;不少于800字。

恰好今天阿里云通义千问发布Qwen2开源大模型,最新版本Qwen2有以下特点:

5种模型规模,包括0.5B、1.5B、7B、57B-A14B和72B;

针对每种尺寸提供基础模型和指令微调模型,并确保指令微调模型按照人类偏好进行校准;

基础模型和指令微调模型的多语言支持;

所有模型均稳定支持32K长度上下文;Qwen2-7B-Instruct与Qwen2-72B-Instruct可支持128K上下文(需额外配置)

支持工具调用、RAG(检索增强文本生成)、角色扮演、AI Agent等;

加上早两天的智谱AI开源的GLM-4系列:"全面升级的新一代基座大模型GLM-4,整体性能相比GLM3提升60%,支持128K上下文,可根据用户意图自主理解和规划复杂指令、完成复杂任务"

国内AI大模型又进入新一轮的模型开源竞赛,根据他们的宣传比上一代都有显著的提升,要知道上一代Qwen1.5发布时间是2月6号,这才刚刚过去了4个月,而智谱的ChatGLM-3开源时间在去年10月份,两代相隔也只有8个月。那放眼国外有Llama 3是Meta于4月发布,谷歌的Gemma-7B也在2月开源,还有很多开源大模型如Phi-3、deepseek-v2等等,都有不错的表现,接下来各个大语言模型排行榜又要迎来新的一轮更新。

很多排行榜还没来得及更新,期待他们后续表现

中文大模型能力评测榜单:github.com/jeinlee1991...

那从一众开源大模型引入我们今天的话题,开源大模型本地部署+高考作文的表现

Qwen2高考作文表现如何?

首先我让本地部署的Qwen2-7B分析一下作文题:首先请从高中语文的角度分析一下这个题目。

然后让他扮演扮演一位高考学生,根据分析写一篇优秀作文

可以看到虽然我只用了Qwen2-7B,还没有上Qwen2-72B,但效果已经非常不错,推理速度很快,文章分析思路和质量都是在线水平,我不是高中语文老师,这里不做打分,只对技术使用进行主观评判。

那我用同样的问题问chatgpt-4o的结果如下:

可以简单对比一下,开源Qwen2-7B和OpenAI的最新商用大模型chatgpt-4o的区别,我这里不进行评判。

接下来说重点,那既然本地部署的开源模型在某些方面似乎也能够勉强达到商用大模型的效果,是不是以后开源本地部署方案会不会逐渐成为一种主流呢?私有化部署和调用商用线上大模型的区别和接下来生态的发展走向会是什么样呢?最核心的使用不同方案的成本如何呢?

私有化部署大模型是不是趋势?

我最近一直在研究一套能够 拔网线断WIFI 也能使用大语言模型能力的解决方案,希望能够简单上手部署,也能够方便使用,还不用花多少钱成本,这样我无论在何时何地都能够用来提升工作、学习生活的效率,简单点说就是没有续航焦虑。

大模型带给我们的不应该是焦虑,而应该是随手可使用,就像喝水一样容易,那我目前探索的这一套方案是这样:ollama + Qwen2-7B + open-webui

除了聊天对话翻译,还可以对文档进行问答、总结,这都是在 拔网线断WIFI 的前提下进行的,再加上stable-diffusion的画图能力,基本上就能够搭建一个本地个人大模型工作站了。我们暂时不谈大模型尺寸导致的效果不及预期这个问题,因为按照文章开头说的发展情况,接下来的开源大模型能力只会越来越强,我们只要紧跟发展的步伐,及时享受AI时代的红利即可。

当然更多私有化大模型的预训练和微调、垂直行业大模型的定制开发不在本次讨论范围内,不讨论但不代表没有人在做,只是还没有到全面爆发的时机,目前大模型应用还处在非常早期的探索阶段,咱先从最基础的开始玩起来,玩明白基础版了再去玩高级版也不迟😄

为什么需要拔网线断WIFI?

在将大模型进行私有化部署时,拔网线或断开Wi-Fi可以在一定程度上增强系统的安全性。主要原因包括:

  1. 防止数据泄露:大模型通常需要访问并存储大量敏感数据,如用户信息、业务数据等。断开网络连接可以防止这些数据通过网络渠道意外或故意泄露。
  2. 防范网络攻击:未联网的系统不容易成为网络攻击的目标。这些攻击包括但不限于DDoS攻击、恶意软件感染、远程代码执行等。通过物理隔离,可以大幅度降低攻击面和被攻陷的可能性。
  3. 控制模型访问:通过拔网线或断开Wi-Fi,只有具有物理访问权限的人才能接触到系统,从而增强了对模型使用和数据访问的控制。
  4. 审计与合规:某些行业和场景下(如金融、医疗、政府机构等)对数据安全有非常严格的要求。物理隔离可以帮助满足这些合规性要求,降低违规风险。
  5. 防止未经授权的更新或配置更改:联网系统可能会自动进行软件更新或配置更改,这可能带来不可预知的风险。断开网络能确保系统状态的稳定性和可控性。

当然,断开网络连接并不是唯一的安全措施,而是众多安全措施中的一个环节。实现全面的系统安全还需要结合其他措施,如加密、访问控制、日志监控等。

下一步计划?

接下来我计划开始写一系列的关于私有化部署的调研类文章,会逐一解答 私有化部署的硬件和基础设施需求软件栈和技术选择实施步骤和最佳实践成本分析和未来趋势 等等问题。

希望通过这次主题系列文章,一方面理清楚目前市面上一些主流的大模型现状和效果,另一方面横向对比上下游配套工程的优劣和取舍逻辑,最后形成一套目前来说比较合适的解决方案,更好的服务我们的客户。

最后打一个小广告,湖南任逍遥智能科技有限公司致力于做"中小企业和组织的定制AI解决方案与工作流程自动化专家",我们的使命是"用人工智能服务每一个人",诚邀各类企业与组织加入我们的合作伙伴行列,也欢迎有共同愿景的小伙伴加入我们一起在创业的路上成长、进化、实现价值。

相关推荐
დ旧言~29 分钟前
【高阶数据结构】图论
算法·深度优先·广度优先·宽度优先·推荐算法
张彦峰ZYF34 分钟前
投资策略规划最优决策分析
分布式·算法·金融
The_Ticker1 小时前
CFD平台如何接入实时行情源
java·大数据·数据库·人工智能·算法·区块链·软件工程
爪哇学长1 小时前
双指针算法详解:原理、应用场景及代码示例
java·数据结构·算法
Dola_Pan1 小时前
C语言:数组转换指针的时机
c语言·开发语言·算法
繁依Fanyi2 小时前
简易安卓句分器实现
java·服务器·开发语言·算法·eclipse
烦躁的大鼻嘎2 小时前
模拟算法实例讲解:从理论到实践的编程之旅
数据结构·c++·算法·leetcode
C++忠实粉丝2 小时前
计算机网络socket编程(4)_TCP socket API 详解
网络·数据结构·c++·网络协议·tcp/ip·计算机网络·算法
用户37791362947553 小时前
【循环神经网络】只会Python,也能让AI写出周杰伦风格的歌词
人工智能·算法