LM studio使用gemmar聊天小试

通过LM studio可以方便的使用各种模型,使用LM提供的chat界面或者是使用python代码。

试试代码

在windows下使用python简单一试,例子直接复制LM界面上的代码:

  • 用pip安装 openai包
  • 在LM界面 Start Server

需要安装 openai包。

本地电脑是I7的CPU,但是没有独立显卡,提的问题范围越广,推理越慢,而且很明显看到上32G内存的必要性了。

第1次运行,AI给出了俩句子,再后面问它,就不出结果了。

使用chat

需要 Stop Server

AI 胡乱编了两句话来应付。

所以即使AI横行,也是需要会提问题、描述问题的人;用AI写小说,需要人给它一个好的奇思妙想。

相关推荐
BugShare1 小时前
手撸AI对话助手带上思考过程
openai·ai编程
王小酱2 小时前
私有化 AI Agent 平台进阶指南:智能知识库、Skill 生态与自定义 Agent 实战
openai·ai编程·aiops
王小酱3 小时前
本地部署全能 AI Agent 完整方案
openai·ai编程·aiops
Hilaku5 小时前
数字员工时代:企业级Claw如何让AI成为真正的生产力?
人工智能·openai·agent
超爱柠檬5 小时前
MCP(Model Context Protocol)—— AI 领域的 USB-C
openai·ai编程
皮尔卡Q21 小时前
一、LLMOps后端搭建,构建基础聊天机器人
openai
机器之心21 小时前
扎克伯格正在打造自己的「AI分身」,并计划裁掉1.6万人
人工智能·openai
机器之心21 小时前
必看!Sebastian Raschka新博客盘点了所有主要注意力机制
人工智能·openai
树獭叔叔1 天前
GRPO:比PPO更简单的RLHF算法
后端·aigc·openai
树獭叔叔1 天前
从RLHF到PPO:让AI学会说人话
后端·aigc·openai