Ollama+Langchaingo+Gin开发本地LLM简单应用

本文目录

1. 前言

通过Ollama+Langchaingo+Gin搭建本地LLM应用。

这里简单再阐述下面几个相关概念。

Ollama:是开源跨平台大模型工具。它支持多种先进的语言模型,如 qwen、llama 等,让用户能在服务器中运行这些模型。用户可以利用它进行文本生成、翻译、代码编写、问答等多种自然语言处理任务,并且具有易于集成、可本地部署、支持模型微调等特点。也就是可以帮助我们本地运行大语言模型的一个工具。

Langchain:将大型语言模型集成到应用程序中。有多种功能模块,能支持开发者构建各种基于语言模型的应用,其应用场景包括聊天机器人、文档分析和总结、代码分析等,可帮助企业和开发者快速构建具有推理能力、可控代理工作流以及方便调试、测试和监控的语言模型应用程序。

Langchaingo: LangChain 的 Go 语言版本,通过它可以快速构建起基于 Go 语言的大型语言模型应用。它与 LangChain 类似,提供了对多种语言模型的支持以及相关的功能模块,方便 Go 语言开发者使用语言模型进行应用开发。

2. 开发

依赖文件

通过命令go get github.com/gin-gonic/gin来安装gin框架,go get github.com/tmc/langchaingo/llms来安装对应的langchaingo。

ollama客户端和模型

到ollama官网下载对应的ollama客户端。

安装好ollama的客户端之后可以在cmd命令行窗口中输入ollama来查看是否安装成功。

现在需要下载对应的大模型了,这里使用阿里的qwen大模型。

使用命令ollama run qwen就可以进行对应的下载了。

等待一会安装好之后就可以使用了。

然后我们就可以直接进行对话了,比较简单。

3. 在Go中使用LLM

刚刚我们已经在客户端使用了LLM了,现在尝试一下在go中使用gin框架来调用LLM进行开发。

代码逻辑很好理解,也比较简单,通过langchaingo中的ollama来访问大模型,并把得到的回复封装回response。

然后我们运行代码,就可以通过gin来访问大模型了。

运行代码之后,通过post工具来看看是否能够访问,ok,访问没问题。

相关推荐
坤坤爱学习2.03 小时前
求医十年,病因不明,ChatGPT:你看起来有基因突变
人工智能·ai·chatgpt·程序员·大模型·ai编程·大模型学
我就是全世界14 小时前
TensorRT-LLM:大模型推理加速的核心技术与实践优势
人工智能·机器学习·性能优化·大模型·tensorrt-llm
文浩(楠搏万)17 小时前
用OBS Studio录制WAV音频,玩转语音克隆和文本转语音!
大模型·音视频·tts·wav·obs·声音克隆·语音录制
zhuyasen19 小时前
定义即代码!这个框架解决了90%的Go开发者还在低效开发项目的问题
架构·go·gin
程序员爱钓鱼21 小时前
Go语言项目工程化 — 常见开发工具与 CI/CD 支持
开发语言·后端·golang·gin
Mr.zwX21 小时前
【大模型】到底什么是Function Calling和MCP,以及和ReAct推理的关系是什么?
大模型·mcp协议
李师兄说大模型1 天前
KDD 2025 | 地理定位中的群体智能:一个多智能体大型视觉语言模型协同框架
人工智能·深度学习·机器学习·语言模型·自然语言处理·大模型·deepseek
Sherlock Ma1 天前
百度开源文心一言4.5:论文解读和使用入门
人工智能·百度·自然语言处理·开源·大模型·文心一言·多模态
喜欢吃豆1 天前
目前最火的agent方向-A2A快速实战构建(二): AutoGen模型集成指南:从OpenAI到本地部署的全场景LLM解决方案
后端·python·深度学习·flask·大模型
喜欢吃豆1 天前
快速手搓一个MCP服务指南(九): FastMCP 服务器组合技术:构建模块化AI应用的终极方案
服务器·人工智能·python·深度学习·大模型·github·fastmcp