基于langchain的开源大模型应用开发1

服务端grpc框架

server-grpc

etc yaml配置及

internal 内部代码包

config yaml配置解析代码包

logic 逻辑实现包

server 服务连接处理

svc 上下文配置信息

proto proto文件

go.mod model

go.sum

main.go 主函数入口

逻辑代码处理

目前该应用的逻辑只有机器人对话功能,在服务端是通过grpc服务进行数据传输,这里前提是在main函数中需要启动grpc服务,设置proto数据类型。在logic层初始化服务上下文信息,日治配置大模型配置等。

java 复制代码
func NewChatbotLogic(ctx context.Context, svcCtx *svc.ServiceContext) *ChatbotLogic {

	llm, err := chain.New(chain.WithToken(svcCtx.Config.OpenaiClient.Token), chain.WithModel(svcCtx.Config.OpenaiClient.Model), chain.WithBaseURL(svcCtx.Config.OpenaiClient.BaseURL))
	if err != nil {
		logx.Errorf("large model import error: %v", err)
		return nil
	}
	return &ChatbotLogic{
		Logger: logx.WithContext(ctx),
		ctx:    ctx,
		svcCtx: svcCtx,
		model:  llm,
	}
}

在对话逻辑中,设置历史信息的上限,设置对话者角色,从客户端获取用户对话信息。通过langchain框架传递给大模型返回信息,最后将得到最准确的信息返回给用户。

java 复制代码
// 对话逻辑
func (c *ChatbotLogic) Chat(req *pb.ChatRequest) (*pb.ChatResponse, error) {
	//chat role and part
	message := make([]llms.MessageContent, 10)
	var index int = 0
	if index == 9 {
		index = 0
	}
	//create role instance
	message[index].Role = "human"
	//create text instance
	text := llms.TextContent{Text: req.UserInput}
	message[index].Parts = []llms.ContentPart{text}
	//input session
	respose, err := c.model.GenerateContent(c.ctx, message)
	if err != nil {
		logx.Errorf("Session error: %v", err)
		return nil, err

	}
	jsonRespponse, err := json.Marshal(respose)
	if err != nil {
		logx.Errorf("struct parse error: %v", err)
		result := respose.Choices[0].Content
		return &pb.ChatResponse{
			BotResponse: result,
		}, err
	}
	jsonRes := string(jsonRespponse)
	return &pb.ChatResponse{
		BotResponse: jsonRes,
	}, nil
}

下一期敬请期待。

相关推荐
孟健3 小时前
开源AutoClip切直播:1小时48分出19段,整月API只花0.08元
人工智能·开源·aigc
lipku5 小时前
LiveTalking 获2026 开源行业解决方案创新赛二等奖
开源
行百里er6 小时前
【Spring Insight 技术分享】跨服务调用链路是怎么串起来的?
后端·spring·开源
风云8 小时前
两条 Pipe、五个命门:Vane.NET 内核为什么长这样
开源·网络编程·.net·架构设计·vane.net
K710 小时前
别再搜「LangChain 教程」了——你学的 Chain 已经被判了死刑
langchain·ai编程
分布式存储与RustFS11 小时前
Zeppelin 笔记本重启就丢:三个环境变量把 .zpln 存进 RustFS 桶
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
利威尔xu11 小时前
2026-11-18-Go接口幂等设计实战
开发语言·后端·golang
guuguo11 小时前
【做个开源软件】Mac 上 node 进程莫名吃掉 6G 内存?给 AI / MCP 做了个深度归因和安全回收工具
人工智能·开源·github
xyphf_和派孔明11 小时前
第六章: AI Agent长期记忆的存储引擎介绍
langchain·llm·agent
xyphf_和派孔明11 小时前
第四章: AI Agent短期记忆的信息管理机制设计
langchain·llm·agent