Ollama系列教程(八):semantic kernel调用ollama接口

我是对本地大模型有执念的!因为它安全性好,数据完全被自己掌控。在前面的内容里面分享了如何使用OllamaSharp访问ollama接口,今天分享如何使用Semantic Kernel来访问ollama接口。

关于Semantic Kernel

Semantic Kernel(SK) 是一款模型无关的SDK,能够帮助开发者快速构建、编排和部署AI代理及多代理系统。无论是开发简单的聊天机器人,还是构建复杂的多代理工作流,该工具都能以企业级的可靠性和灵活性提供所需支持。

地址:github.com/microsoft/s...

为什么使用SK?

我们可以直接使用类似OllamaSharp这样的SDK来调用某个大模型的接口,但是如果我们即要访问Ollama里面的模型,又要访问OpenAI的接口,还要兼容DeepSeek的接口,这个时候就需要一个集成开发框架了。在.net平台,最好用且功能最全的,目前只有SK(如果还有其它框架请不吝赐教)。

使用SK

首先要添加框架引用:

csharp 复制代码
	dotnet add package Microsoft.SemanticKernel

由于我们要访问Ollama,因此还需要添加SK的Ollama连接器:

csharp 复制代码
	dotnet add package Microsoft.SemanticKernel.Connectors.Ollama

注意:为了避免编码时收到SKEXP0070、SKEXP0010这种错误,我们先在项目里面把他们屏蔽掉。

markdown 复制代码
	<PropertyGroup>

	    ......

		<NoWarn>$(NoWarn);SKEXP0001,SKEXP0010,SKEXP0070</NoWarn>

	</PropertyGroup>

	 

初始化SK

ini 复制代码
	var endpoint = new Uri("http://localhost:11434");

	var ollama = new OllamaApiClient(endpoint);

	 

	// Create a kernel builder

	var builder = Kernel.CreateBuilder().AddOllamaChatCompletion(ollama);

	 

	// Build the kernel

	Kernel kernel = builder.Build();

添加和使用插件

我们可以把sk里面的插件理解成function calling里面的function,本质上都是大预言模型里面的tools节点

ini 复制代码
	kernel.Plugins.AddFromType<DateTimePlugin>("DateTimePlugin");

	 

	var executionSettings = new OllamaPromptExecutionSettings()

	{

	    FunctionChoiceBehavior = FunctionChoiceBehavior.Auto(),

	};

代码说明:

  1. 添加插件,插件定义见下文
  2. 设置插件的执行方式,我们采用自动选择和执行插件

Plugin的定义

csharp 复制代码
	internal class DateTimePlugin

	{

	    [KernelFunction("get_current_datetime")]

	    [Description("Get current datetime and day of week")]

	    public Task<string> GetCurrentDateTime()

	    {

	        return Task.FromResult(DateTime.Now.ToString("yyyy-MM-dd HH:mm:ss ddd"));

	    }

	}

创建对话

markdown 复制代码
	var chatService = kernel.GetRequiredService<IChatCompletionService>();

	 

	Console.WriteLine();

	Console.WriteLine($"Chat with {ollama.SelectedModel}");

	 

	var systemPrompt = "You are a helpful assistant that knows about AI.";

	var chatHistory = new ChatHistory(systemPrompt);

	Console.WriteLine($">>System: {systemPrompt}");

	 

	while (true)

	{

	    Console.Write(">>User: ");

	    var message = Console.ReadLine();

	 

	    chatHistory.AddUserMessage(message);

	    Console.Write(">>Assistant: ");

	 

	    var reply = await chatService.GetChatMessageContentAsync(chatHistory,

	        executionSettings: executionSettings,

	        kernel: kernel);

	    Console.WriteLine(reply);

	 

	    // Add the message from the agent to the chat history

	    chatHistory.AddMessage(reply.Role, reply.Content ?? string.Empty);

	}

	 

代码说明:

  1. 首先在这段代码中创建一个chatService,用来和大模型进行对话
  2. systemPrompt是我们预设的大模型系统级别指令,通过systemPrompt可以更好的控制大模型的输出
  3. chatHistory用来存储会话历史
  4. while循环中进行对话,同时将user和assistant的对话内容临时存储在chatHistory

总结

以上就是今天分享的全部内容,主要介绍如何使用semantic kernel,并通过sk来访问ollama提供的大模型服务。

原文地址:https://www.cnblogs.com/youring2/p/18813889

相关推荐
BreezeJiang10 小时前
大模型为什么能记住上一轮?从 InMemoryChatMessageHistory 看对话 Memory
llm·agent
kyriewen13 小时前
我把今年流传的前端 AI 面试题整理了一遍——4 类场景题+回答框架(附速查表)
前端·面试·程序员
AEI15 小时前
四年间大模型的演进历程
人工智能·面试·程序员
武子康15 小时前
同一套 Agent Runtime,为什么 Web、Headless 和 Python SDK 仍然不是同一个产品
人工智能·llm·agent
程序员cxuan15 小时前
Claude 官方的学习教程,太强了。
人工智能·后端·程序员
还有多久拿退休金16 小时前
不调多模态,纯文本大模型如何给系统操作配上截图
前端·llm·aigc
DigitalOcean17 小时前
AI Agent如何降本?从五层技术栈到三种推理服务
llm·agent
百工蜂Agent19 小时前
Claude Code 整体架构与设计
llm·agent
ssshooter21 小时前
现在网页都能提供 MCP 了?!
前端·人工智能·程序员
桃西西呀1 天前
上下文窗口都卷到 100 万了,大模型为什么还在为"位置"发愁?
人工智能·llm·ai编程