AntSK：打造你的本地AI知识库——离线运行详细教程

亲爱的读者朋友们，今天我要给大家介绍一个强大的开源工具------AntSK。这个工具能让您在没有Internet连接时依然能使用人工智能知识库对话和查询，想象一下，即使在无网络的环境中，您也能与AI进行愉快的交流！

项目地址：

复制代码

https://github.com/xuzeyu91/AntSK

AntSK不仅免费、开源，更妙的是它可以完全离线运行，不再依赖于OpenAI的API接口。它的核心是集成了LLamaSharp ，让我们可以在本地机器上运行gguf格式的模型。本次教程中，我们使用的是"tinyllama-1.1b-chat.gguf"模型来进行测试。

初探AntSK的配置世界

配置可能是很多人的噩梦，但AntSK的配置简单明了。首先，看到配置文件时，我们主要关注以下几个要点：

复制代码

"LLamaSharp": {
  "Chat": "D:\\Code\\AI\\AntBlazor\\model\\tinyllama-1.1b-chat.gguf",
  "Embedding": "D:\\Code\\AI\\AntBlazor\\model\\tinyllama-1.1b-chat.gguf"
},

在这里，我的Embedding 和Chat 都是配置成相同的tinyllama模型。你可能会问，为什么需要两个相同的路径？这是因为AntSK提供了聊天和语义嵌入两种功能，二者可以使用同一个模型，也可以分别配置不同的模型以满足不同的需求。

下一步，我们要模拟设置OpenAI的终端：

复制代码

"OpenAIOption": {
  "EndPoint": "https://localhost:5001/llama/",
  "Key": "这个用本地可以随便写",
  "Model": "这个用本地可以随便写",
  "EmbeddingModel": "这个用本地可以随便写"
},

在实际本地运行时，上述的"EndPoint"将是服务的本地地址，而其他的Key、Model等字段在本地运行时并不会被实际验证，所以你可以随意填写。

激动人心的第一次启动

当我们配置好所有必要的参数之后，就可以启动程序，看看它第一次呼吸的样子了：

你看，AI已经在本地运行起来了，一切准备就绪后，界面会展示给我们一个期待已久的聊天窗口。

知识库文档的导入与应用

AntSK支持导入知识库文档，这意味着你可以将专业知识、文档或是你日常积累的笔记嵌入到系统中：

有了这些定制化的文档后，AntSK的AI能针对特定的内容给出更为精准的反馈和答案。

实战测试：和AI进行问答

终于到了最激动人心的时刻------我对AntSK进行了一系列的问答测试，看看它的表现如何：

备注：这个是离线运行效果，不依赖LLMAPI而是直接本地加载模型，并且我使用的是CPU进行的知识库文档导入和问答

从测试结果来看，AntSK回答问题流畅、准确，给人近乎实时聊天的体验。可以想象，在没有网络的情况下，这样的工具将极大地方便我们的生活和工作。

加入我们的交流群，一起成长

学习新技术的路上，交流总是非常重要的。我在这里诚邀各位感兴趣的朋友，加入我们的交流群。在这里，你可以和如我一样热爱.NET和AI技术的小伙伴们交流心得，分享经验，互相解答疑惑。

最后，如果你对AntSK或LLamaSharp有任何疑问或想要了解更多细节，不妨访问AntSK的GitHub项目页面，那里有更详细的文档和指引。

亲爱的朋友们，感谢你们阅读这篇文章，希望对你们了解和使用AntSK带来帮助。我将继续关注.NET/AI技术领域的最新发展，为大家带来更多优质的内容。记得关注、点赞和分享哦！我们下次见！