【亲测】MaxKB如何对接 Xinference 大模型

现在市面上关于基于 LLM 大模型的开源 AI 知识库有很多,比如,Dify、FastGPT、MaxKB等。其中,体验下来,觉得MaxKB整体页面使用起来比较流畅,简单易操作,不仅支持国内外主流的大模型对接,还支持流程编排,虽然目前还不支持函数库,但它的更新速度是很快的,1个月一个版本,从官网可知在8月底就会出函数库功能。如果有个性化需求调用的,可以期待一下。

好了,话不多说,开始正文。

一、MaxKB 是什么?

官网可知,MaxKB = Max Knowledge Base,是一款基于 LLM 大语言模型的开源知识库问答系统,旨在成为企业的最强大脑。

产品优势:

  • 开箱即用
    支持直接上传文档、自动爬取在线文档,支持文本自动拆分、向量化、RAG(检索增强生成),智能问答交互体验好;
  • 无缝嵌入
    支持零编码快速嵌入到第三方业务系统,让已有系统快速拥有智能问答能力,提高用户满意度;
  • 灵活编排
    内置强大的工作流引擎,支持编排 AI 工作流程,满足复杂业务场景下的需求;
  • 模型中立
    支持对接各种大语言模型,包括本地私有大模型(Llama 3 / Qwen 2 等)、国内公共大模型(通义千问 / 智谱 AI / 百度千帆 / Kimi / DeepSeek 等)和国外公共大模型(OpenAI / Azure OpenAI / Gemini 等)。

二、开始部署

查看官网文档,这里的部署方式也很简单,在这里不做过多的介绍了,如果不会的小伙伴可以去参考一下官网。
https://maxkb.cn/docs/installation/offline_installtion/

三、对接 Xinference 平台

3.1 在MaxKB找到模型设置

因为MakKB本身不支持Xinference平台接入,但提供了OpenAI的接入方式,恰好 Xinference 也是支持 OpenAI接口的,所以刚好也可以对接。

3.2 添加模型

点击"添加模型",这里参数注意。

API 域名:http://192.168.1.2:9997/v1/ (v1不能省略)

如果没有部署好xinference平台的,参考:如何部署xinference

填写完参数,点击"添加"按钮,即可添加成功。如果报错,检查网络或者所填写地址是否能否访问。

四、创建应用

添加好了模型,直接创建应用即可。

这里选择对应的模型即可使用。

五、总结

MaxKB作为国内开源私有化知识库搭建平台,有非常美观的操作页面和简单易懂的流程配置,还支持主流的模型对接,有着很大的潜力。

以上就是对接 Xinference 平台的操作步骤,欢迎讨论交流。

相关推荐
qq7422349841 天前
免费版Markdown 编辑器:Typora
大模型·编辑器·markdown
nju_spy1 天前
南京大学 LLM开发基础(二)大语言模型解析 -- 基于HF LlaMA实现的讲解
人工智能·pytorch·深度学习·大模型·多头注意力·rmsnorm·位置掩码
胡耀超1 天前
开源生态与技术民主化 - 从LLaMA到DeepSeek的开源革命(LLaMA、DeepSeek-V3、Mistral 7B)
人工智能·python·神经网络·开源·大模型·llama·deepseek
love530love1 天前
Windows 系统部署 阿里团队开源的先进大规模视频生成模型 Wan2.2 教程——基于 EPGF 架构
运维·人工智能·windows·python·架构·开源·大模型
大模型铲屎官1 天前
【LangChain 核心组件指南 | Agent篇】从零到精通:深度解析 create_agent 与 ReAct 智能体构建
人工智能·python·深度学习·langchain·大模型·agent·react智能体
数据堂官方账号2 天前
版权数据集上新 | 覆盖大模型、多模态大模型、语音识别、语音合成及计算机视觉等多领域
人工智能·计算机视觉·大模型·数据集·语音识别·语音合成·多模态大模型
人工智能培训2 天前
Transformer-位置编码(Position Embedding)
人工智能·深度学习·大模型·transformer·embedding·vision
Lethehong2 天前
DeepSeek-V3.1-Terminus:蓝耘API+CherryStudio实测国产最新开源模型,推理能力竟让我后背发凉
人工智能·大模型·deepseek·蓝耘元生代·蓝耘maas·ai ping
居7然2 天前
如何高效微调大模型?LLama-Factory一站式解决方案全解析
人工智能·大模型·llama·大模型训练·vllm
GPUStack2 天前
昇腾多机推理极速上手:10倍简化的 DeepSeek R1 超大规模模型部署
大模型·llm·昇腾·npu·分布式推理