下载ollama框架 下载本地大模型
ollama官网下载地址，如果打不开，记得魔法上网。
选择你想要的大模型下载到本地，到命令行窗口， ollama run "你要的大模型名字" ，就可以把大模型拉到本地，但是这个大模型，还只是一个本地大模型，并没有那个丰富的功能，所以我们就需要docker + MaxKB就可以实现微调大模型，创建本地知识库，跑私有本地大模型等操作。
MaxKB
MaxKB = Max Knowledge Base，是一款基于大语言模型和 RAG 的开源知识库问答系统，广泛应用于智能客服、企业内部知识库、学术研究与教育等场景。作为一款专注于知识库问答场景的软件产品，MaxKB 能够为企业的智能化进程注入新的动力，助力企业实现"提质增效"的目标。在知识库管理方面，MaxKB 帮助企业实现知识采集、知识入库、知识库构建的全流程自动化；在场景化智能搜索方面，MaxKB 能够解析用户输入的问题并匹配检索知识库；在回复准确性方面，MaxKB 采用了成熟的 LLM + RAG 技术，能够最大限度地降低大模型幻觉对知识搜索准确性的干扰，提高企业对业务数据的分类与召回能力；安全性方面，MaxKB 支持本地部署和调用本地大模型，有效管控企业使用知识库时越级访问的风险，以及公有模型在数据传输方面可能存在的安全隐患。借助 MaxKB，企业用户可以快速上线业务 AI 助手，将生成式 AI 能力应用于业务数据管理、内部资料查询、线上客户服务等领域，优化业务服务流程并切实提升用户体验。
部署服务器要求：
- 操作系统：Ubuntu 22.04 / CentOS 7.6 64 位系统
- CPU/内存：4C/8GB 以上
- 磁盘空间：100GB
因为MaxKB是需要Linux的操作系统，Windows要跑只能在docker中创建。
Docker
Docker下载地址，打不开，记得科学上网 Docker: Accelerated Container Application Development 。
下载完有可能碰到的问题：
- windows功能还没有开启虚拟化的功能
搜索启动或关闭windows功能 ，把关于虚拟机的打开。
2.WSL未安装或容器设置问题，解决方案是检查并安装WSL
现在，可以使用单个命令安装运行 WSL 所需的一切内容。 在管理员模式下打开 PowerShell 或 Windows 命令提示符，方法是右键单击并选择"以管理员身份运行"，输入 wsl --install 命令，然后重启计算机。
PowerShell
css
wsl --install- HV主机服务未运行
启动它。
这里就完成了Docker的安装，这里两个Containers是我已经创建好的，一个是maxkb，另一个是open-webUI都是非常好的把模型做微调和可视化的。
以下就是安装MaxKB和部署本地大模型。
安装MaxKB
Linux 操作系统 docker run -d --name=maxkb --restart=always -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data -v ~/.python-packages:/opt/maxkb/app/sandbox/python-packages cr2.fit2cloud.com/1panel/maxkb
Windows 操作系统 docker run -d --name=maxkb --restart=always -p 8080:8080 -v C:/maxkb:/var/lib/postgresql/data -v C:/python-packages:/opt/maxkb/app/sandbox/python-packages cr2.fit2cloud.com/1panel/maxkb
用Docker安装完以后就能在Docker中看到自动部署的容器，但是这种重新开机，本地知识库就没了，所以需要删除自动部署的容器，再自己创建一个。
1.在images中run maxkb。
2.高级选项
/var/lib/postgresql/data
自己创建一个container，这样数据就不会关机重启丢失了。
打开MaxKB界面，登录账号密码
默认登录信息 用户名：admin 默认密码：MaxKB@123..
登录以后得修改密码。
到这ollama下载的本地大模型就派上用场了。
添加私有模型，ollama选择你下载好的大模型，API域名添http:127.0.0.1:11434, 如果不行 就写host.docker.internal:11434， 因为docker部署的。如果还不行，检查ollama是否正确安装和选的模型是否正确，API KEY随便自己填。
这里就完成基本的搭建。
私有大模型的好处
- 数据隐私与安全：将模型和数据保留在本地服务器上，有助于确保敏感信息不被泄露给第三方。这对于处理个人身份信息（PII）、医疗记录或企业机密等敏感数据尤为重要。
- 定制化服务：通过使用私有知识库训练模型，可以根据特定业务需求对模型进行微调，使其更加符合特定行业或组织的专业术语、流程及背景知识。这提高了模型在特定应用场景中的准确性和实用性。
- 响应速度：直接在本地运行模型通常比通过网络连接远程API更快，因为减少了网络延迟。对于需要实时交互的应用来说，这一点至关重要。
- 成本控制：虽然初期投资可能较高（包括硬件采购、维护以及开发成本），但从长远来看，拥有自己的基础设施可以帮助降低对外部服务提供商的依赖，从而减少长期运营费用。
- 灵活性与控制力：拥有完全控制权意味着可以根据实际情况随时调整模型参数、更新训练数据集或改进算法逻辑，而无需受限于外部平台的规定或限制。
- 持续学习能力：能够利用最新的内部数据不断训练和优化模型，使系统保持最新状态，适应快速变化的环境。这对于需要频繁更新知识库的企业尤其有利。
- 合规性：某些行业受到严格的法规约束，如GDPR（欧盟通用数据保护条例）或其他国家/地区的类似规定。部署本地解决方案更容易满足这些法律要求，同时避免了跨境数据传输带来的复杂问题。
- 技术独立性：建立自己的AI生态系统减少了对外部技术供应商的依赖，增加了企业的自主创新能力，有利于形成核心竞争力。