私有化部署

大模型_GGbond1 个月前
人工智能·python·自然语言处理·大模型·私有化部署·llama·ai大模型
《我的AI大模型系列》一、本地部署大模型最近自己在学习大模型,会从推理、部署、微调,最后实现微调后成功调用工具。大模型 ( Large Model )是指具有大规模参数和复杂计算结构的机器学习模型。 这些模型通常由深度神经网络构建而成,拥有数十亿甚至数千亿个参数。大模型通过训练海量数据来学习复杂的模式和特征,具有更强大的泛化能力,可以对未见过的数据做出准确的预测。
人工智能小豪5 个月前
人工智能·langchain·大模型·llm·私有化部署·产品经理·ai大模型
LLM大模型企业应用实战-----为Langchain Agent添加记忆功能在开发复杂的AI应用时,赋予Agent记忆能力是一个关键步骤。这不仅能提高Agent的性能,还能使其在多轮对话中保持上下文连贯性。本文将详细介绍如何在Langchain框架中为Agent添加记忆功能,并深入解析每个步骤的原理和最佳实践。
Alex_StarSky10 个月前
llm·私有化部署·qwen·本地部署·qwen14b·24g显存·cuda12
GPT实战系列-实战Qwen在Cuda 12+24G部署方案ChatGLM4进行新闻发布,但还没有开源更新,在此之际,实战部署测试Qwen大模型。目前Qwen的口碑貌似还不错,测试显卡内存24G,毕竟有限,排除了Qwen14非量化方案Qwen-14B-Chat,只有 Qwen-7B-Chat,Qwen-7B-Chat-Int4,Qwen-14B-Chat-Int4 模型可用。测试过程中Qwen-7B-Chat出现显存bug,只能都用Int4方案。
架构成长指南1 年前
云原生·k8s·私有化部署·自动化运维
如何基于 k8s做私有化部署公众号「架构成长指南」,专注于生产实践、云原生、分布式系统、大数据技术分享。随着国内数字化转型的加速和国产化进程推动,软件系统的私有化部署已经成为非常热门的话题,因为私有化部署赋予了企业更大的灵活和控制权,使其可以根据自身需求和安全要求定制和管理软件系统。下面分享下我们的基于k8S私有化部署经验。
柏修的个人笔录1 年前
java·中间件·canal·私有化部署·sass
SaaS 电商设计 (五) 私有化部署-实现 binlog 中间件适配具体的中间件私有化背景在上文 SaaS` 电商设计 (二) 私有化部署-缓存中间件适配 已有做相关介绍.这里具体讨论的场景是通过解析mysql binlog 来实现mysql到其他数据源的同步.具体比如:在电商的解决方案业务流中经常有 ES 的使用场景,用以解决一些复杂的查询和搜索商品的支持以及某些数据分析的场景.那就需要做到 mysql 数据库到 ES 的数据同步.在支持 mysql 到 ES 数据同步的过程中,常用的技术方案有这样几种.
Mendix1 年前
人工智能·低代码·app·mendix·银行·私有化部署·西门子低代码
客户案例 | 数字化加速,金融企业实现3D打印式应用程序开发客户痛点:传统开发周期长,流程复杂,难以满足杭银消金在企业快速发展过程中的应用开发需求;内部业务因为优先级不高,导致开发资源分配有限,更加迟滞了管理部门数字化转型的进度。