大模型

骚戴3 小时前
java·人工智能·python·大模型·api·vllm
DeepSeek V3 & Llama 3 推理避坑指南:自建 vLLM 集群 vs API 网关架构深度对比前言:2025年是大模型“百模大战”转入“推理落地”的关键一年。DeepSeek V3、Llama 3 70B 等开源权重的发布,让开发者有了更多选择。但当真正试图将这些模型部署到生产环境时,我们不仅要面对复杂的 CUDA 依赖,还要处理显存碎片、KV Cache 优化以及高昂的硬件成本。本文将从架构师视角,深度拆解目前主流的两种推理方案:自建高性能推理集群 与 使用 API 聚合网关。
世优科技虚拟人4 小时前
人工智能·大模型·智慧城市·数字人·政务·智慧政务·智能交互
智慧政务从试点到普及:AI数字人一体机在政务大厅的深度应用分析当前,全球范围内数字政务转型步伐加快,“人工智能+”政务服务持续深化。在这一进程中,单纯的线上化、表单化已无法满足群众对政务服务能力的新期待。智慧政务的建设核心,正从后端系统打通向前端服务体验升级转移。AI数字人技术,特别是高度集成、开箱即用的数字人一体机,凭借其拟人化交互与业务办理引导能力,迅速从展厅、银行等场景走向政务大厅与政务中心,成为提升线下服务能力、补充窗口人力、塑造亲民智能政府形象的创新解决方案。
大千AI助手4 小时前
人工智能·gpt·机器学习·开源·大模型·大千ai助手·gpt-neo
GPT-Neo:开源大型自回归语言模型的实现与影响本文由「大千AI助手」原创发布,专注用真话讲AI,回归技术本质。拒绝神话或妖魔化。搜索「大千AI助手」关注我,一起撕掉过度包装,学习真实的AI技术!
AndrewHZ4 小时前
人工智能·大模型·llm·压力测试·模型部署·通义千问·qwen3-32b
【大模型技术学习】大模型压力测试全攻略:以Qwen3-32B为例在大模型落地生产环境的过程中,压力测试是不可或缺的一环——它能帮我们验证模型在高并发场景下的稳定性、响应效率和资源利用率,避免上线后出现服务崩溃、响应超时等问题。本文以阿里通义千问的Qwen3-32B模型为例,从核心指标、环境搭建、代码实现到结果分析,完整讲解大模型压力测试的全流程。
暴风鱼划水5 小时前
人工智能·语言模型·自然语言处理·大模型·llm
大型语言模型(入门篇)A大型语言模型,通常缩写为LLMs,是人工智能(AI)和自然语言处理(NLP)的一部分。LLM本质上是一种AI模型,专门用于理解、生成和与人类语言文本交互,可以将其视为一个经过训练、能处理单词、句子和段落的复杂系统。 “大型语言模型”名称拆解:
般若Neo6 小时前
大模型·大模型应用·企业级大模型
企业级大模型开发及应用 - 企业应用大模型的方法插件是一种将外部能力与大语言模型相结合的机制,可以帮助大模型访问最新信息、运行计算或使用第三方服务,比如访问网络、访问文档、与第三方应用相连接、绘图等。
todoitbo6 小时前
人工智能·ai·大模型·dify·流处理·工具流
从零搭建 Dify AI 平台:一次跌宕起伏的部署之旅🎏:你只管努力,剩下的交给时间🏠 :小破站本文记录了在 CentOS Stream 9 服务器上使用 Docker Compose 部署 Dify 的完整过程,包括踩过的所有坑和解决方案。
herosunly1 天前
大模型·aigc·合合信息·文档神器·合合信息大模型加速器
大模型文档神器:合合信息大模型加速器大家好,我是herosunly。985院校硕士毕业,现担任算法研究员一职,热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名,CCF比赛第二名,科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法行业就业。希望和大家一起成长进步。
般若Neo1 天前
大模型·通用大模型·行业大模型·专属大模型
企业级大模型开发及应用 - 通用大模型与行业大模型从商业模式看,大模型已形成“基础 - 行业 - 应用”三层架构,三层服务相互促进,协同优化共同支撑产业转化和发展。
骚戴1 天前
人工智能·大模型·llm·api·ai gateway
架构视角:Gemini 3.0 Pro 原生多模态能力的边界与工程落地Abstract: 随着 Model-as-a-Service (MaaS) 的普及,如何在受限网络环境下构建高可靠的 GenAI 应用成为工程挑战。本文将分析 Gemini 3.0 Pro 的 Native Multimodal 架构特性,并探讨基于 n1n.ai 聚合网关(Aggregation Gateway)的跨区域调用方案。
被制作时长两年半的个人练习生1 天前
大模型·agent·知识库
agent和知识库技术发展的一个可能性最近在用大模型根据文件补充的信息来回答问题的场景中,发现面对需要举一反三的例子时,就会陷入被动,例如让大模型生成一份代码,然后根据文档中的信息来修复代码中的错误时,代码用到的是double之类的类型,但文档中只有float类型,面对这种场景,大模型并没有正确的将文档中的float类型替换成double类型,而是直接生硬的用float类型填充了原来的代码。 这种场景类似于我们学习中常见的刷题战术,刷了题却不完全理解,考试时面对新的场景就不能正确的完成问题的解决。 期待agent和知识库的发展能够提供一些解决
骚戴1 天前
java·人工智能·架构·大模型·gateway·api
架构设计之道:构建高可用的大语言模型(LLM) Enterprise GenAI GatewayTL;DR: 在 LLM 应用落地过程中,如何解决多模型供应商的 API 碎片化、成本不可控及合规审计问题?本文将深入探讨 “Unified AI Gateway” 的设计模式,并提供基于 Python 的路由层实现代码。
AI大模型学徒2 天前
chatgpt·大模型·知识库·deepseek
大模型应用开发(十六)_知识库2OpenAI 文档参考:https://platform.openai.com/docs/guides/function-calling
愤怒的可乐2 天前
人工智能·大模型·智能体
从零构建大模型智能体:OpenAI Function Calling智能体实战随着大语言模型逐步具备“理解—推理—行动”的能力,如何让模型稳定、可控地调用外部工具,已成为构建智能体(Agent)系统的关键一环。相比早期基于文本协议的工具调用方式,OpenAI 推出的 Function Calling(Tools)机制,为模型与程序世界之间建立了一套结构化、可验证的交互接口。
Thomas_Cai2 天前
人工智能·大模型·agent·智能体·mcp
MCP服务创建指南目录一、问题原点二、MCP基础知识2.1 Function Call2.2 MCP2.3 MCP VS Function Call
谁怕平生太急2 天前
大模型
浅读智谱经典之作《MobileRL》MobileRL:Online Agentic Reinforcement Learning for Mobile GUI Agents
大千AI助手2 天前
人工智能·机器学习·大模型·编辑距离·相似度·大千ai助手·编辑相似度
编辑相似度(Edit Similarity):原理、演进与多模态扩展本文由「大千AI助手」原创发布,专注用真话讲AI,回归技术本质。拒绝神话或妖魔化。搜索「大千AI助手」关注我,一起撕掉过度包装,学习真实的AI技术!
山顶夕景2 天前
大模型·agent·评估·评测集
【Agent】Evaluation and Benchmarking of LLM Agents: A Survey现在 LLM Agent 越来越复杂: 会规划、用工具、有记忆、能多轮互动、能协作但 评测方法仍停留在 LLM 级别:
paopao_wu2 天前
人工智能·ai·开源·大模型·tts
智普GLM-TTS开源:可控且富含情感的零样本语音合成模型GLM-TTS 是智谱 AI(Zhipu AI)CogAudio 团队开发的开源文本到语音(TTS)合成系统,是 GLM 系列的语音扩展,于 2025 年发布。
CoderJia程序员甲2 天前
ai·开源·大模型·github·ai教程
GitHub 热榜项目 - 日榜(2025-12-13)生成于:2025-12-13共发现热门项目: 14 个榜单类型:日榜本期GitHub热榜显示AI智能体开发依然是绝对主流,多个高星项目聚焦于提升其实际应用能力。技术热点集中在为LLM构建强大的上下文记忆与持久化能力、制定智能体交互规范以及提供开箱即用的生产级部署方案。从Claude代码会话记忆插件到Goose多功能执行AI,再到Dify和RAGFlow等成熟平台,开发者正致力于解决智能体开发中的工程化挑战,推动技术从实验走向落地。这些项目提供了可复现的代码和详尽教程,直接帮助开发者构建更可靠、高效的AI应