llm

神也畏惧菠萝3 小时前
数据库·架构·llm·coze·coze数据库·数据库流程结构
Coze 工作流数据库 Day06:架构与高级循环控制的深度技术分析在构建企业级 AI 应用时,仅仅依靠大模型处理非结构化文本是远远不够的。真实的业务闭环不仅需要理解自然语言,更需要持久化存储(增删改查)、精准的数据提取,以及应对复杂批量任务的流程控制。本文将深入剖析 Coze 工作流中的两大硬核技术栈:结构化数据库操作与高级循环结构。从底层逻辑出发,厘清“知识库”与“数据库”的边界,拆解“LLM提取参数 + 数据库执行”的工程化范式;并深度解析数组循环、无限循环与中间变量在复杂业务流中的设计模式。最后,复盘在实际搭建中极易遇到的技术难点与避坑指南,帮助开发者完成从“文本
合尘猫3 小时前
人工智能·安全·llm
给 AI 客服加权限边界:12 项自查清单与一次越权测试把一个 LLM 客服接到业务系统上,它就不再是"聊天框",而是一个持有凭据的服务账号。 它能不能被管住,取决于三件事:输入侧有没有拦截、工具调用有没有白名单、全链路有没有留痕。
虎鲸不是鱼4 小时前
人工智能·自动化·大模型·llm·自进化agent
【虎鲸进化论 41】AI 的盲区清单:责任、利害、定义、关系、最后一公里与主体性本文是「虎鲸进化论」系列第 42 篇(正文第 41 篇)。上一篇:AI 的天花板;下一篇预告:护城河与杠杆 —— 执行位 → 定义位 → 资产位。
ZhengEnCi6 小时前
人工智能·性能优化·llm
多 Agent 系统如何复用 KV 缓存-前缀对齐比缓存开关更重要最容易误解的一点:prefix caching(前缀缓存)只优化 prefill(预填充),不影响 decode(解码)。
德林恩宝6 小时前
人工智能·大模型·llm·agent
搜索 Agent 的两条路——训练一个,还是工程搭一个这篇博客把“搜索 Agent”拆成两个完整部分来讲:第一部分是训练视角,讲 Search-R1 怎样用强化学习让模型自己学会搜索;第二部分是工程视角,讲不训练模型、直接用 API 搭一个能跑的搜索 Agent。
得物技术6 小时前
架构·llm·github
国产算力·昇腾 910C 大模型推理优化(上):镜像更新与参数调优,提速 40%|得物技术本文系统性地总结了我们以华为昇腾 910C 为国产算力底座,在大模型在线推理场景下完成国产化适配与性能优化工作。项目从建立 Qwen3.5-35B-A3B 在 910C 上的性能基线出发,通过 MindStudio 进行性能剖析定位瓶颈,按照「镜像与版本升级 → 参数与环境变量调优 → vllm-ascend 源码修改 → 算子层融合优化 → MTP 投机解码」五个层次逐层推进,累计落地 20 余项有效优化。
lucas_AI7 小时前
llm
一次 92 分一次 8 分,都是同一个系统:EVICALC 用 1730 道题教你做人💡 一句话总结:这是一篇不刷榜、专发「惨案」的系统报告:同一个文档问答系统,公开验证跑出 92.17% 的答案准确率,官方终测只有 8.61% 的联合准确率——两个数字都不是造假,也不能互相解释。作者老实交代了失败分析:OCR 分块把关键段落并进了无关块,系统对着盆栽花的故事解了一道病毒传播的题。比结论更值钱的是那句话:证据没进来,算术再漂亮也是白算。
lucas_AI7 小时前
llm
VLM 抽得出版面元素,却排不对标题层级?分层多模态记忆让上百页长文档「纲举目张」做过文档解析的人多半有过这种体验:VLM(视觉语言模型,能同时看图读字的模型)把一份三百页研报的标题、表格、公式抽得干干净净,每个标题前还贴心地标好了 # 的数量——然后你把整份 Markdown 拼起来一看,二级标题挂在一级标题上面,第三章的小节跑去做附录的孩子了。单页看页页正确,合起来全盘错乱。
lucas_AI7 小时前
llm
百万 token 塞进一张卡:论文测出你的 GPU 其实闲得慌想在本地一张 GPU 上跑长上下文模型,大家的默认答案是"量化压缩硬塞"。弗赖堡大学和 Computing Flows 的两位作者把 GPT 家族和 Qwen3 放到三代 NVIDIA 显卡上做了逐内核剖析,结论反转:单用户长上下文推理时 GPU 根本没被跑满——注意力内核占掉 90% 运行时间,带宽却只用到 21%;最新最贵的 Blackwell 在这件事上表现几乎和上一代持平。瓶颈在内核与编译器,不在硬件容量。做推理优化、内核工程或本地部署的工程师,这篇值得精读。
lucas_AI7 小时前
llm
潜伏 20 年没人能利用的 PHP 漏洞,AI 一周做成了武器10 月 21 日,PHP 发布计划外紧急安全更新,修掉核心引擎里两个潜伏超过十年的内存安全漏洞(CVE-2026-109618 / CVE-2026-109619,CVSS v4.0 评分最高 9.2,安全圈统称 PHP2Shell)。它们能让你服务器的 PHP 进程被不需要登录的攻击者直接执行任意代码,或者偷走内存里的密码、token 和 API key。PHP 驱动着全球约 70% 的网站,WordPress、Drupal、Joomla 全部中招。最有意思的是:这漏洞在代码里躺了十几年没人能稳定利用
咕泡科技8 小时前
人工智能·深度学习·机器学习·llm·nlp
深度学习碾压机器学习?经典机器学习是否真的无用了?从LLM底层逻辑到工业落地全景解析近两年大模型技术爆发,NLP、AIGC 赛道成为绝对热点,大量开发者涌入深度学习领域。与此同时,一个争议性的观点在新人圈里广为流传:
孟健1 天前
人工智能·llm·ai编程
Claude Code 接入 DeepSeek V4.1 与 MiniMax M3.1 实测:200+ TPS 下的代码准确率与 Token 账单我把全年 1.7 万元人民币的 AI 工具订阅账单拉出来复盘。说实话我没想到,高频接口修复居然吃掉了近四成预算。
stereohomology1 天前
人工智能·学习·llm
我对DeepSeek4.1flash能力变化的感觉和第三方评估相当比如,之前感觉早期 deepseek v4.1 flash比 glm5.3flash厉害,但可能还不如glm5.3和step 5 preview; 但10月17日更新之后已经反超step 5 preview
EDPJ1 天前
llm·负载均衡·大语言模型·moe·推测解码(sd)
MoE 与推测解码(Speculative Decoding)加速:为什么慢、什么时候慢、怎么让它不慢?学术交流群:922230617目录0. 引言0.1 基础0.1.1 算法机制0.1.2 工程实现0.1.3 模型架构
goehou1 天前
llm·sse·流式输出·服务端开发·chatserver
LLM ChatServer 实战 - 会话管理、SSE 流式与错误语义的接口设计(附清单)客服机器人从命令行 demo 变成给三个人用的内部工具,中间隔着一层 HTTP 服务。模型本身早就调通了,这两天把服务层重构了一遍,精力主要消耗在把会话管理、流式输出和错误语义这些杂事做对。这篇文章把接口设计里的关键决策和踩过的坑整理出来。
狂师1 天前
人工智能·llm·测试
AI Agent 评测:到底要测什么、新手怎么测?(附完整流程)现在做一个 Agent 有多容易?Claude Code、Codex、WorkBuddy 这些产品,很多人要么用过,要么天天在用。加上 AI 辅助编程,我们甚至可以让 Codex 帮忙做出一个类似 Codex 的东西。开发门槛降得飞快,一个能跑的 Agent,很快就能拼出来。
lucas_AI1 天前
llm
不训扩散模型也能生成文本?BERT 本来就是半个去噪生成器,加个外置解码器就够TL;DR:扩散语言模型(dLLM)的「扩散机器」到底有多少是必需的?这篇 arXiv 2610.26601 把它全删了——不要时间步、不要噪声调度、不要反向过程,只留「反复跑 BERT 预测掩码位 + 按置信度逐步提交」的傻瓜解码器。结果:冻结 BERT 本来就能迭代还原 61% 的 15% 掩码文本;普通 MLM 微调后,QQP 释义生成 ROUGE-L 0.583,跟显式扩散训练的 DiffusionBERT 已发表值 0.585 同档。注意边界:结论只在条件生成 + BERT 级小模型上成立。
lucas_AI1 天前
llm
单集群一天吐 155 万亿 token 的引擎开源了:DeepSeek 放出生产级推理框架 DeepInferTL;DR:10 月 20 日,DeepSeek 把支撑自家线上服务的推理引擎 DeepInfer 以 Apache 2.0 开上 GitHub:vLLM 深度魔改、只服务 DeepSeek 模型族,首发支持 V4.1-Flash,英伟达 SM100 与华为昇腾 950 双栈同步适配;官方口径单集群日吞吐 155 万亿 token——注意这是自报数字,尚无第三方复现。KV cache 与分离式部署不在本次范围内,直接替换现有部署前先看清单。
lucas_AI1 天前
人工智能·llm
证不动的引理别再死拆了:Maestro 给 Lean 证明装上「总指挥」,研究级定理多证 63%TL;DR:Lean 证明 agent 卡住时,现有系统的反应永远是「再拆细一点」。Maestro(UIUC 与 AWS AI Labs 等,arXiv 2610.25920)把失败处理升维成全局调度:证明器交出「为什么失败」的诊断,一位看得见整张证明蓝图的协调者决定是重试、补引理、改伪命题还是整个撤掉换路线——研究级定理集上平均多证 63%,PutnamBench 669/672、IMO 2026 六题全对,且全程开源、探索过程可审计。