多模态大模型

具身智能的下一层：VLA、WAM 之后，抢的是 Harness 这层“衔接”VLA管动作，WAM管预测，Harness管什么？——答案不在模型里目录01 同一个机器人系统里，三者分别负责什么？

神奇的代码在哪里

没有独显也能跑多模态：MiniCPM-V 4.7-1B 本地 OCR 实测（附源码）想在没有独立显卡的机器上跑多模态大模型做 OCR？本文用 llama.cpp + GGUF 在一台 Intel 核显 + 7.8GB 内存的机器上部署了 MiniCPM-V 4.7-1B，对 5 类图片做了完整 OCR 实测，期间踩了两个坑：llama.cpp 版本过旧导致加载视觉投影时报 unknown projector type: minicpmv4_7，以及模型默认开启思考模式导致结构化输出跑偏。部署过程、测试方法和真实结果都在下面，供同样没有显卡的读者参考。

CodeBuddy × 硅基流动：从零搭建 PaddleOCR-VL 文档识别应用（上篇）——需求拆解、工程骨架与 SiliconFlow 集成摘要：本篇记录我如何用 AI 编程助手 CodeBuddy 结对编程，在半小时内从一句自然语言需求出发，搭出一个可运行的「Spring Boot + Thymeleaf + 硅基流动（SiliconFlow）PaddleOCR-VL」文档 OCR 应用。上篇聚焦工程诞生过程、SiliconFlow OpenAI 兼容接口的 Java 集成与核心代码拆解；下篇会讲提示词调优实测、前端体验打磨、乱码等踩坑与生产化改造。

拉你进_教堂

小龙虾技能之【Contactless Health Risk Screening Tool | 非接触式健康风险检测分析工具】简介智能健康/识别分析中枢 · 图片/视频智能分析 · 结构化报告 · 历史报告云端查询By capturing frontal facial images and analyzing multimodal physiological signals—including micro-expressions, skin color variations, and eye movement patterns—this capability comprehensively assesses early risks

拉你进_教堂

小龙虾技能之【Basic Object Detection Skill | 基础目标检测技能】简介智能健康/识别分析中枢 · 图片/视频智能分析 · 结构化报告 · 历史报告云端查询This capability performs real-time detection on target regions within video streams or images, precisely identifying key objects such as personnel, vehicles, non-motorized vehicles, pets, and packages. Supporting

MiniMax H3 和 Wan2.2的对比MiniMax H3 和 Wan2.2 都是当前顶尖的开源/可本地化视频生成模型，但它们的底层定位、优势赛道以及生成逻辑完全不同。

拉你进_教堂

小龙虾技能之【Intelligent Public Smoking Detection Skill | 公共场所吸烟行为智能检测技能】简介智能分析中枢 · 图片/视频智能分析 · 结构化报告 · 历史报告云端查询Based on advanced computer vision and deep learning algorithms, this feature provides 24/7, high-precision automated monitoring of smoking behaviors within target areas. The system supports multi-source detection via r

拉你进_教堂

小龙虾技能之【Parkinson‘s & Epileptic Behavior Recognition Skill | 帕金森癫痫行为识别技能】简介智能分析中枢 · 图片/视频智能分析 · 结构化报告 · 历史报告云端查询Based on advanced computer vision technology, this feature conducts 24/7 intelligent scanning of designated surveillance areas such as community stations, residential entrances, and office building lobbies. The system

论文复现现场

MiniCPM-o 4.5 需要多少显存？RTX 3090 24GB 的 BF16、AWQ、GGUF 部署边界与验收方法先给结论：RTX 3090 的 24GB 显存不能按官方口径稳定承载 MiniCPM-o 4.5 完整 PyTorch 全双工 Web Demo；它更适合 AWQ、GGUF，或关闭部分模态后的单轮验证。若目标是原精度、完整音视频全双工服务，应按官方“至少 28GB 显存”要求选卡。

HyperAI超神经

SenseNova-U1.5-8B-MoT 统一生成与理解，解锁原生多模态创作；DeepSeek-V4-Flash-Vision-Exp 拓展视觉理解新能力SenseNova-U1.5-8B-MoT 是商汤科技 SenseNova 团队于 2026 年发布的原生统一多模态生成模型，采用 NEO-unify 架构设计，可在单一模型内完成图像生成、图像编辑与多模态理解等任务。模型公开约 18B 参数的 BF16 精度版本，在图像质量、文字渲染、4K 图像生成和复杂指令遵循等方面全面升级，能够实现更精准的画面控制、更稳定的主体保持以及更丰富的视觉创作能力，为海报设计、图像编辑和多模态内容生产提供更加高效的 AI 解决方案。

Qwen3.8-27B-FP8 降低大模型部署门槛，开启高效多模态智能体验；MiniMax H3-1K 发布千段视频测试数据集，全面评估 AI 视频生成能力公共资源速递6 个公共数据集：* RSNA Knee MRI 膝关节 3D 异常数据集* MiniMax H3-1K 模型图像视频测试数据集

HyperAI超神经

在线教程丨最高2K+原生双声道，MiniMax H3统一音视频生成从一句创意描述到一段完整视频，MiniMax H3 正在推动 AI 视频生成从「内容生成」迈向「智能创作」新阶段。

商汤开源SenseNova U1.5 Lite拆解：8B装下原生统一多模态，NEO-Unify架构与4K图像生成的三笔工程账商汤科技在2026年8月21日把SenseNova U1.5 Lite正式推向开源，权重落在HuggingFace的sensenova/SenseNova-U1.5-8B-MoT-Preview，ModelScope镜像与GitHub仓库OpenSenseNova/SenseNova-U1当天同步可用，协议选了限制最少的Apache 2.0。发布节奏干脆利落，没有邀请码也没有排队申请，工程师当天就能把权重拉到本地。轻量级的定位直接写在名字里，Lite后缀对应的正是8B这一档体量。对一个原生统一的多模态模型

紫东太初 GMC 核心集剪枝拆解：少 80% Token 还满血，多模态视觉 Token 冗余有了新解法多模态大模型这几年越跑越快，但有一笔账始终绕不开：图像进入模型的那一刻，就被拆成了成百上千个视觉 Token。一张高分辨率图片经过视觉编码器，往往要吐出上千个离散表示，这些表示要和文字一起进入解码器参与每一层注意力计算。Token 越多，前向计算越重，显存占用越高，推理时延越长。视觉 Token 的冗余，已经成为多模态模型规模化落地最扎眼的瓶颈之一。

【生命涌现植物健康分析】在火山云Agent平台的使用教程深耕电商、本地生活、小游戏与红果短剧四大黄金赛道。海量即插即用、高转化的商业级 Skill，助你快人一步抢占 AI 增长红利。

【CVPR 2026】CoF：Chain-of-Frames，让视频大模型按帧推理｜从多模态视频推理范式视角本文解读 CVPR 2026 论文《Chain-of-Frames: Advancing Video Understanding in Multimodal LLMs via Frame-Aware Reasoning》。该论文提出 Chain-of-Frames（CoF，帧感知推理链），通过融合单阶段链式推理、显式帧引用与真实+合成双通道数据生成，让视频多模态大模型在回答前先输出一段明确引用关键帧的推理过程，其特别之处在于把"关键帧检索"内化为纯文本推理轨迹中的帧编号引用，无需任何辅助模型。实验表明 C

多模态大模型推理流程解析本文想从数据流的方式走一遍多模态大模型推理流程，但不包含vit和llm具体的计算流程，因为里面基本是常见的attention计算方式。attention的计算方式可以参考《Attention Is All You Need》算法详解

RoPE通俗讲解现有的attention结构如下图所示，输入的N长度的features之间在计算attention的时候是没有位置关系的。但是在不管是文本、图片还是视频两个feature之前是有先后、远近关系的。为了让模型能够学到这种关系，现在有大量的文章提出位置编码相关的内容。其中RoPE是比较常用的一种位置编码，包括后续一系列改进的位置编码都是在RoPE基础上做的，例如Qwen用于多模态的MD-RoPE可外推的Yarn。

生命涌现的小龙虾技能之【Human Pose Recognition Skill | 人体姿态识别技能】简介智能分析中枢 · 图片/视频智能分析 · 结构化报告 · 历史报告云端查询This capability supports the recognition of various human postures, including standing, sitting, lying down, bending, raising hands, running, and falling, while featuring abnormal limb posture identification and fall w

SimpleLearingAI

生成图像/视频质量评估评估生成图像和视频的质量是生成模型（GAN、VAE、DDPM、Stable Diffusion 等）研发中的关键环节。评估指标分为主观评估和客观评估两大类。