推理

LLM - 配置 ModelScope SWIFT 测试 Qwen2-VL 模型推理(Infer) 教程 (1)欢迎关注我的CSDN：https://spike.blog.csdn.net/ 本文地址：https://spike.blog.csdn.net/article/details/142827217

在 MTT GPU 上使用 llama.cpp 推理大语言模型因其出色的自然语言理解和生成能力而迅速被广泛使用，llama.cpp 大幅降低了进行大语言模型推理的门槛，MTT GPU 同样也是 llama.cpp 支持的运行平台，能够充分利用硬件的性能来助力用户的大语言模型应用。

网络研究院

解码 OpenAI 的 o1 系列大型语言模型OpenAI 表示，其 Strawberry 项目已升级为新的大型语言模型 (LLM) 系列，公司将其命名为 OpenAI o1。

人工智能培训咨询叶梓

全球和局部精细化：提升大模型推理能力的新方法人工智能咨询培训老师叶梓转载标明出处尽管大模型在数学、科学或编程任务上表现出优异的推理精细化能力，但它们在没有外部反馈的情况下，很难识别何时何地需要精细化。为了解决这一问题，来自Meta的FAIR团队和佐治亚理工学院的研究者们提出了一种新的方法——全球和局部精细化（Global and Local Refinements），旨在提升LLMs在没有外部反馈的情况下的自我精细化能力。

llama-recipes使用可组合的FSDP和PEFT方法微调Meta Llama3，以覆盖单/多节点GPU的脚本。支持用于摘要和问答等应用程序的默认和自定义数据集。支持许多直接的推理解决方案，例如用于本地或云部署的 HF TGI、VLLM。展示WhatsApp 和 Messenger 的 Meta Llama3的演示应用程序。

大数据AI人工智能培训专家培训讲师叶梓

智能旅行规划的未来：大模型与形式化验证的融合我们在做旅行规划时面对众多的目的地选择、复杂的交通连接、预算限制以及个人偏好等多重因素，即使是最有经验的旅行者也可能会陷入选择困境。传统的旅行规划方法往往依赖于人工操作，这不仅耗时耗力，而且难以保证计划的最优性和可执行性。

大数据AI人工智能培训专家培训讲师叶梓

交互式知识库问答：一种结合大型语言模型的多轮交互方法在当今信息爆炸的时代，人们每天都要处理海量的数据和信息。在这样的背景下，基于知识库的问答系统（KBQA）成为了一个重要的研究领域，它旨在使计算机能够理解自然语言提出的问题，并从结构化的知识库中检索出准确的答案。然而，KBQA面临着一系列挑战，尤其是如何将复杂的自然语言问题转化为可在知识库上执行的查询，以及如何在资源受限的情况下实现高效的问答。

大数据AI人工智能培训专家培训讲师叶梓

稀疏高效扩散模型：推动扩散模型的部署与应用数据驱动的世界中，生成模型扮演着至关重要的角色，尤其是在需要创建逼真样本的任务中。扩散模型（Diffusion Models, DM），以其卓越的样本质量和广泛的模式覆盖能力，已经成为众多数据生成任务的首选。然而，这些模型在实际部署时面临的挑战，如长时间的推理过程和对内存的大量需求，限制了它们在资源受限的设备上的应用。为了克服这些限制，本文提出了一种创新的稀疏微调方法，旨在不牺牲生成质量的前提下，显著提升扩散模型的效率和实用性。这种方法通过在卷积和线性层引入稀疏掩码，有效减少了模型的计算复杂度，降低了内存

大数据AI人工智能培训专家培训讲师叶梓

构建高效AI代理：单代理与多代理架构的策略与挑战AI代理架构正成为实现复杂任务自动化的关键技术。这些代理不仅需要处理信息、做出决策，还要能够与外部环境进行交互。随着ChatGPT等生成式AI应用的兴起，研究者们开始探索下一代AI应用，其中AI代理的角色愈发重要。单代理架构以其简洁高效的特点，在处理明确定义的任务时表现出色；而多代理架构则通过代理间的协作，展现了解决更为复杂问题的巨大潜力。然而，这些架构的有效性不仅取决于它们的设计，还依赖于诸如推理、规划和工具调用等关键能力的实现。本文将深入探讨AI代理架构的分类、关键考虑因素、以及单代理与多代理架构的特

codebat_raymond

用于视频大型多模态模型(Video-LMMs)的复杂视频推理和鲁棒性评估套件最近,大型语言模型(LLMs)在同时处理广泛的NLP任务的同时展示了令人印象深刻的推理和规划能力。因此,将它们与视觉模态集成,特别是用于视频理解任务,催生了视频大型多模态模型(Video-LMMs)。这些模型充当视觉聊天机器人,接受文本和视频作为输入,并处理各种任务,包括视频理解、详细的视频理解和行为定位。“视频理解” 通常指的是对视频内容的基本识别和理解，比如识别视频中的人物、场景和活动。这涵盖了对视频的一般性内容的理解。而"对视频内容的深入理解" 则是更深层次的，不仅仅是识别元素，还包括理解视频中的情

xinference - 大模型分布式推理框架Xorbits Inference（Xinference）是一个性能强大且功能全面的分布式推理框架。可用于大语言模型（LLM），语音识别模型，多模态模型等各种模型的推理。通过 Xorbits Inference，你可以轻松地一键部署你自己的模型或内置的前沿开源模型。无论你是研究者，开发者，或是数据科学家，都可以通过 Xorbits Inference 与最前沿的 AI 模型，发掘更多可能。

ZhaoDongyu_AK47

GEMM优化(RISC-V平台)本项目记录了在riscv平台上优化SGEMM（单精度浮点通用矩阵乘法）的过程。代码仓库位于https://github.com/Zhao-Dongyu/sgemm_riscv

深度学习手写字符识别：推理过程本篇博客主要是跟着B站中国计量大学杨老师的视频实战深度学习手写字符识别。第一个深度学习实例手写字符识别

读像火箭科学家一样思考笔记03_第一性原理（上）