大模型推理

Scaled_dot_product_attention(SDPA)使用详解在学习huggingFace的Transformer库时，我们不可避免会遇到scaled_dot_product_attention(SDPA)这个函数，它被用来加速大模型的Attention计算，本文就详细介绍一下它的使用方法，核心内容主要参考了torch.nn.functional中该函数的注释。

【论文解读】《Training Large Language Models to Reason in a Continuous Latent Space》语言空间与推理的矛盾目前大多数大语言模型（LLMs）在解决复杂问题时采用链式思维（Chain-of-Thought, CoT）方法，即利用自然语言逐步推导出答案。然而，论文指出：

【大模型实战篇】GLM-Zero模型初代版本的尝鲜在 2024 年的最后一天，智谱发布了 GLM-Zero 的初代版本 GLM-Zero-Preview，是基于扩展强化学习技术训练的推理模型【1】。GLM-Zero-Preview的推理能力还挺强的，类似于open ai的o1模型，擅长在一些有确定性结果的场景，比如逻辑推理、数学、编程。

Python算法实战

在华为昇腾 910B 上进行阿里大模型 Qwen2.5 推理最近已有不少大厂都在秋招宣讲了，也有一些在 Offer 发放阶段。节前，我们邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。

汀、人工智能

人工智能大模型之开源大语言模型汇总（国内外开源项目模型汇总）Large Language Model (LLM) 即大规模语言模型，是一种基于深度学习的自然语言处理模型，它能够学习到自然语言的语法和语义，从而可以生成人类可读的文本。

LLM 推理优化探微 (3) ：如何有效控制 KV 缓存的内存占用，优化推理速度？编者按：随着 LLM 赋能越来越多需要实时决策和响应的应用场景，以及用户体验不佳、成本过高、资源受限等问题的出现，大模型高效推理已成为一个重要的研究课题。为此，Baihai IDP 推出 Pierre Lienhart 的系列文章，从多个维度全面剖析 Transformer 大语言模型的推理过程，以期帮助读者对这个技术难点建立系统的理解，并在实践中做出正确的模型服务部署决策。

vLLM介绍vLLM 工程github地址 Paged attention论文地址vLLM: A high-throughput and memory-efficient inference and serving engine for LLMs. SkyPilot: A framework for easily and cost effectively running machine learning workloads on any cloud.