genai

机械鹦鹉与真正的智能：大语言模型推理能力的迷思编者按：大语言模型真的具备推理能力吗？我们是否误解了"智能"的本质，将模式匹配误认为是真正的推理？本文深入探讨了大语言模型（LLMs）是否真正具备推理能力这一前沿科学问题，作者的核心观点是：LLMs 本质上是高级的模式识别机器，而非真正具备逻辑推理能力。

制作并量化GGUF模型上传到HuggingFace和ModelScopellama.cpp 是 Ollama、LMStudio 和其他很多热门项目的底层实现，也是 GPUStack 所支持的推理引擎之一，它提供了 GGUF 模型文件格式。GGUF (General Gaussian U-Net Format) 是一种用于存储模型以进行推理的文件格式，旨在针对推理进行优化，可以快速加载和运行模型。

在昇腾Ascend 910B上运行Qwen2.5推理目前在国产 AI 芯片，例如昇腾 NPU 上运行大模型是一项广泛且迫切的需求，然而当前的生态还远未成熟。从底层芯片的算力性能、计算架构的算子优化，到上层推理框架对各种模型的支持及推理加速，仍有很多需要完善的地方。

在昇腾Ascend 910B上运行Qwen2.5推理目前在国产 AI 芯片，例如昇腾 NPU 上运行大模型是一项广泛且迫切的需求，然而当前的生态还远未成熟。从底层芯片的算力性能、计算架构的算子优化，到上层推理框架对各种模型的支持及推理加速，仍有很多需要完善的地方。

网络研究院

到 2029 年，人工智能驱动的电子商务欺诈将超过 1070 亿美元随着人工智能生成的深度伪造产品的使用日益增多，电子商务欺诈行为急剧增加，给在线商家带来了前所未有的安全挑战。

老A的AI实验室

AI Agent的20个趋势洞察结论整理自【QuestMobile2024 AI智能体应用洞察半年报】：以下是原报告：

GPUStack 0.2：开箱即用的分布式推理、CPU推理和调度策略GPUStack 是一个专为运行大语言模型（LLM）设计的开源 GPU 集群管理器，旨在支持基于任何品牌的异构 GPU 构建统一管理的算力集群，无论这些 GPU 运行在 Apple Mac、Windows PC 还是 Linux 服务器上，GPUStack 都能将它们纳入统一的算力集群中。管理员可以从如 Hugging Face 等流行的大语言模型仓库中轻松部署任意 LLM，开发人员则可以像访问 OpenAI 或 Microsoft Azure 等供应商提供的公有 LLM 服务的 API 一样，简便地通过

GPUStack 0.2：开箱即用的分布式推理、CPU推理和调度策略GPUStack 是一个专为运行大语言模型（LLM）设计的开源 GPU 集群管理器，旨在支持基于任何品牌的异构 GPU 构建统一管理的算力集群，无论这些 GPU 运行在 Apple Mac、Windows PC 还是 Linux 服务器上，GPUStack 都能将它们纳入统一的算力集群中。管理员可以从如 Hugging Face 等流行的大语言模型仓库中轻松部署任意 LLM，开发人员则可以像访问 OpenAI 或 Microsoft Azure 等供应商提供的公有 LLM 服务的 API 一样，简便地通过

老A的AI实验室

Cyber Weekly #20本周三（8月14日），xAI 正式发布了新一代 Grok 2 大模型。xAI性能与GPT-4o相当，甚至在某些方面更出色。Grok-2具备先进的推理能力，包括两个版本：Grok-2和Grok-2 mini，已在X平台上发布。该模型在编码、复杂问题解决和数学方面表现优异，并且具有多模态理解能力。

理性看待、正确理解 AI 中的 Scaling “laws”编者按：LLMs 规模和性能的不断提升，让人们不禁产生疑问：这种趋势是否能一直持续下去？我们是否能通过不断扩大模型规模最终实现通用人工智能（AGI）？回答这些问题对于理解 AI 的未来发展轨迹至关重要。

检索增强生成（RAG）：智能内容生成的新纪元在大 AI 时代，生成式人工智能（GenAI）模型，尤其是大型语言模型（LLM），已经展现出了令人瞩目的能力。然而，这些模型在提供信息的准确、即时、专业、权威等方面仍存在局限。检索增强生成（Retrieval-Augmented Generation，下称 RAG）技术应运而生，它通过结合外部知识检索与模型生成能力，大幅提升了内容的准确性、即时性、可靠性。

汽车长翅膀：GPU 是如何加速深度学习模型的训练和推理过程的？编者按：深度学习的飞速发展离不开硬件技术的突破，而 GPU 的崛起无疑是其中最大的推力之一。但你是否曾好奇过，为何一行简单的“.to(‘cuda’)”代码就能让模型的训练速度突飞猛进？本文正是为解答这个疑问而作。

提示词优化的自动化探索：Automated Prompt Engineering编者按：作者在尝试教授母亲使用 LLM 完成工作任务时，意识到提示词的优化并不像想象中简单。提示词的自动优化对于经验并不丰富的提示词撰写者很有价值，他们没有足够的经验去调整和改进提供给模型的提示词，这引发了对自动化提示词优化工具的进一步探索。

LLM 推理优化探微 (4) ：模型性能瓶颈分类及优化策略编者按：在人工智能浪潮袭卷全球的大背景下，进一步提升人工智能模型性能，满足更多应用需求已经刻不容缓。如何优化模型延迟和吞吐量，成为了业界亟待解决的重要问题。

生成式 AI 落地制造业的关键是什么？亚马逊云科技给出答案编辑 | 宋慧出品 | CSDN 云计算作为实体经济的重要组成部分，制造业一直以来都是国家发展的根本和基础。近年制造业的数字化转型如火如荼，今年爆火的生成式 AI 也正在进入制造业的各类场景。全球的云巨头亚马逊云科技从收购芯片公司自研开始，其实本身也是一家制造企业，最近，亚马逊云科技分享了自身在制造业积累的数字化转型与生成式 AI 经验，以及众多的制造案例实践。