大模型部署

华为昇腾DeepSeek模型部署适用于华为昇腾 310P3 服务器，基于 MindIE 服务化部署 DeepSeek-R1 系列模型，并通过 curl 调用 OpenAI 兼容接口进行对话验证。

LangChain-AI应用开发框架(二)目录一.认识嵌入模型1. 什么是嵌入模型？2. 嵌入模型应用场景3.主流的嵌入模型二.嵌入模型接入方式

大模型平台是怎么跑起来的？从 GPU 到 API 全链路拆解（工程视角）很多人在接触大模型时，通常只关注：但在实际工程项目中，更关键的问题是：❓ 模型是怎么“跑起来”的？从 GPU 到最终 API 服务，中间到底经历了什么？

长路的AI领域技术博客汇总文档博主介绍：✌目前全网粉丝4W+，csdn博客专家、Java领域优质创作者，博客之星、阿里云平台优质作者、专注于Java后端技术领域。

告别联网限制与隐私担忧：在自家电脑跑一个专属的DeepSeek AI很多人不明白本地部署AI大模型的意思，今天我就用通俗易懂的语言给大家讲一讲。说白了就是把原本在别人服务器（电脑里）里的 AI 大模型，安装在你自己的电脑设备上运行，全程不用连外网、不用依赖别人的电脑服务，所有的 AI 计算、数据处理都在你自己的设备里完成。

一切皆有可能！！

昇腾atlas 300I duo部署Qwen3-8B完整实战：从选型到成功运行使用之前需要先安装固件和驱动选择合适的版本型号一直跟着执行，在安装驱动时候，上面的创建驱动文件不知道是过时了，一直没成功，换到官网手动下载了驱动。另外在执行命令时是使用sudo bash 而不是sudo sh

阿尔的代码屋

[大模型实战 01] 本地大模型初体验：Ollama 部署与 Python 调用指南核心摘要 (TL;DR)官网地址：https://ollama.com/Ollama 是目前最火的本地大模型部署工具。简单来说，它能帮咱们快速拉取模型文件，让模型在本地直接运行并进行对话。同时，它还能把模型打包成一个标准的接口，通过端口开放给咱们写的 Python 脚本调用。

虚神界熊孩儿

OpenStation + VSCode ：本地大模型赋能编码效率的实战指南作为每天和 VSCode 朝夕相处的开发者，代码补全、文档查询、bug 调试是日常工作的核心环节，但传统开发模式中，这些操作往往伴随着频繁切屏、网络延迟或隐私泄露风险。直到用 OpenStation 部署本地大模型并集成到 VSCode 后，才发现开发效率能实现质的飞跃 —— 既保留了 VSCode 的轻量化体验，又获得了专属本地大模型的智能辅助能力。

GitHub 热榜项目-日榜精选（2026-01-24）| AI智能体工具、Python生态等 | remotion、VibeVoice、goose等📅 热榜时间：2026-01-24 🏷️ 核心标签：#GitHub #开源项目 #AI智能体 #视频开发 #语音AI #大模型部署 #Python学习 📊 统计摘要：本期热榜包含 13 个项目。(GitHub)

大模型服务：个人工作学习中关于模型部署、访问等常用资源的整理【202601更新】记录大模型推理服务部署和使用过程中的一些资源，包括但不限于部署环境、部署框架常用优化、模型调用、多模态对话模型、多模态向量模型等（非特殊说明，均为Linux环境、Nvidia显卡）

雪碧聊技术

3.大模型使用目录一.大模型部署1.自己部署自己部署——本地机器部署1）如何让大模型跑起来？2）下载ollama3）使用ollama部署大模型

大模型部署方式(本地化部署+云端部署+混合部署+边缘段部署)适用场景：企业对数据隐私要求高（如金融、医疗）、需低延迟响应（如实时对话）、或有固定算力资源（自有GPU集群）

猫先生Mr.Mao

2025年10月AGI月评｜OmniNWM/X-VLA/DreamOmni2等6大开源项目：自动驾驶、机器人、文档智能的“技术底座”全解析〔更多精彩AI内容，尽在「魔方AI空间」，引领AIGC科技时代〕本文作者：猫先生知识库主页：https://oizxc9sdhbc.feishu.cn/wiki/FGS5wST0Hiy6xJklyPTcTVOqnAd

llama.cpp：本地大模型推理的高性能 C++ 框架llama.cpp是由Georgi Gerganov发起的纯C/C++开源框架，专注于在本地设备（如普通PC、树莓派、嵌入式终端）上实现低资源、高性能的大语言模型（LLM）推理。其核心目标是打破云端依赖，让开发者能在消费级硬件上本地运行Meta LLaMA、Mistral、Gemma等主流开源模型，兼顾隐私保护与推理效率。

【ShiMetaPi】边缘计算高并发视频流AI分析应用：BM1684X算力盒子上的ResNet部署指南深度神经网络（DNN）的性能通常随网络层数增加而提升，但当层数超过一定阈值时，会出现 “退化问题”（Degradation Problem）：网络准确率饱和甚至下降，并非由于过拟合或梯度消失 / 爆炸，而是深层网络难以优化。

汀、人工智能

AI-Compass宝藏资源库：构建最全面的AI学习与实践生态，服务AI全群体AI-Compass将为你和社区提供在AI技术海洋中航行的方向与指引。无论你是刚踏入AI领域的初学者，还是寻求技术突破的进阶开发者，都能在这里找到通往AI各大技术方向的清晰路径和实践指南。作为一个全面覆盖人工智能技术栈的综合性开源项目，AI-Compass 不仅仅是一个简单的资源收集库，更是一个经过精心策划和系统化组织的AI学习生态系统。我们深度整合了从基础理论到前沿应用的完整知识体系，涵盖大语言模型、多模态AI、机器学习、深度学习、计算机视觉、自然语言处理、推荐系统、强化学习等核心技术领域，以及RAG、

2025人工智能AI新突破：PINN内嵌物理神经网络火了最近在淘金的时候发现基于物理信息的神经网络（简称PINN）也是个研究热点，遂研读了几篇经典论文，深觉这也是个好发论文的方向，所以火速整理了一些个人认为很值得一读的PINN论文和同学们分享。

阿色树新风

〖大系统观数智〗: 油气大模型部署应用策略讨论概述：根据业务层级和专业角色部署规模适当的模型。从基础模型到行业/领域模型，再到各层级和专业模型，按照大系统观全息思维，采取逐级知识蒸馏的策略保持系统的结构完整性、一致性和协作能力，逐级缩小模型规模，同时按需分布式自组织部署，配合本地知识库等，建设全息有机系统，不宜过度大集中。

（一）DeepSeek大模型安装部署-Ollama安装访问ollama网址library可以支持下载 1.5b 7b 8b 14b 32b 70b 671b模型

爱睡觉的咋

怎么理解BeamSearch？在大模型推理中，常会用到BeamSearch，本文就BeamSearch原理与应用理解展开讲解。Beam Search 是一种启发式搜索算法，常用于自然语言处理（NLP）和其他需要生成序列的任务中，比如机器翻译、自动摘要和语音识别，大模型推理等。它是一种改进的贪心算法，旨在平衡计算效率与搜索质量。