技术栈
qwen
charlee44
7 天前
大模型
·
cuda
·
qwen
·
量化
在本地部署Qwen大语言模型全过程总结
大语言模型要进行本地部署,先得选择一个与本地环境适配的模型。比如笔者这里选择的是Qwen1.5-7B-Chat,那么可以计算一下需要的存储空间大小:
Jeremy_lf
10 天前
大模型
·
qwen
·
多模态大模型
·
mllm
阿里巴巴开源多模态大模型-Qwen-VL系列论文精读(一)
阿里巴巴开源多模态大模型-Qwen-VL系列论文精读(一)论文:Qwen-VL: A Versatile Vision-Language Model for Understanding, Localization, Text Reading, and Beyond
带电的小王
20 天前
ide
·
vscode
·
ai编程
·
qwen
Windows中使用Qwen模型:VSCode+Cline
Windows中使用Qwen模型,可以通过VSCode安装Cline插件来实现,以下是具体步骤:.中国大陆用户,请前往 https://bailian.console.aliyun.com/ 或 https://modelscope.cn/docs/model-service/API-Inference/intro 申请 API 密钥
张成AI
22 天前
人工智能
·
qwen
Qwen3-30B-A3B-Thinking-2507 推理模型深度评测
Qwen3-30B-A3B-Thinking-2507 是阿里巴巴通义千问团队在 2025年7月30日 发布的最新推理模型。这是继非推理版本 Qwen3-30B-A3B-Instruct-2507 之后的配套推理模型,标志着 Qwen 团队正式分离推理和非推理模型路线。
萌主墩墩
1 个月前
llm
·
qwen
·
ollama
·
deepseek
趣玩-Ollama-Llm-Chatrbot
llm_chat_robot_release_v_1_0_0llm-chat-robot完整Python工程
诸神缄默不语
2 个月前
llm
·
qwen
·
阿里
·
千问
·
qwen3
Re 82:读论文:qwen 3
诸神缄默不语-个人技术博文与视频目录 诸神缄默不语的论文阅读笔记和分类这是阿里千问模型的2025年新版本。我之前简单列举过Qwen 2.5的一些资料和特质:阿里大模型:Qwen2.5
西西弗Sisyphus
3 个月前
人工智能
·
深度学习
·
神经网络
·
qwen
Qwen2.5-VL - FFN(前馈神经网络)Feedforward Neural Network
flyfishFFN 是最大的概念,只要数据单向传播即属于 FFN; MLP 是 FFN 的子集,限定为全连接层组成的网络; Transformer 的 FFN 模块是 MLP 的特例,结构固定为 “升维→激活→降维”
AIGC_北苏
3 个月前
docker
·
容器
·
qwen
·
dify
Windows安装Docker部署dify,接入阿里云api-key进行rag测试
一、安装docker1.1 傻瓜式安装dockerGet Docker | Docker DocsDocker原理(图解+秒懂+史上最全)-CSDN博客
人猿泰飞
3 个月前
python
·
大模型
·
qwen
·
视觉模型
·
ai应用开发
【大模型应用开发】Qwen2.5-VL-3B识别视频
克隆以下代码尝试运行qwen-vl-hello.py,报错原因缺少modelscope:尝试运行,不出意外的话肯定运行不了,报错原因依然是缺少modelscope:
小草cys
3 个月前
lora
·
微调
·
qwen
使用LoRA微调Qwen2.5-VL-7B-Instruct完成电气主接线图识别
任务适配需求 Qwen2.5-VL在视觉理解方面表现优异,但电气主接线图识别需要特定领域的结构化输出能力(如设备参数提取、拓扑关系解析)。微调可增强模型对专业符号(如SCB10-1000KVA)和工程图纸布局的理解。
fengchengwu2012
3 个月前
redis
·
langchain
·
qwen
·
聊天记忆持久化
langchain4j集成QWen、Redis聊天记忆持久化
langchain4j实现聊天记忆默认是基于进程内存的方式,InMemoryChatMemoryStore是具体的实现了,是将聊天记录到一个map中,如果用户大的话,会造成内存溢出以及数据安全问题。位了解决这个问题 langchain4提供了ChatMemoryStore接口,让开发者可以灵活的选择存储策略,常用的可以使用mysql、redis、mongodb等,本文以redis为例,集成百炼平台通义千问实现大模型聊天记忆持久化。
GPUStack
4 个月前
ai
·
大模型
·
qwen
·
genai
·
gpu集群
45分钟从零搭建私有MaaS平台和生产级的Qwen3模型服务
今天凌晨,阿里通义团队正式发布了 Qwen3,涵盖六款 Dense 模型(0.6B、1.7B、4B、8B、14B、32B)和两款 MoE 模型(30B-A3B 和 235B-A22B)。其中的旗舰模型 Qwen3-235B-A22B 在代码、数学、通用能力等基准测试中,与 DeepSeek-R1、o1、o3-mini、Grok-3 和 Gemini-2.5-Pro 等顶级模型相比,表现出了强大的竞争力。小型 MoE 模型 Qwen3-30B-A3B 的激活参数是 QwQ-32B 的 10%,但表现更胜一筹
mzak
4 个月前
qwen
·
鲲鹏
·
昇腾
·
deepseek
·
gpustack
鲲鹏+昇腾部署集群管理软件GPUStack,两台服务器搭建双节点集群【实战详细踩坑篇】
配置:2台鲲鹏32C2 + 2Atlas300I duo,之前看网上文档,目前GPUstack只支持910B芯片,想尝试一下能不能310P也部署试试,毕竟华为的集群软件要收费。 系统:openEuler22.03-LTS 驱动:24.1.rc3
余俊晖
5 个月前
人工智能
·
大模型
·
多模态
·
qwen
Qwen-VL系列多模态大模型技术演进-模型架构、训练方法、数据细节
记录一下Qwen-VL系列多模态大模型技术演进-模型架构、训练方法、数据细节,仅供参考。系列模型的应用场景:
安替-AnTi
5 个月前
分布式
·
免费
·
qwen
·
开源大模型
Free QWQ - 世界首个免费无限制分布式 QwQ API
一句话简介:基于 QwQ 32B 大语言模型的完全免费、无限制、无需注册登录的分布式 AI 算力平台。
幸福回头
6 个月前
人工智能
·
llm
·
qwen
vLLM代码推理Qwen2-VL多模态
由于近期代码微调以及测试都是在远程服务器上,因此LLamafactory-cli webui 以及vLLM的ui均无法使用,因此不断寻求解决方案,我提供一个解决方案,LLamafactory微调完成的模型需要合并为一个完整模型后再使用vLLM进行代码推理测试微调模型的结果。
Just_Paranoid
6 个月前
chatgpt
·
开源
·
llm
·
openai
·
qwen
·
deepseek
DeepSeek 202502 开源周合集
DeepSeek 本周的开源项目体现了其在 AI 技术栈中的深厚积累,从硬件协同优化(FlashMLA)、通信库(DeepEP)、核心计算(DeepGEMM)到推理模型(DeepSeek-R1),覆盖了模型开发和部署的多个关键环节。这些项目不仅展示了技术实力,也通过开源推动了 AI 社区的协作与创新。
火云牌神
6 个月前
sql
·
llm
·
qwen
·
langgraph
·
deepseek
本地大模型编程实战(25)用langgraph实现基于SQL数据构建的问答系统(4)
本文将演练使用基于 langgraph 链 ,对结构化数据库 SQlite 进行查询的方法。该系统建立以后,我们不需要掌握专业的 SQL 技能,可以用自然语言询问有关数据库中数据的问题并返回答案。 使 大语言模型(LLM) 查询结构化数据与非结构化文本数据有所不同。查询非结构化数据时,通常需要将待查询的文本嵌入到向量数据库中;而查询结构化数据的方法则是让 LLM 编写和执行 DSL(例如 SQL)进行查询。
大模型之路
6 个月前
人工智能
·
知识蒸馏
·
qwen
·
deepseek
·
deepseek-r1
DeepSeek-R1 如何通过知识蒸馏将推理能力传递给 Qwen
DeepSeek-R1(深度解析 DeepSeek R1:强化学习与知识蒸馏的协同力量),作为一个通过大规模强化学习训练出的强大推理模型,在数学、编程等推理任务上达到了与OpenAI-o1相当的性能水平。然而,如此强大的模型如何能够在资源受限的设备上运行,成为了一个亟待解决的问题。DeepSeek团队通过创新的知识蒸馏技术,成功地将DeepSeek-R1的推理能力传递给了参数量更小的Qwen系列模型,为AI模型的轻量化部署提供了重要参考。本文将详细探讨这一过程。