技术栈
qwen
小草cys
5 天前
python
·
llama
·
树莓派
·
qwen
在树莓派集群上部署 Distributed Llama (Qwen 3 14B) 详细指南
项目地址:https://github.com/b4rtaz/distributed-llama本文档将指导您如何使用一个树莓派5作为Root节点和三个树莓派4作为Worker节点,共同搭建一个4节点的分布式LLM推理集群,并运行10.9GB的Qwen 3 14B模型。 中间要用到github和huggingface的, 注意
minhuan
10 天前
人工智能
·
prompt
·
qwen
·
gradio
·
千问大模型
构建AI智能体:二十、妙笔生花:Gradio集成DashScope Qwen-Image模型实现文生图
今天按计划是想讲一些RAG的高阶属性的,但连着几天的烧脑模式,着实脑袋也有点疲惫,经常长篇大论的理论学说,看着可能也觉得枯燥了,今天计划结合前面的几篇文章,做个综合性的演示,温故而知新,同时也让大脑短暂的放松放松,事缓则圆,多几分从容!
charlee44
1 个月前
大模型
·
cuda
·
qwen
·
量化
在本地部署Qwen大语言模型全过程总结
大语言模型要进行本地部署,先得选择一个与本地环境适配的模型。比如笔者这里选择的是Qwen1.5-7B-Chat,那么可以计算一下需要的存储空间大小:
Jeremy_lf
1 个月前
大模型
·
qwen
·
多模态大模型
·
mllm
阿里巴巴开源多模态大模型-Qwen-VL系列论文精读(一)
阿里巴巴开源多模态大模型-Qwen-VL系列论文精读(一)论文:Qwen-VL: A Versatile Vision-Language Model for Understanding, Localization, Text Reading, and Beyond
带电的小王
1 个月前
ide
·
vscode
·
ai编程
·
qwen
Windows中使用Qwen模型:VSCode+Cline
Windows中使用Qwen模型,可以通过VSCode安装Cline插件来实现,以下是具体步骤:.中国大陆用户,请前往 https://bailian.console.aliyun.com/ 或 https://modelscope.cn/docs/model-service/API-Inference/intro 申请 API 密钥
张成AI
1 个月前
人工智能
·
qwen
Qwen3-30B-A3B-Thinking-2507 推理模型深度评测
Qwen3-30B-A3B-Thinking-2507 是阿里巴巴通义千问团队在 2025年7月30日 发布的最新推理模型。这是继非推理版本 Qwen3-30B-A3B-Instruct-2507 之后的配套推理模型,标志着 Qwen 团队正式分离推理和非推理模型路线。
萌主墩墩
2 个月前
llm
·
qwen
·
ollama
·
deepseek
趣玩-Ollama-Llm-Chatrbot
llm_chat_robot_release_v_1_0_0llm-chat-robot完整Python工程
诸神缄默不语
3 个月前
llm
·
qwen
·
阿里
·
千问
·
qwen3
Re 82:读论文:qwen 3
诸神缄默不语-个人技术博文与视频目录 诸神缄默不语的论文阅读笔记和分类这是阿里千问模型的2025年新版本。我之前简单列举过Qwen 2.5的一些资料和特质:阿里大模型:Qwen2.5
西西弗Sisyphus
3 个月前
人工智能
·
深度学习
·
神经网络
·
qwen
Qwen2.5-VL - FFN(前馈神经网络)Feedforward Neural Network
flyfishFFN 是最大的概念,只要数据单向传播即属于 FFN; MLP 是 FFN 的子集,限定为全连接层组成的网络; Transformer 的 FFN 模块是 MLP 的特例,结构固定为 “升维→激活→降维”
AIGC_北苏
3 个月前
docker
·
容器
·
qwen
·
dify
Windows安装Docker部署dify,接入阿里云api-key进行rag测试
一、安装docker1.1 傻瓜式安装dockerGet Docker | Docker DocsDocker原理(图解+秒懂+史上最全)-CSDN博客
人猿泰飞
4 个月前
python
·
大模型
·
qwen
·
视觉模型
·
ai应用开发
【大模型应用开发】Qwen2.5-VL-3B识别视频
克隆以下代码尝试运行qwen-vl-hello.py,报错原因缺少modelscope:尝试运行,不出意外的话肯定运行不了,报错原因依然是缺少modelscope:
小草cys
4 个月前
lora
·
微调
·
qwen
使用LoRA微调Qwen2.5-VL-7B-Instruct完成电气主接线图识别
任务适配需求 Qwen2.5-VL在视觉理解方面表现优异,但电气主接线图识别需要特定领域的结构化输出能力(如设备参数提取、拓扑关系解析)。微调可增强模型对专业符号(如SCB10-1000KVA)和工程图纸布局的理解。
fengchengwu2012
4 个月前
redis
·
langchain
·
qwen
·
聊天记忆持久化
langchain4j集成QWen、Redis聊天记忆持久化
langchain4j实现聊天记忆默认是基于进程内存的方式,InMemoryChatMemoryStore是具体的实现了,是将聊天记录到一个map中,如果用户大的话,会造成内存溢出以及数据安全问题。位了解决这个问题 langchain4提供了ChatMemoryStore接口,让开发者可以灵活的选择存储策略,常用的可以使用mysql、redis、mongodb等,本文以redis为例,集成百炼平台通义千问实现大模型聊天记忆持久化。
GPUStack
4 个月前
ai
·
大模型
·
qwen
·
genai
·
gpu集群
45分钟从零搭建私有MaaS平台和生产级的Qwen3模型服务
今天凌晨,阿里通义团队正式发布了 Qwen3,涵盖六款 Dense 模型(0.6B、1.7B、4B、8B、14B、32B)和两款 MoE 模型(30B-A3B 和 235B-A22B)。其中的旗舰模型 Qwen3-235B-A22B 在代码、数学、通用能力等基准测试中,与 DeepSeek-R1、o1、o3-mini、Grok-3 和 Gemini-2.5-Pro 等顶级模型相比,表现出了强大的竞争力。小型 MoE 模型 Qwen3-30B-A3B 的激活参数是 QwQ-32B 的 10%,但表现更胜一筹
mzak
5 个月前
qwen
·
鲲鹏
·
昇腾
·
deepseek
·
gpustack
鲲鹏+昇腾部署集群管理软件GPUStack,两台服务器搭建双节点集群【实战详细踩坑篇】
配置:2台鲲鹏32C2 + 2Atlas300I duo,之前看网上文档,目前GPUstack只支持910B芯片,想尝试一下能不能310P也部署试试,毕竟华为的集群软件要收费。 系统:openEuler22.03-LTS 驱动:24.1.rc3
余俊晖
6 个月前
人工智能
·
大模型
·
多模态
·
qwen
Qwen-VL系列多模态大模型技术演进-模型架构、训练方法、数据细节
记录一下Qwen-VL系列多模态大模型技术演进-模型架构、训练方法、数据细节,仅供参考。系列模型的应用场景:
安替-AnTi
6 个月前
分布式
·
免费
·
qwen
·
开源大模型
Free QWQ - 世界首个免费无限制分布式 QwQ API
一句话简介:基于 QwQ 32B 大语言模型的完全免费、无限制、无需注册登录的分布式 AI 算力平台。
幸福回头
6 个月前
人工智能
·
llm
·
qwen
vLLM代码推理Qwen2-VL多模态
由于近期代码微调以及测试都是在远程服务器上,因此LLamafactory-cli webui 以及vLLM的ui均无法使用,因此不断寻求解决方案,我提供一个解决方案,LLamafactory微调完成的模型需要合并为一个完整模型后再使用vLLM进行代码推理测试微调模型的结果。
Just_Paranoid
6 个月前
chatgpt
·
开源
·
llm
·
openai
·
qwen
·
deepseek
DeepSeek 202502 开源周合集
DeepSeek 本周的开源项目体现了其在 AI 技术栈中的深厚积累,从硬件协同优化(FlashMLA)、通信库(DeepEP)、核心计算(DeepGEMM)到推理模型(DeepSeek-R1),覆盖了模型开发和部署的多个关键环节。这些项目不仅展示了技术实力,也通过开源推动了 AI 社区的协作与创新。