qwen

鲲鹏+昇腾部署集群管理软件GPUStack，两台服务器搭建双节点集群【实战详细踩坑篇】配置：2台鲲鹏32C2 + 2Atlas300I duo，之前看网上文档，目前GPUstack只支持910B芯片，想尝试一下能不能310P也部署试试，毕竟华为的集群软件要收费。系统：openEuler22.03-LTS 驱动：24.1.rc3

Qwen-VL系列多模态大模型技术演进-模型架构、训练方法、数据细节记录一下Qwen-VL系列多模态大模型技术演进-模型架构、训练方法、数据细节，仅供参考。系列模型的应用场景：

Free QWQ - 世界首个免费无限制分布式 QwQ API一句话简介：基于 QwQ 32B 大语言模型的完全免费、无限制、无需注册登录的分布式 AI 算力平台。

vLLM代码推理Qwen2-VL多模态由于近期代码微调以及测试都是在远程服务器上，因此LLamafactory-cli webui 以及vLLM的ui均无法使用，因此不断寻求解决方案，我提供一个解决方案，LLamafactory微调完成的模型需要合并为一个完整模型后再使用vLLM进行代码推理测试微调模型的结果。

DeepSeek 202502 开源周合集DeepSeek 本周的开源项目体现了其在 AI 技术栈中的深厚积累，从硬件协同优化（FlashMLA）、通信库（DeepEP）、核心计算（DeepGEMM）到推理模型（DeepSeek-R1），覆盖了模型开发和部署的多个关键环节。这些项目不仅展示了技术实力，也通过开源推动了 AI 社区的协作与创新。

本地大模型编程实战(25)用langgraph实现基于SQL数据构建的问答系统(4)本文将演练使用基于 langgraph 链，对结构化数据库 SQlite 进行查询的方法。该系统建立以后，我们不需要掌握专业的 SQL 技能，可以用自然语言询问有关数据库中数据的问题并返回答案。使大语言模型(LLM) 查询结构化数据与非结构化文本数据有所不同。查询非结构化数据时，通常需要将待查询的文本嵌入到向量数据库中；而查询结构化数据的方法则是让 LLM 编写和执行 DSL（例如 SQL）进行查询。

大模型之路

DeepSeek-R1 如何通过知识蒸馏将推理能力传递给 QwenDeepSeek-R1（深度解析 DeepSeek R1：强化学习与知识蒸馏的协同力量），作为一个通过大规模强化学习训练出的强大推理模型，在数学、编程等推理任务上达到了与OpenAI-o1相当的性能水平。然而，如此强大的模型如何能够在资源受限的设备上运行，成为了一个亟待解决的问题。DeepSeek团队通过创新的知识蒸馏技术，成功地将DeepSeek-R1的推理能力传递给了参数量更小的Qwen系列模型，为AI模型的轻量化部署提供了重要参考。本文将详细探讨这一过程。

基于 llama-index与Qwen大模型实现RAGLlamaIndex和Langchain都是比较成熟的RAG和Agent框架，这里基于llama实现RAG框架，大模型选用阿里的开源模型Qwen大模型。可以实现Qwen2.5 与外部数据（例如文档、网页等）的连接，利用 LlamaIndex 与 Qwen2.5 快速部署检索增强生成（RAG）技术。

编程AI深度实战：大模型哪个好？ Mistral vs Qwen vs Deepseek vs Llama随着开源 LLM 的发展，越来越多的模型变得专业化，“代码”LLM 变得非常流行。这些 LLM 旨在比其 “常识” 对应物更小，但旨在超越更大的通用模型的编码性能。

论文阅读--Qwen2&2.5技术报告所有模型都是在超过7 trillion token（7万亿）的高质量、大规模数据集上预训练的沿用Qwen（Bai等人，2023a）的做法，我们采用了基于字节级字节对编码的相同Tokenizer

qwenvl 以及qwenvl 2 模型架构理解qwenvl 模型理解：参考资料： https://qwenlm.github.io/zh/blog/qwen2-vl/ https://github.com/QwenLM/Qwen2-VL?tab=readme-ov-file https://qwenlm.github.io/zh/blog/qwen2-vl/

【深度学习总结】使用PDF构建RAG：结合Langchain和通义千问使用平台：趋动云，注册送算力在大型语言模型（LLMs）应用领域，我们面临着大量挑战，从特定领域知识的匮乏到信息准确性的窘境，以及可能生成虚假内容。检索增强生成（RAG）通过引入外部知识库等补充信息源，成为解决这些难题的有效策略。事实证明，在需要持续更新或特定领域应用的知识密集型场景中，RAG 尤其有效。与其他方法相比，RAG 的一个显著优势在于无需为特定任务重新培训 LLM。最近，RAG 因其在会话助手等应用中的成功应用而备受瞩目。

大模型QLoRA微调——基于Qwen2-7B的自动化病历摘要生成系统01 项目简介（1）项目背景医疗文档中包含大量的诊疗信息，例如疾病诊断、手术名称、解剖部位、药物使用以及影像和实验室检查结果。这些信息是医疗数据分析的核心，但由于医疗文本内容复杂、格式多样，提取这些关键内容具有一定挑战。为此，本项目基于 Qwen-7B大语言模型，通过QLoRA微调，使其从医疗文档中识别并提取这些信息。

大语言模型人工智能（Artificial Intelligence，AI）是计算机科学的一个分支，致力于创建能够执行通常需要人类智能的任务的机器或软件。AI 包括许多子领域，目标是使机器能够模仿或执行诸如学习、推理、规划、自然语言理解、感知和决策等任务。

农夫山泉2号

【OCR】——端到端文字识别GOT-OCR2.0不香嘛？代码：https://github.com/Ucas-HaoranWei/GOT-OCR2.0?tab=readme-ov-file 在线demo：https://huggingface.co/spaces/stepfun-ai/GOT_official_online_demo

java脚手架系列16-AI大模型集成之所以想写这一系列，是因为之前工作过程中有几次项目是从零开始搭建的，而且项目涉及的内容还不少。在这过程中，遇到了很多棘手的非业务问题，在不断实践过程中慢慢积累出一些基本的实践经验，认为这些与业务无关的基本的实践经验其实可以复刻到其它项目上，在行业内可能称为脚手架，因此决定将此java基础脚手架的搭建总结下来，分享给大家使用。

AGI 之【Dify】之 Dify 在 Windows 端本地部署调用 Ollama 本地下载的大模型，实现 API 形式进行聊天对话目录AGI 之【Dify】之 Dify 在 Windows 端本地部署调用 Ollama 本地下载的大模型，实现 API 形式进行聊天对话

大模型Qwen2.5 家族的最新成员阿里今天发布了 Qwen 家族的最新成员：Qwen2.5，包括语言模型 Qwen2.5，以及专门针对编程的 Qwen2.5-Coder 和数学的 Qwen2.5-Math 模型。

AudioNotes -将音频内容转 markdownAudioNotes 能够快速提取音视频的内容，并且调用大模型进行整理，成为一份结构化的markdown笔记，方便快速阅读。基于 FunASR 和 Qwen2 构建。